Внимание, IT-специалисты! Исследователи из Университета Техаса в Остине выявили уязвимость в AI-системах, известную как ConfusedPilot. Эта атака позволяет злоумышленникам добавлять вредоносные документы в базы данных, используемые для генерации ответов, что может привести к распространению дезинформации и нарушению процессов принятия решений в организациях.
Атака затрагивает все системы, основанные на технологии Retrieval Augmented Generation (RAG), включая Microsoft 365 Copilot. Злоумышленники могут просто загрузить документ с вредоносным содержимым, и при запросе AI-система извлечет этот документ, что приведет к искажению информации. Это может проявляться в подавлении контента, генерации ложной информации и неверной атрибуции источников.
Согласно исследованию, 65% компаний из списка Fortune 500 уже используют или планируют внедрить RAG-системы, что делает последствия таких атак особенно серьезными. Атака требует лишь базового доступа и может сохраняться даже после удаления вредоносного контента.
Чтобы защититься от подобных угроз, рекомендуется внедрять строгие меры контроля доступа к данным, проводить регулярные аудиты целостности данных и сегментировать чувствительную информацию. Microsoft уже работает над стратегиями защиты, чтобы минимизировать риски.
Не дайте злоумышленникам шанса! Будьте в курсе последних угроз и защищайте свои системы.