В последние годы технологии AI-фаззинга значительно эволюционировали, расширив свои возможности за пределы традиционного машинного обучения. Теперь генеративный ИИ активно используется для выявления уязвимостей в приложениях и системах. Хотя фаззинг существует уже давно, его сложность и трудоемкость ограничивали его применение в бизнесе. Внедрение ИИ обещает сделать эти инструменты более доступными и гибкими.
Традиционно фаззинг заключается в генерации множества различных входных данных для приложения с целью выявления ошибок. Однако с помощью машинного обучения можно создавать тестовые случаи, которые с наибольшей вероятностью выявят проблемы. Но что делать с более сложными системами, где одно действие может привести к уязвимости на другом этапе? Здесь на помощь приходят тестировщики, которые используют свою интуицию для выявления потенциальных слабых мест.
Сегодня генеративный ИИ способен автоматизировать этот процесс, создавая более интеллектуальные тесты и позволяя большему числу компаний проводить тестирование своих систем. Однако такая же технология может быть использована злоумышленниками для проведения сложных атак в больших масштабах. Интересно, что теперь целью атак могут стать и системы, работающие на базе ИИ, что создает уникальные вызовы для безопасности.
Проект OSS-Fuzz от Google, запущенный в 2016 году, использует LLM для повышения производительности инструментов тестирования. На данный момент он помог выявить более 13,000 уязвимостей и 50,000 ошибок в 1,000 проектах. EY также применяет генеративный ИИ для создания новых тестовых случаев, что позволяет ускорить процесс выявления уязвимостей.
Однако злоумышленники тоже не дремлют. С момента появления ChatGPT прошло всего две недели, как хакеры начали обсуждать способы обхода его защитных механизмов. По данным опроса, 58% IT-руководителей считают, что агентный ИИ станет причиной половины кибератак в следующем году. Некоторые группы злоумышленников уже используют генеративный ИИ для атак на крупные компании и государственные учреждения.
Защита от атак на ИИ-приложения становится все более актуальной. По данным опроса Gartner, 32% организаций уже сталкивались с атаками на свои ИИ-системы. Основной тип атаки — это инъекции команд, когда злоумышленник пытается заставить ИИ выполнить вредоносные инструкции. Для защиты от таких атак необходимо создавать надежные защитные механизмы и постоянно их тестировать.
Таким образом, AI-фаззинг открывает новые горизонты как для тестирования безопасности, так и для атак, и требует от специалистов по безопасности постоянного обновления знаний и адаптации к новым вызовам.