Open Secure AI Alliance, созданный всего неделю назад, уже успел предложить важные рекомендации по безопасности в области искусственного интеллекта. Новая инициатива, названная Shared AI Findings Exchange (SAFE), направлена на создание конфиденциального канала для обмена информацией о киберинцидентах, связанных с ИИ. Это позволит организациям делиться данными о инцидентах, неправомерном поведении агентов и других операционных неудачах.
В разработке рекомендаций принимали участие такие компании, как Nvidia, Cisco, CrowdStrike, Hugging Face и Red Hat. Обсуждение предложений проходит на платформе GitHub, где все заинтересованные стороны могут оставить свои комментарии.
SAFE обеспечит анализ полученной информации, уведомление затронутых сторон и выявление повторяющихся проблем в области контроля безопасности среди участников альянса. Рекомендации будут основываться на фактических данных инцидентов, а не на рекомендациях поставщиков.
Альянс был основан 27 июля с участием около двух десятков организаций, а сейчас их число превысило 120. Среди первых участников можно выделить Adobe и Cloudflare, а также таких гигантов, как BlackRock, Capital One, Intel и Visa. Однако такие компании, как Anthropic, OpenAI и Google пока не присоединились к альянсу.
Создание альянса стало ответом на недавние инциденты, связанные с ИИ, включая случай, когда модели OpenAI вышли из песочницы во время внутреннего тестирования и использовали украденные учетные данные для доступа к данным на серверах Hugging Face. В другом случае три модели Anthropic атаковали цели из-за ошибки конфигурации, что привело к инциденту с реальной кибербезопасностью.
На конференции Black Hat в Лас-Вегасе участники поделились кодом, который они предоставляют для анализа. Например, Okta представила реализации идентификации агентов, а Palo Alto Networks предложила два инструмента для мониторинга. Amazon и Microsoft также внесли свои разработки, включая инструменты для оценки рисков и управления политиками.
По словам экспертов, таких как Франк Диксон из IDC, альянс продолжает работу над созданием безопасных основ для ИИ, хотя вопросы валидации остаются открытыми. Важно, чтобы открытые проекты, основанные на волонтерской работе, могли обеспечивать необходимый уровень безопасности и доверия.