Генеративный ИИ стремительно завоевывает популярность, но его безопасность остается под вопросом. В последние годы мы наблюдаем череду разочарований и восторгов, и, что более тревожно, технологии уже начали использоваться в неблагих целях. Проблемы безопасности часто отходят на второй план, когда речь идет о производительности и удобстве, что может привести к серьезным последствиям.
Исторически сложилось так, что в мире открытого кода безопасность часто игнорировалась. Мы полагались на миф о том, что "при достаточном количестве глаз все ошибки будут обнаружены", но реальность оказалась иной. Случай с уязвимостью Heartbleed в 2014 году стал тревожным сигналом, после которого количество атак на цепочку поставок программного обеспечения только возросло. По последним данным, количество вредоносного ПО в открытом коде увеличилось на 200% с начала 2023 года.
Ситуация усугубляется тем, что разработчики все чаще используют ИИ для создания отчетов об ошибках, что приводит к появлению низкокачественного контента, перегружающего команды поддержки. Генеративный ИИ, такой как GitHub Copilot, может перенимать "плохие привычки" из кода, на котором он обучается, что создает дополнительные риски.
Несмотря на то что многие компании, занимающиеся разработкой ИИ, активно работают над вопросами безопасности, результаты пока не впечатляют. Согласно недавно опубликованному Индексу безопасности ИИ, большинство крупных компаний, включая OpenAI и Meta, не справляются с задачами обеспечения безопасности своих моделей. На данный момент лишь одна компания, Anthropic, получила оценку "C".
С учетом того, что генерируемый ИИ все чаще используется в разработке программного обеспечения, важно, чтобы компании начали требовать от поставщиков более высокого уровня безопасности. В противном случае риски будут только расти, и доверие к этой технологии может быть подорвано. Разработчики должны осознать, что безопасность — это не просто дополнительная опция, а первоочередная задача, которая требует внимания и усилий.