Корнеллский университет объявил о запуске новой инициативы AI4AI, целью которой является разработка протоколов безопасности для программного обеспечения, создаваемого агентами искусственного интеллекта. Эта инициатива стала возможной благодаря щедрому пожертвованию от Amazon и объединяет экспертов в области машинного обучения, безопасности и верификации.
Агентный ИИ, способный создавать и запускать программное обеспечение по нескольким подсказкам, имеет огромный потенциал, но также может генерировать ошибочный или даже вредоносный код. Это создает риски, которые могут быть использованы злоумышленниками. В рамках проекта "Обеспечение целостности программного обеспечения на основе ИИ" ведущие ученые Корнелла, такие как профессора Александра Силва и Виталий Шматиков, будут работать над созданием безопасных и надежных решений.
По словам профессора Эндрю Майерса, агентный ИИ может значительно изменить процесс написания программного обеспечения, однако необходимо обеспечить, чтобы агенты не создавали вредоносный код. Исследователи намерены разработать рамки безопасности, которые помогут сделать выходящий код более надежным и безопасным.
Инициатива AI4AI объединяет усилия Корнелла в области ИИ и языков программирования, что, по мнению профессора Торстена Йоахимса, является важным шагом к решению одной из самых актуальных проблем в разработке программного обеспечения. С помощью Amazon команда Корнелла сможет создать необходимые инструменты и фреймворки, которые помогут разработчикам работать с уверенностью.
Таким образом, AI4AI станет важной вехой в обеспечении безопасности программного обеспечения, создаваемого с помощью ИИ, и откроет новые горизонты для безопасной и инновационной разработки.