Microsoft недавно представила результаты своего исследования, в рамках которого была создана симуляция под названием "Magentic Marketplace". Этот проект позволил исследователям наблюдать за поведением ИИ-агентов в условиях, когда они действуют без человеческого контроля. В симуляции участвовали 100 агентов-покупателей и 300 агентов-продавцов, что создало контролируемую среду для тестирования их навыков принятия решений и ведения переговоров.
Исследование выявило несколько интересных аспектов. Во-первых, агенты-покупатели легко поддавались влиянию агентов-продавцов, что указывает на потенциальные уязвимости в конкурентной среде. Во-вторых, эффективность ИИ-агентов значительно снижалась при наличии большого количества вариантов, что приводило к замедлению принятия решений и снижению их точности.
Кроме того, ИИ-агенты испытывали трудности при работе над общими целями, так как не всегда понимали, кто из них должен выполнять ту или иную роль. Их производительность улучшалась только при наличии пошаговых инструкций. Это подчеркивает, что, несмотря на все достижения в области ИИ, модели все еще требуют значительного человеческого руководства для эффективного функционирования в многопользовательских сценариях.
Результаты исследования показывают, что ИИ-агенты далеки от полной автономии и нуждаются в улучшении механизмов координации и защиты от манипуляций. Microsoft подчеркивает, что, хотя ИИ часто представляется как способный к независимому принятию решений, реальность такова, что без человеческого контроля их поведение остается ненадежным.