В недавнем заявлении на AI Lab компании Cognizant в Бангалоре технический директор по искусственному интеллекту отметил, что, несмотря на стремление предприятий интегрировать большие языковые модели (LLMs) в свои бизнес-процессы, остается открытым вопрос о том, насколько можно доверять этим системам в масштабах.
Современные LLMs действительно обладают значительной мощью, однако они часто сталкиваются с проблемами при выполнении более длинных и сложных цепочек рассуждений. Это подчеркивает необходимость человеческого контроля и создания более надежных систем оценки. По словам эксперта, индустрия еще далека от нахождения универсального решения, которое могло бы гарантировать надежность выводов AI, особенно в условиях перехода к автономным многоагентным системам.
Для иллюстрации проблемы он привел пример с головоломкой «Башня Ханоя», где LLMs начинают допускать ошибки после нескольких сотен шагов рассуждений. Эта ограниченность создает риски для компаний, использующих AI в сложных рабочих процессах, таких как телекоммуникационные сети, цепочки поставок или финансовые системы, где решения могут накапливаться на протяжении тысяч или даже миллионов шагов.
Чтобы минимизировать эти риски, Cognizant внедрила несколько механизмов с участием человека в свои AI-системы. Один из методов включает активацию человеческого вмешательства, когда уверенность AI-системы падает ниже заранее установленного порога.
Таким образом, несмотря на прогресс в области искусственного интеллекта, важно помнить о необходимости контроля и оценки, чтобы обеспечить надежность и безопасность в бизнес-процессах.