Исследование, проведенное командой ученых, показало, что более крупные и усовершенствованные версии AI-чатботов, таких как GPT от OpenAI и LLaMA от Meta, имеют тенденцию давать больше неверных ответов. Это происходит потому, что модели стремятся отвечать на все вопросы, даже когда не обладают достаточной информацией. В результате, пользователи могут переоценивать их способности, что создает потенциальные риски.
Команда проанализировала три семейства языковых моделей, включая OpenAI’s GPT, Meta’s LLaMA и BLOOM, и обнаружила, что хотя точность ответов увеличивается с ростом модели, доля неверных ответов также возросла. Например, у некоторых усовершенствованных моделей доля неправильных ответов превысила 60%. Это означает, что чатботы становятся более склонными к "блефу", выдавая мнения, не основанные на фактах.
Исследование также показало, что люди не всегда могут правильно оценить качество ответов чатботов, ошибочно принимая неверные ответы за правильные в 10-40% случаев. Это подчеркивает необходимость в улучшении работы AI, чтобы они могли отказываться отвечать на сложные вопросы и тем самым повышать свою надежность.
Ученые призывают разработчиков сосредоточиться на повышении точности ответов на простые вопросы и обучении моделей отказываться от сложных запросов, чтобы пользователи могли лучше понимать, в каких ситуациях можно доверять AI.