Исследование, проведенное Центром цифровой журналистики Колумбийского университета, раскрыло, что ChatGPT Search не справляется с точностью предоставляемых ответов. В рамках эксперимента были выбраны 20 публикаций из трех категорий: партнерских с OpenAI, тех, кто подал иски против компании, и независимых изданий. Исследователи проверяли, может ли ChatGPT правильно идентифицировать источники для определенных цитат.
Результаты оказались неутешительными: из 153 случаев, когда ChatGPT предоставил ответы, 150 были частично или полностью неверными. При этом лишь в семи случаях AI признал свою неспособность дать точный ответ, используя такие слова, как "кажется" или "возможно". Это легкомысленное отношение к фактам может подорвать доверие не только к ChatGPT, но и к тем изданиям, которые он цитирует.
OpenAI, в свою очередь, отрицает корректность исследования, утверждая, что методология была неверной и что они продолжают работать над улучшением результатов поиска. Однако, учитывая такие ошибки, как неправильная атрибуция статей, например, когда статья из Time была ошибочно приписана Orlando Sentinel, вопросы к точности ChatGPT Search остаются.
Время покажет, сможет ли OpenAI исправить эти недочеты и вернуть доверие пользователей к своему продукту.