В последние годы большие языковые модели (LLMs) сделали значительный шаг вперед в области автоматического суммирования текстов. Однако, несмотря на достижения, эта сфера сталкивается с серьезными проблемами, особенно с так называемыми "галлюцинациями". Это явление, когда в резюме появляется информация, отсутствующая в исходном тексте, подрывает фактическую точность и снижает удовлетворенность пользователей.
Существующие методы часто неэффективны в обнаружении и устранении таких галлюцинаций, а также не обеспечивают прозрачности своих механизмов. В ответ на эти вызовы был разработан новый фреймворк, который использует методологию генерации вопросов и ответов (Q-S-E) для количественного обнаружения галлюцинаций в резюме.
Этот фреймворк включает итеративный механизм разрешения галлюцинаций, что повышает прозрачность процесса модификации и улучшает достоверность текстового суммирования. Экспериментальные результаты, полученные на трех стандартных наборах данных — CNN/Daily Mail, PubMed и ArXiv — показывают, что предложенный подход значительно улучшает фактическую согласованность резюме, сохраняя при этом их информационную полноту.
Таким образом, новый фреймворк открывает новые горизонты для повышения качества автоматического суммирования текстов, что может быть особенно полезно для различных приложений в области информационных технологий и обработки естественного языка.