В Хошимине студенты Хошиминского университета технологий (HCMUT) сделали значительный шаг в области искусственного интеллекта. Их исследование, основанное на выпускной работе, было опубликовано в престижном журнале "Computers and Education: Artificial Intelligence". Это издание занимает высокие позиции в области образования и искусственного интеллекта, что подчеркивает важность работы команды.
Исследование, озаглавленное "Улучшение производительности больших языковых моделей для автоматического ответа на вопросы с несколькими вариантами ответов с помощью Single-Token Logit Prompting", направлено на решение проблемы "предвзятости" в открытых больших языковых моделях (LLM), таких как LLaMA и Mistral. Эти модели часто сталкиваются с трудностями при обработке вопросов с несколькими вариантами ответов в условиях "нулевого обучения", когда модель должна выполнять задачи, с которыми она не сталкивалась ранее.
Команда предложила инновационную технику Single-Token Logit (STL), которая позволяет модели оценивать каждый вариант ответа отдельно, задавая простой вопрос: "Этот ответ правильный?". Такой подход устраняет предвзятость, связанную с порядком или меткой ответов, и значительно повышает надежность AI в образовательных приложениях, таких как автоматизированная оценка и генерация вопросов.
Тестирование метода STL на трех стандартных научных наборах данных показало, что он работает не хуже, а в некоторых случаях даже лучше, чем популярные методы, такие как Chain-of-Thought (CoT). В некоторых конфигурациях точность увеличилась на 11 процентных пунктов, при этом значительно снизились вычислительные затраты.
Эта работа имеет непосредственное значение для образовательного сектора, помогая учителям в оценке качества экзаменов, автоматическом предложении ответов на новые вопросы и поддержке систем автоматизированной оценки. Успех проекта особенно примечателен, так как он стал результатом двухлетней работы и постоянного совершенствования после нескольких первоначальных отказов.
Команда подчеркивает, что улучшение надежности моделей AI не всегда требует создания более крупных или сложных архитектур. Иногда небольшие изменения в дизайне запросов могут привести к значительным улучшениям в практическом применении.