В мире научных исследований назначение экспертов для оценки проектных предложений играет ключевую роль. Традиционные методы, такие как платформа Single Evaluation Platform (SEP), полагаются на сопоставление ключевых слов, но часто требуют корректировок со стороны заместителей председателей для обеспечения соответствия. Чтобы преодолеть ограничения таких систем, была разработана новая система назначения экспертов, использующая обработку естественного языка и большие языковые модели (LLM).
Наша система интегрирует динамическое извлечение публикаций экспертов через ORCID с GALACTICA, специализированной научной LLM, для вычисления тонкой семантической схожести между публикациями и аннотациями предложений. Мы провели оценку на основе данных 48 экспертов и 181 предложения, протестировав три стратегии агрегации схожести: Сумма, Произведение и Максимум. Подход с максимальной схожестью наиболее точно воспроизводил назначения, проверенные заместителями председателей, достигнув AUC 0.82, что значительно превышает показатели традиционной системы SEP (AUC = 0.75), Суммы (AUC = 0.69) и Произведения (AUC = 0.57).
Эти результаты подчеркивают, что сосредоточение на единственном наиболее релевантном совпадении эффективно отражает человеческое принятие решений. Это открывает новые горизонты для использования семантического сопоставления на основе LLM как более точной и масштабируемой альтернативы существующим системам информационного поиска. В отличие от дискретных оценок привязанности SEP, наши стратегии агрегации обеспечивают высокоразличимые, тонкие рейтинги, позволяя более детально различать кандидатов-экспертов.
Таким образом, новая система назначения экспертов не только улучшает процесс оценки, но и демонстрирует потенциал современных технологий в научной сфере.