Недавно представлена модель LOLA, созданная для решения задач многоязычной обработки в области естественного языка. Она обучена на текстах из 167 языков, используя более 6 триллионов токенов. LOLA применяет уникальную архитектуру Mixture-of-Experts, что позволяет ей активировать определенные эксперты для разных языков, обеспечивая высокую эффективность и производительность.
В ходе тестирования модель показала превосходство над конкурентами с большим количеством параметров в большинстве задач, включая понимание текста и логическое рассуждение. Однако, LOLA сталкивается с трудностями в вопросах, требующих фактической информации, что указывает на необходимость дальнейшего улучшения.
Эта открытая модель имеет потенциал для применения в переводах, кросс-языковом поиске и многоязычных чат-ботах, что делает её важным шагом в развитии многоязычных технологий.