Национальный проект по созданию модели искусственного интеллекта в Корее вступает в решающую стадию. Министерство науки и ИКТ готовится объявить результаты первого раунда оценки, и обсуждения вокруг определения "разработки с нуля" и справедливости процесса оценки становятся все более актуальными. Ожидается, что одно из пяти консорциумов — Upstage, SK Telecom, Naver Cloud, LG AI Research и NC AI — будет исключено на основе производительности модели и оригинальности разработки.
Цель проекта — создать суверенную модель, свободную от чрезмерной зависимости от иностранной технологии ИИ. Однако после презентации моделей командами в прошлом месяце возникли споры о стандартах оценки, особенно касающиеся определения основных требований проекта и системы бенчмаркинга для сравнения моделей.
Конфликт начался, когда модель Solar-Open-100B от Upstage была обвинена в повторном использовании кода вывода из модели китайской компании Zhipu. Похожие обвинения появились и в адрес модели A.X K1 от SK Telecom. Naver Cloud также подвергся критике за частичное использование визуальных и аудио кодеров, а также предобученных весов из открытой модели Qwen от Alibaba при разработке своих моделей HyperCLOVA X Seed 32B Think и HyperCLOVA X 8B Omni.
В центре споров находится интерпретация термина "разработка с нуля", который определяет, сколько внешней технологии можно использовать, не нарушая независимость модели. Upstage и SK Telecom утверждают, что использование открытого кода вывода не влияет на оригинальность их моделей, так как это отличается от кода обучения. Naver Cloud, в свою очередь, признал использование внешних кодеров, но отметил, что это было "стратегическим" решением для повышения эффективности и глобальной совместимости.
Еще одной проблемой справедливости стал процесс оценки производительности, который использует бенчмаркинг — стандартизированную оценку моделей ИИ с использованием единых задач, наборов данных и метрик. Правительство разрешило каждой команде выбрать два дополнительных бенчмарка, что, хотя и должно было учесть разнообразие в дизайне моделей, вызвало опасения, что это может дать преимущество некоторым моделям.
Несмотря на акцент на оригинальности на всех этапах разработки, от сбора данных до архитектуры модели и обучения, министерство не дало четкого определения, нарушает ли использование внешнего кода вывода или предобученных кодеров этот принцип. В ближайшие дни ожидается объявление о первом исключении из проекта, и министерство должно прояснить критерии, определяющие "разработку с нуля", а также методы оценки бенчмарков. Однако без четких стандартов споры о справедливости и независимости моделей вряд ли утихнут даже после этого объявления.