В последние годы программное обеспечение претерпело значительные изменения. Изначально оно было открытым, но с развитием технологий и снижением цен на оборудование акцент сместился на закрытые модели. Это привело к постоянной борьбе между открытыми и закрытыми решениями, где каждая сторона пытается обойти другую.
С момента запуска Chat-GPT в ноябре 2022 года наблюдается рост интереса к открытым моделям, которые стремятся конкурировать с доминирующими закрытыми решениями. На недавнем мероприятии один из руководителей в области ИИ сравнил открытые модели с "собачьей стаей", которая преследует свою добычу. Однако, несмотря на наличие открытых альтернатив, внимание медиа по-прежнему сосредоточено на успехах таких компаний, как OpenAI и Anthropic.
Вопрос не в том, смогут ли открытые модели конкурировать с закрытыми, а в том, насколько успешно они это сделают. Оценка ИИ-моделей представляет собой сложную задачу, и хотя анекдотические эксперименты полезны, для объективной оценки необходимы стандартизированные количественные измерения. В этом контексте важную роль играют отраслевые бенчмарки, которые, несмотря на свои недостатки, остаются единственным способом сравнения производительности моделей.
Анализ показывает, что закрытые модели продолжают задавать темп инноваций, в то время как открытые модели стремятся их догнать. Интересно, что в последние месяцы наблюдается ускорение этого процесса: открытые модели все быстрее достигают результатов, ранее доступных только закрытым решениям.
В частности, модели с открытыми весами показывают хорошие результаты, хотя полностью открытые модели также быстро догоняют их. Например, в тестах на математические задачи и программирование открытые модели демонстрируют значительный прогресс, хотя закрытые решения по-прежнему лидируют.
Таким образом, будущее программного обеспечения будет определяться не только тем, какие модели будут доминировать, но и тем, как быстро открытые решения смогут адаптироваться и развиваться в ответ на вызовы, которые ставят перед ними закрытые модели. Важно следить за тем, как будут развиваться эти технологии и как изменятся бенчмарки в будущем.