В мире искусственного интеллекта внимание играет ключевую роль в работе больших языковых моделей (LLM). Традиционно, когда трансформер обрабатывает текст, он сравнивает каждый токен с каждым другим, что делает модели мощными, но и крайне затратными по ресурсам. Увеличение объема входных данных приводит к экспоненциальному росту вычислительных затрат, что делает их потребителями электроэнергии.
Subquadratic предлагает решение этой проблемы, заменяя "плотное" внимание на "разреженное". Это означает, что модель будет сосредотачиваться только на значимых взаимосвязях, игнорируя менее важные. Такой подход позволяет избежать квадратичного роста вычислительных затрат, что является значительным шагом вперед в оптимизации работы LLM.
Некоторые эксперты указывают на то, что Subquadratic, возможно, использует доработки существующих открытых моделей, что ставит под сомнение их амбициозные заявления о создании "нового класса" LLM. Тем не менее, независимая оценка от компании Appen подтвердила высокую эффективность их технологии, что говорит о реальной полезности разработок.
Интересно, что подобные подходы к разреженному вниманию активно развиваются и в других странах, особенно в Китае. Например, DeepSeek представила экспериментальную архитектуру, которая также использует разреженное внимание, что позволяет значительно сократить затраты на обработку длинных входных данных.
Сравнение с человеческим мозгом также находит свое место в этой дискуссии. Человеческий мозг, потребляя всего около 20 ватт, эффективно обрабатывает информацию, используя избирательное внимание. Это позволяет ему не тратить ресурсы на ненужные детали, что является важным уроком для разработки более эффективных AI-систем.
В будущем, с учетом растущего внимания к стоимости токенов, эффективность станет ключевым фактором для LLM. Если компании, такие как Subquadratic, смогут значительно снизить затраты на обработку длинных контекстов, это откроет новые возможности для применения AI в различных областях, от анализа документов до поиска в коде.
Таким образом, концепция разреженного внимания может стать важным направлением в развитии AI, позволяя создавать более доступные и эффективные решения в условиях информационного перегруза.