В мире ИТ-инфраструктуры наблюдается интересная тенденция: открытые инструменты с открытым исходным кодом становятся стартапами с многомиллионными оценками. Ярким примером этого является RadixArk, компания, стоящая за SGLang — инструментом, который помогает ускорить и удешевить работу ИИ-моделей. Всего через несколько месяцев после своего запуска в августе прошлого года RadixArk была оценена в 400 миллионов долларов в ходе раунда финансирования, возглавляемого Accel.
SGLang, который уже используется такими компаниями, как xAI и Cursor для ускорения обучения ИИ, был разработан в лаборатории UC Berkeley, основанной соучредителем Databricks Ионом Стойкой. Важным шагом для RadixArk стало привлечение ключевых специалистов, таких как Инг Шенг, которая ранее работала в xAI и теперь занимает пост соучредителя и CEO компании.
RadixArk и SGLang сосредоточены на оптимизации обработки вывода, что позволяет моделям работать быстрее и эффективнее на одном и том же оборудовании. Это особенно важно, поскольку обработка вывода и обучение моделей составляют значительную часть затрат на серверы для ИИ-сервисов. Инструменты, которые оптимизируют этот процесс, могут обеспечить значительную экономию практически сразу.
Интересно, что RadixArk не единственный стартап, который делает шаг от открытого проекта к хорошо финансируемому бизнесу. Например, vLLM, более зрелый проект по оптимизации вывода, также привлек внимание инвесторов и обсуждает возможность привлечения до 160 миллионов долларов при оценке около 1 миллиарда долларов.
RadixArk продолжает развивать SGLang как открытый движок для ИИ-моделей и работает над созданием Miles — специализированной платформы для обучения с подкреплением, которая позволяет бизнесам обучать ИИ-модели, чтобы они становились умнее со временем. Хотя большинство инструментов остаются бесплатными, RadixArk начала взимать плату за услуги хостинга.
Стартапы, предоставляющие инфраструктуру для обработки вывода, в последние месяцы наблюдают рост финансирования, что подчеркивает важность этого слоя для ИИ. Например, Baseten недавно привлек 300 миллионов долларов при оценке в 5 миллиардов долларов, а Fireworks AI собрала 250 миллионов долларов при оценке в 4 миллиарда долларов.