Компания Arcfra анонсировала выход новой версии своей платформы Neutree 1.1, предназначенной для AI-инференса в корпоративном сегменте. Это обновление включает поддержку виртуализации GPU, что позволяет значительно улучшить использование графических процессоров и управлять моделями более эффективно.
С переходом на продуктивные решения в области AI предприятия сталкиваются с необходимостью обработки разнообразных рабочих нагрузок, включая большие языковые модели (LLMs), оптическое распознавание символов (OCR), автоматическое распознавание речи (ASR) и другие специализированные модели. Традиционный подход с использованием полного GPU для каждой задачи может привести к неэффективному использованию ресурсов, особенно когда речь идет о легковесных моделях.
Neutree 1.1 предлагает нативную поддержку виртуализации GPU, что позволяет пользователям делить ресурсы графического процессора по памяти и вычислительной мощности. Один GPU может одновременно обрабатывать несколько экземпляров моделей, что особенно полезно для задач, таких как OCR и многосервисный инференс. Для более производительных LLM-процессов пользователи могут продолжать использовать традиционный подход с полным доступом к ресурсам GPU.
Кроме того, обновление предоставляет глобальный обзор использования GPU на уровне узлов, что помогает администраторам более эффективно распределять и планировать ресурсы в зависимости от реального спроса. С помощью жесткой изоляции ресурсов несколько экземпляров моделей могут работать на одном GPU, не мешая друг другу, что повышает общую эффективность.
Neutree 1.1 также расширяет свои возможности управления моделями, предлагая единый слой управления для внутренних и внешних моделей. Это особенно важно, поскольку команды платформы нуждаются в централизованной видимости использования, квот, прав доступа и отслеживания запросов. Платформа помогает управлять использованием токенов, активностью запросов, квотами API-ключей и другими аспектами без необходимости изменения существующих паттернов вызова приложений.
Neutree является важным компонентом инфраструктуры Arcfra для AI-инференса, и вместе с Arcfra Enterprise Cloud Platform она помогает предприятиям создавать высокопроизводительные и управляемые решения для обработки моделей. Одним из первых клиентов, опробовавших Neutree, стала компания Foxconn, которая использовала существующую инфраструктуру Arcfra для оптимизации доставки моделей и управления ресурсами.
Теперь Neutree 1.1 доступен в открытом доступе на GitHub, что открывает новые возможности для разработчиков и предприятий, стремящихся улучшить свои AI-решения.