В мире технологий, где каждый день появляются новые решения, Бенгалурийская лаборатория Bud Ecosystem сделала шаг, который может изменить правила игры в области искусственного интеллекта. Они разработали архитектуру Resource Aware Attention (RAA), которая обещает не только улучшить производительность, но и сделать ИИ более доступным для широкой аудитории.
Первое приложение этой архитектуры — Bud Sentinel, набор моделей для обеспечения безопасности ИИ. Интересно, что на стандартном потребительском ноутбуке Bud Sentinel работает более чем в два раза быстрее, чем аналогичные системы, развернутые на высокопроизводительных GPU-серверах. Это действительно впечатляющий результат, учитывая, что безопасность часто остается на заднем плане в разработке ИИ.
Современные системы, как правило, требуют дорогой инфраструктуры на базе GPU, что делает их использование сложным и затратным. Например, в то время как высококлассные серверы обеспечивают время отклика около 18-19 миллисекунд, на обычных процессорах это время может увеличиваться до 300-800 миллисекунд. Bud Ecosystem поставила под сомнение эту зависимость и переосмыслила подход к обработке информации, адаптировав его к возможностям доступных процессоров.
С помощью RAA Bud Sentinel может классифицировать запросы всего за 8.4 миллисекунды на стандартном ноутбуке, что значительно быстрее, чем у конкурентов на более дорогих машинах. Это открывает новые горизонты для использования ИИ в реальном времени на обычных устройствах.
Основатель Bud Ecosystem, Джитин ВГ, подчеркивает, что демократизация ИИ — это не просто модное слово. Это значит сделать технологии доступными и экономически выгодными для повседневного использования, без необходимости в специализированном оборудовании.
Компания планирует расширить применение RAA на более широкий спектр генеративного ИИ, что может привести к созданию высокопроизводительных систем, работающих на обычных устройствах. Это может стать настоящим прорывом в области ИИ, и мы с нетерпением ждем, как это повлияет на экономику и доступность технологий в будущем.