Microsoft анонсировал значительные обновления для Bing, которые включают использование больших и малых языковых моделей (LLM и SLM) и новые методы оптимизации. Эти изменения направлены на улучшение производительности и снижение затрат при предоставлении результатов поиска. В компании подчеркивают, что использование LLM и SLM стало важным шагом в развитии их поисковых технологий, так как сложность поисковых запросов требует более мощных решений.
Одной из основных проблем, с которыми сталкиваются LLM, является высокая стоимость и медленная скорость обработки. Чтобы решить эту задачу, Bing разработал SLM, которые, по их словам, в 100 раз быстрее LLM. Это позволяет более эффективно обрабатывать и понимать поисковые запросы. Кроме того, Bing использует технологию NVIDIA TensorRT-LLM для оптимизации работы SLM, что значительно снижает время и затраты на выполнение больших моделей на графических процессорах NVIDIA.
Согласно техническому отчету Microsoft, интеграция технологии TensorRT-LLM улучшила функцию "Глубокий поиск" (Deep Search), которая использует SLM в реальном времени для предоставления актуальных веб-результатов. До оптимизации оригинальная модель Bing имела задержку в 4.76 секунды на пакет из 20 запросов и производительность 4.2 запроса в секунду. С внедрением TensorRT-LLM задержка сократилась до 3.03 секунды, а производительность возросла до 6.6 запросов в секунду, что соответствует снижению задержки на 36% и уменьшению операционных затрат на 57%.
Эти обновления обещают множество преимуществ для пользователей Bing: более быстрые результаты поиска, улучшенная точность благодаря новым возможностям SLM и экономия средств, что позволит компании инвестировать в дальнейшие инновации и улучшения.
Переход Bing на модели LLM и SLM, а также оптимизация с помощью TensorRT может оказать значительное влияние на будущее поиска. В условиях растущей сложности запросов пользователи ожидают более точных и быстрых ответов от поисковых систем. Bing стремится удовлетворить эти ожидания, используя более компактные языковые модели и передовые методы оптимизации. Время покажет, как эти изменения повлияют на рынок, но уже сейчас видно, что Bing готовится к новой эре в поисковых технологиях.