Intel продолжает удивлять мир своими новыми процессорами Lunar Lake, которые показывают отличные результаты в области AI-инференса с последними моделями Meta LLaMA 3.2. Процессор Intel Core Ultra 9 288V демонстрирует невероятно низкую задержку — всего 28.5 мс для 32 токенов и 31.4 мс для 1024 токенов. Это действительно впечатляющая производительность, позволяющая обрабатывать до 35 токенов в секунду!
С выходом LLaMA 3.2 Meta расширила свои возможности, добавив новые модели с 1 и 3 миллиардами параметров, которые идеально подходят для текстовых задач. Также представлен многофункциональный 11-миллиардный модель, способный обрабатывать более сложные операции, такие как интерпретация изображений и графиков.
Intel активно развивает свою AI-инфраструктуру, включая фреймворк OpenVINO, который оптимизирует производительность на своих устройствах. Это позволяет пользователям Intel AI PC запускать визуальные задачи, такие как анализ изображений, с помощью встроенного графического процессора Arc 140V.
С такими достижениями Intel уверенно укрепляет свои позиции на рынке AI, предлагая пользователям мощные инструменты для работы с новейшими моделями LLaMA 3.2.