В мире локального искусственного интеллекта произошли значительные изменения, и пользователи с обычными игровыми ПК могут теперь наслаждаться мощными моделями без необходимости обновления оборудования. Один из пользователей поделился своим опытом, когда он почти решился на апгрейд своей видеокарты, но в итоге нашел оптимизированные модели, которые отлично работают на его системе.
С его RTX 3070, имеющим 8 ГБ видеопамяти, он столкнулся с ограничениями при запуске более крупных моделей, таких как gpt-oss 20B. Однако благодаря технологии GPU offload он смог запустить модель, хотя и с некоторыми задержками. Это стало его первым шагом в мир локального ИИ, и он был приятно удивлён, когда его система справилась с задачами, которые раньше казались невозможными.
Пользователь также отметил, что новые модели, такие как Qwen 3.5, значительно улучшили производительность. Эта модель оптимизирована для работы на более скромном оборудовании и позволяет использовать контекст до 60 000 токенов. Это стало возможным благодаря архитектуре Gated DeltaNet, которая эффективно управляет памятью.
Не менее интересным стал опыт с моделью Llama 3.1 8B, выпущенной Meta. Несмотря на то, что она была представлена в 2024 году, её возможности оказались весьма актуальными. Модель продемонстрировала отличные результаты в задачах, связанных с извлечением структурированных данных и переводом, что делает её подходящей для использования на устройствах с ограниченными ресурсами.
Таким образом, пользователи, которые не хотят или не могут обновлять своё оборудование, теперь имеют доступ к мощным инструментам ИИ, которые работают даже на старых системах. Это открывает новые горизонты для разработчиков и энтузиастов, позволяя им экспериментировать с локальными моделями без значительных финансовых вложений.