Если вы задумывались о том, чтобы начать работу с генеративным ИИ, но не хотите тратить целое состояние на оборудование, у вас есть шанс! В последнем видео от Hardware Haven представлена интересная возможность: 16 ГБ видеокарта NVidia V100, которую можно приобрести всего за сто долларов. Причина такой низкой цены заключается в том, что карта использует разъем SXM2, а не стандартный PCIe, что делает её сложной для подключения к обычным материнским платам.
Однако не стоит отчаиваться! За дополнительные сто долларов можно приобрести адаптер, который позволит установить эту мощную карту на вашу материнскую плату. Это все равно значительно дешевле, чем версия с PCIe, которая может стоить тысячу долларов и более, если не повезет с покупкой на eBay. Хотя V100 не является новейшей моделью (выпущена в 2017 году), она все еще способна запускать современные открытые модели.
После того как Hardware Haven 3D напечатал кожух для вентилятора, чтобы предотвратить перегрев, они начали тестировать производительность карты. В сравнении с RTX 3060 12 ГБ, старый V100 показал лучшие результаты по количеству токенов в секунду, хотя и потреблял больше энергии в режиме ожидания. Тем не менее, это отличный способ войти в мир локального ИИ, даже если цены могут измениться в будущем.
Если у вас уже есть необходимое оборудование, вам могут понадобиться простые программные решения, чтобы не тратить много времени на настройку. Не забывайте, что для запуска более крупных моделей нужен мощный GPU, но вы также можете попробовать разместить свой ИИ на Raspberry Pi, если у вас есть терпение.