Semidynamics, ведущая компания в области IP для высокопроизводительных RISC-V процессоров, заключила партнерство с UPMEM для разработки следующего поколения LPDDR5X Processing In Memory (PIM) устройств. Эти чипы будут использовать стандартную архитектуру RISC-V с интегрированным Tensor Unit и оптимизатором доступа к данным Gazillion, что позволит эффективно интегрировать AI и модели больших языков (LLM).
Tensor Unit выполняет матричные умножения, необходимые для AI, и обеспечивает низкое энергопотребление, простоту программирования и совместимость с любыми RISC-V векторными Linux-системами. Этот IP-решение предлагает впечатляющую внутреннюю пропускную способность в 102.4 ГБ/с и низкое энергопотребление всего 1 пДж/бит, а также значительные вычислительные возможности — 8 TFLOPs FP16/BF16 и 16 TOPs int8.
С помощью интеграции сопроцессоров в основную память DRAM, UPMEM ускоряет операции, требующие больших объемов данных, такие как генеративный AI. Новое поколение PIM чипов позволит запускать модели от небольших до крупных (например, LLama и Mistral) локально на смартфонах, обрабатывая до 15 раз больше запросов в секунду при потреблении энергии в 10 раз меньше, чем у ведущих SoC.
Генеральный директор UPMEM отметил, что IP-решение Semidynamics идеально подходит для их инновационных PIM чипов, обеспечивая необходимую мощность и эффективность для генеративного AI на мобильных устройствах. Это сотрудничество обещает долгосрочное партнерство и значительные прорывы в области мобильных технологий.