В последние месяцы мир высокопроизводительных вычислений (HPC) переживает настоящую революцию. На конференции SC25 в Сент-Луисе были представлены новые суперкомпьютеры, которые не только поднимают планку производительности, но и способствуют снижению затрат на вычисления. Это особенно актуально в свете растущей популярности генеративного ИИ и машинного обучения.
Сейчас HPC-экосистема меняется не только благодаря новым технологиям, но и благодаря смешанной точности вычислений. Это позволяет использовать более низкие точности для эмуляции FP64, что значительно увеличивает эффективность. Важно отметить, что, несмотря на высокие капитальные вложения в новые машины, генеративный ИИ делает такие расходы более оправданными. Если суперкомпьютер будет использоваться для генеративного ИИ половину времени, то его производительность в HPC может удвоиться.
Сравнения производительности старых и новых систем показывают, что за последние десятилетия производительность в FP64 значительно возросла, однако стоимость за террафлоп не снижается так быстро, как хотелось бы. Например, стоимость Cray 1A в 1977 году составила 36,8 миллиона долларов, а в 2028 году ожидается, что новая система Discovery обойдется в 4 миллиарда долларов, что в 108 раз больше.
Сейчас HPC-центры сталкиваются с необходимостью оптимизации своих вычислительных мощностей в условиях растущих затрат. Это требует от них внедрения новых алгоритмов и технологий, таких как тензорные ядра и смешанная точность, чтобы оставаться конкурентоспособными.
В заключение, будущее HPC выглядит многообещающе, но требует от исследователей и инженеров гибкости и готовности к изменениям. Инновации в области архитектуры и программного обеспечения будут ключевыми для достижения новых высот в производительности и эффективности вычислений.