Команда PyTorch представила новую библиотеку под названием torchao, которая предназначена для оптимизации машинных моделей. Она была анонсирована 26 сентября и уже доступна для использования. Библиотека позволяет значительно ускорить и уменьшить размеры моделей, используя низкобитные типы данных, разреженность и квантование.
Torchao работает в связке с функцией torch.compile() и FSDP2, поддерживая большинство моделей PyTorch на платформе Hugging Face. Это удобный набор инструментов, который позволяет пользователям квантовать и разреживать веса, градиенты, оптимизаторы и активации как для обучения, так и для вывода.
Одной из ключевых особенностей torchao является поддержка float8, что позволяет ускорить процесс обучения. Библиотека выпущена под лицензией BSD 3 и рекомендуется для использования с последними стабильными версиями PyTorch.
Эта новинка открывает новые горизонты для разработчиков, стремящихся к более эффективному использованию ресурсов и ускорению процессов машинного обучения.