На недавней конференции Google Cloud Next 2025 компания анонсировала Rapid Storage — новый класс облачного хранилища, который обещает обеспечить стабильный доступ к данным с задержкой в единичные миллисекунды. Это решение предназначено для работы с часто запрашиваемыми данными и приложениями, чувствительными к задержкам.
Rapid Storage предлагает невероятные характеристики: задержка чтения и записи менее 1 мс, скорость доступа к данным в 20 раз выше, чем у традиционных решений, и пропускная способность до 6 ТБ/с. В отличие от обычных облачных хранилищ, которые распределяют данные по нескольким зонам, Rapid Storage хранит данные в одной зоне, где находятся GPU и TPU, что позволяет значительно повысить производительность и снизить задержки.
Представители Google отметили, что для эффективного обучения и обслуживания AI-моделей необходимо поддерживать высокую загрузку GPU и TPU данными, чтобы минимизировать потери вычислительных ресурсов. Они подчеркнули, что традиционные объектные хранилища имеют критические ограничения по задержке, и Rapid Storage решает эту проблему, используя кластерную файловую систему Colossus.
Rapid Storage можно монтировать как файловую систему с помощью Cloud Storage FUSE, что позволяет использовать его с популярными AI-фреймворками, такими как TensorFlow и PyTorch. В дополнение к Rapid Storage Google также анонсировал другие решения, такие как Anywhere Cache — SSD-кэш для существующих региональных хранилищ, и Google Cloud Managed Lustre — высокопроизводительную параллельную файловую систему, обеспечивающую масштабируемость на уровне ПБ с задержкой менее 1 мс.
Rapid Storage сейчас находится на стадии предварительного просмотра, и его запуск обещает произвести фурор в области облачных технологий, особенно для AI-работ.