В мире технологий произошла значимая новость: стартап World Labs, соучредителем которого является известный специалист в области компьютерного зрения Фей-Фей Ли, анонсировал Atlas — уникальную многомодальную модель, которая обещает изменить подход к созданию "мировых моделей".
Atlas представляет собой прорыв в области симуляции, позволяя создавать сложные 3D-среды на основе всего лишь одного изображения. Эта модель, по словам разработчиков, является "омни-моделью", которая обеспечивает точный контроль камеры и возможность просмотра сцен с любого ракурса. Это соответствует концепции пространственного интеллекта, согласно которой для полноценного понимания физического мира AI необходимо уметь рассуждать о взаимодействиях объектов и их пространственных последствиях.
Фей-Фей Ли, ранее возглавлявшая AI-лабораторию Стэнфорда, запустила World Labs в феврале 2024 года с целью разработки моделей, способных учитывать физику и взаимодействия в реальном мире. Стартап уже привлек 1,2 миллиарда долларов инвестиций от таких компаний, как Nvidia и AMD.
Atlas использует сложную архитектуру многомодального авторегрессивного диффузионного трансформера, что делает её более продвинутой по сравнению с ранними генераторами видео. В отличие от традиционных моделей, которые требуют текстовых подсказок для управления углами и движениями камеры, Atlas принимает траектории и геометрию камеры в качестве исходных данных, что обеспечивает невероятную точность.
Первые пользователи уже делятся впечатляющими результатами своих экспериментов с Atlas, демонстрируя, как модель может генерировать до минуты видео в разрешении 1440p, сохраняя геометрическую согласованность и позволяя просматривать сцену с разных углов. Кроме того, Atlas может создавать 3D-объекты, такие как облака точек и 3D-гауссовские сплиты, что позволяет комбинировать видео, текст и карты глубины для создания общего пространственного контекста.
Основное применение Atlas, по словам разработчиков, заключается в создании точных симуляций для обучения робототехники. Модель поддерживает рабочие процессы, в которых разработчики могут использовать обычную камеру смартфона для захвата физического пространства и его последующей реконструкции в 3D-симуляцию, что открывает новые возможности для тестирования робототехнических решений в различных сценариях.
World Labs уже провела тестирование Atlas на нескольких бенчмарках и получила положительные отзывы по сравнению с конкурентами. Несмотря на сильную конкуренцию в этой области, Atlas выделяется как универсальная модель, объединяющая множество возможностей.
Хотя Atlas уже доступен в режиме раннего доступа для избранных предприятий, дата его общего релиза пока не объявлена. Интерес к этой технологии продолжает расти, и многие в IT-сообществе с нетерпением ждут возможности протестировать Atlas в реальных условиях.