Meta анонсировала Movie Gen — свою третью волну мультимодального видео ИИ, которая способна создавать кастомные видео и звуки, редактировать существующие ролики и превращать ваши изображения в уникальные видео. Этот инструмент превосходит аналогичные модели, такие как Runway Gen-3 и OpenAI Sora.
Movie Gen объединяет в себе достижения предыдущих моделей, включая Make-A-Scene и Llama. Он предлагает улучшенный контроль над процессом создания, позволяя пользователям генерировать видео длиной до 16 секунд с частотой 16 кадров в секунду. Модель может анализировать движение объектов и взаимодействие между ними, что делает её одной из лучших в своём классе.
Кроме того, Movie Gen может создавать персонализированные видео на основе статичных изображений и редактировать контент с помощью текстовых и видео-входов. Это позволяет вносить как локальные изменения, так и глобальные правки, например, менять стиль видео.
Для генерации аудио используется отдельная модель, которая может создавать звуковые эффекты и музыкальные фоны, синхронизируя их с видео. Meta утверждает, что Movie Gen показал лучшие результаты в тестах по сравнению с другими современными видео ИИ.
Компания планирует сотрудничать с создателями контента, чтобы улучшить свои модели, подчеркивая, что не собирается заменять людей, а хочет помочь им раскрыть свой творческий потенциал.