Odyssey-3 генерирует физику в реальном времени: стартап выпустил модель мира, которая просчитывает падения и столкновения
Стартап Odyssey, основанный выходцами из индустрии беспилотных автомобилей, представил третье поколение своей модели мира — Odyssey-3 и Odyssey-3 Pro. Система по текстовому описанию строит интерактивное трёхмерное окружение и в реальном времени прогнозирует, как объекты в нём движутся и взаимодействуют. Разрешение базовой версии составляет 832×480 пикселей, Pro-версия выдаёт 1280×720.
Две версии — 832×480 и 1280×720 — создают интерактивное окружение по тексту и реагируют на действия пользователя, установив рекорд бенчмарка Physics-IQ Verified
В основе лежит авторегрессионный диффузионный трансформер, обученный на широком наборе визуальных данных: интернет-видео с аннотациями событий, записи процесса с временными метками клавиатуры и мыши, симуляции физических взаимодействий твёрдых тел. Модель продолжает видео кадр за кадром, опираясь на предыдущие наблюдения, и на ходу принимает команды пользователя. На каждый фрагмент уходит всего несколько шагов генерации, отклик происходит в реальном времени.
Источник изображения: Odyssey
Пользователь может перемещаться по сгенерированному миру от первого или третьего лица, независимо управлять камерой и вводить события, на которые сцена реагирует.
Odyssey позиционирует новинку прежде всего как симулятор для обучения роботов и других физических систем: поверх модели обучаются отдельные декодеры действий и политики управления. Компания приводит примеры: робот-манипулятор, обученный всего на нескольких десятках часов демонстраций, выполнял задачи захвата с восстановлением после ошибок. Гуманоидная политика на базе Odyssey-3 сохраняла работоспособность при смене освещения, когда стандартные VLA-модели отказывали. Также модель адаптировали для вождения на реальных дорогах Индии, используя всего 20 часов данных.
На бенчмарке Physics-IQ Verified, проверяющем физическую достоверность продолжения видео, Odyssey-3 Pro набрала 66,1 балла — лучший опубликованный результат. На WorldMark модель заняла первое место в трёх категориях из четырёх, уступив в генерации реалистичных сцен от первого лица моделям Lyra 2.0 и AlayaWorld.
Исследовательский превью доступен на сайте компании, доступ к API запрашивается через портал для разработчиков, коммерческая стоимость не раскрывается.