Робота научили новому навыку по одному видео с человеком: 29 секунд вместо 50 демонстраций и 62% успеха с первой попытки
Система HOST повышает успешность выполнения задач с 17% до 62%, не меняя веса обученной нейросети
Группа, аффилированная с X Square Robot, выложила на arXiv метод HOST (Human-to-robot One-Shot Skill AcquisiTion), позволяющий роботу освоить новый навык, посмотрев всего одно видео с человеком, и сразу применить его, не меняя веса нейросети.
Среднее время «усвоения» составило 29 секунд, а успешность — 62%. До промышленной надёжности ещё далеко, но важно, что HOST не использует демонстрацию как новый обучающий набор, а превращает её в контекстную подсказку для уже обученной, но замороженной модели. Именно это и даёт скорость.
Механика работает так. Система берёт видео с человеком, выполняющим задачу — к примеру, переложить предмет из одной ёмкости в другую, — и оценивает, на какой стадии выполнения находится демонстратор. Затем она предсказывает, как та же стадия должна выглядеть с точки зрения самого робота, то есть переводит человеческую демонстрацию в его собственное «тело» и сенсорику. После этого HOST выводит цепочку действий, которая приведёт робота к такому же результату. Никакого дообучения и множества повторений с разметкой — одна демонстрация и один проход.
Изображение сгенерировано: Nano Banana
Авторы сравнивают HOST с двумя ситуациями: когда робот пытается выполнить задачу вообще без подсказки (zero-shot), успех составляет 17%, и когда систему тонко настраивают на 50 демонстрациях для каждой конкретной задачи. HOST обходит zero-shot на 45 процентных пунктов, а по времени в 507 раз быстрее, чем тонкая настройка на 50 примерах. Однако 62% всё ещё означает, что почти в 4 случаях из 10 робот ошибается. Более того, тесты проводились на своих платформах и своих задачах, без проверки на чужих роботах, в незнакомых помещениях или с другими типами объектов.
Для инженеров-робототехников практический интерес представляет сам подход: замороженная политика, управляемая демонстрацией на этапе вывода, без циклов оптимизации. Если другие группы воспроизведут результат на других роботах и покажут, что 62% можно поднять хотя бы до 85–90% за счёт улучшения модуля оценки прогресса, то HOST может стать шаблоном для быстрой перенастройки промышленных манипуляторов.