Исследователи из Meta* и Университета Карнеги-Меллон представили SPIDER* — метод, который преобразует записи движений человека в физически выполнимые траектории для роботов. Система работает с 9 различными роботами и 6 наборами данных.
Главная проблема — разрыв между анатомией человека и робота: прямой перенос движений невозможен из-за различий в динамике и отсутствия данных о силах контакта. SPIDER* решает это через масштабную выборку на основе физики с виртуальным управлением контактами. Метод повышает успешность выполнения задач на 18% по сравнению со стандартной выборкой и работает в 10 раз быстрее алгоритмов обучения с подкреплением.
Система создала датасет из 2,4 миллиона кадров физически корректных движений для 5 роботизированных кистей и 103 объектов. SPIDER* протестировали на датасетах LAFAN1 и AMASS для локомоции гуманоидов: метод достиг ошибки отслеживания суставов 0,58 градуса на LAFAN1 и 0,75 градуса на AMASS. Для сравнения: метод GMR показал ошибки 1,08 и 6,2 градуса соответственно.
Метод успешно применили на реальных роботах: манипулятор Franka Emika Panda с кистью Allegro выполнил четыре задачи на ловкость — вращение лампочки, манипуляции ложкой, игру на гитаре и отключение зарядного устройства. SPIDER* также работает с гуманоидными роботами Unitree G1, H1-2, Fourier N1 и Booster T1, адаптируя человеческие движения под их морфологию. Дополнительно система может генерировать вариации движений: изменять геометрию объектов, добавлять лестницы в сцену или применять внешние силы до 240 Н при симуляции.
*Компании и продукты, признанные экстремистскими и запрещены в РФ.
Источник новости и обложки: arxiv.org