Исследователи из Технологического института Джорджии разработали новый метод обучения гуманоидных роботов с помощью очков дополненной реальности Project Aria* от Meta*. Система EgoMimic использует записи от первого лица для создания обучающих данных, что позволило сократить время сбора информации до всего 90 минут.
Традиционно для обучения роботов требовалось множество часов телеоперации — прямого управления роботом с помощью контроллера. Новый подход, разработанный аспирантом Симаром Кареером под руководством профессора Данфэя Сюя, использует данные с очков Project Aria, которые записывают действия человека от первого лица.
Исследователи установили очки Project Aria непосредственно на робота в качестве системы восприятия, что позволило ему в реальном времени анализировать окружающую среду. Благодаря такому подходу удалось добиться впечатляющего результата — производительность робота выросла на 400% по сравнению с предыдущими методами.
Результаты исследования будут представлены на конференции IEEE ICRA 2025 года в Атланте. Проект основан на датасете Ego-Exo4D, содержащем более 3000 часов записей повседневной деятельности людей, и открывает новые возможности для масштабного обучения роботов на основе человеческого опыта.
*Компании и продукты, признанные экстремистскими и запрещены в РФ.
Источник новости и обложки: ai.meta.com