Исследователи из Университета Брауна разработали ИИ-модель MotionGlot, которая генерирует движения роботов и анимированных персонажей по текстовым командам — примерно так же, как ChatGPT генерирует текст. Модель уже прошла тестирование на 2 наборах данных с аннотированными движениями.
Главное достижение системы — универсальность: она может переводить движения между разными типами роботов и существ. Например, команда идти вперед будет корректно интерпретирована как для двуногого гуманоида, так и для четвероногого робота-собаки. При обучении использовались 2 датасета: QUAD-LOCO с движениями четвероногих роботов и QUES-CAP с записями движений людей.
Система способна генерировать не только базовые команды вроде пройти 3 шага и повернуть направо, но и абстрактные запросы типа ходить радостно. При этом модель может отвечать на вопросы движением — например, на запрос покажи кардионагрузку она демонстрирует бегущего человека.
Исследование будет представлено на Международной конференции по робототехнике и автоматизации в Атланте в 2025 году. Разработчики планируют сделать код модели общедоступным, чтобы другие исследователи могли использовать и улучшать технологию.
Источник новости и обложки: techxplore.com