Исследователи из UC San Diego, UC Los Angeles и Meta* представили GSWorld* — симулятор для робототехники, который объединяет технологию 3D Gaussian Splatting с физическими движками. Система позволяет обучать роботов в фотореалистичной виртуальной среде с последующим переносом навыков в реальный мир без дополнительной настройки.
Ключевая особенность GSWorld* — замкнутый цикл разработки: одна и та же среда используется для обучения, тестирования, диагностики ошибок и повторного обучения политик управления. Это стало возможным благодаря новому формату активов GSDF (Gaussian Scene Description File), который сочетает представление Gaussian-on-Mesh с роботизированными URDF-файлами и другими объектами.
Для создания метрически точного цифрового двойника система использует короткие многоракурсные съемки реальных сцен. ArUco-маркеры помогают установить абсолютный масштаб, а алгоритм ICP выравнивает URDF робота со сценой через подгонку поверхностей. База данных GSWorld* включает 3 робота-воплощения для одноручной и двуручной манипуляции, а также более 40 объектов.
Исследователи протестировали систему на трех роботизированных платформах: Franka Research 3 с захватом UMI, UF xArm6 с параллельным захватом и двуручном роботе Galaxea R1. Эксперименты показали успешный нулевой перенос (нулевой перенос — это способность модели, обученной исключительно в симуляционной среде, непосредственно и без дополнительного обучения или настройки работать в реальном мире) из симуляции в реальность для задач имитационного обучения и обучения с подкреплением.
GSWorld* поддерживает автоматический сбор DAgger-данных в симуляции: система воспроизводит сценарии неудач политики, случайно выбирает состояния восстановления и запускает планировщик движений для получения корректирующих данных. Это позволяет итеративно улучшать политики реального мира без масштабных экспериментов на физических роботах.
Система демонстрирует сильную корреляцию между производительностью в симуляции и реальным миром для всех протестированных задач и архитектур политик. Это делает GSWorld* надежным инструментом для предсказания результатов в реальности без необходимости физического развертывания политик. Код и данные доступны на официальном сайте проекта.
*Компании и продукты, признанные экстремистскими и запрещены в РФ.
Источник новости и обложки: arxiv.org