Команда ученых из Columbia University, NVIDIA и UC San Diego представила VT-Refine — систему обучения роботов сложным двуручным сборочным операциям. Новый подход сочетает 30 демонстраций от человека, высокоточное тактильное моделирование и обучение с подкреплением для выполнения контактно-насыщенных задач сборки.
Ключевая особенность VT-Refine — использование пьезорезистивных тактильных сенсоров с разрешением 12×32 единицы (всего 384 точки касания на каждом пальце) и пространственным разрешением 2 мм. В отличие от оптических тактильных сенсоров, которые сложно точно симулировать, выбранная модальность фиксирует только нормальные силы, что значительно упрощает перенос из симуляции в реальность.
Процесс обучения состоит из двух этапов: сначала политика предварительно обучается на небольшом наборе человеческих демонстраций, затем дообучается в GPU-ускоренной симуляции методом обучения с подкреплением. Представьте, что робот сначала наблюдает, как человек 30 раз выполняет сборку разъема, а затем тысячи раз тренируется в виртуальной среде, совершенствуя микродвижения.
Эксперименты на пяти сложных задачах двуручной сборки показали значительное улучшение производительности. Дообучение с подкреплением повысило успешность выполнения примерно на 20% для системы только с визуальной информацией и примерно на 40% для визуально-тактильной версии. Особенно важно, что роботы научились выполнять характерные для человека движения «покачивание и стыковка» — быстрые циклы зондирования, микрокоррекции и повторного зондирования.
Система успешно работает на двух робототехнических платформах: настольной установке с двумя 6-DoF манипуляторами WidowX и полугуманоидном роботе с двумя 7-DoF руками Kinova Gen3. Это первая работа, демонстрирующая успешное крупномасштабное обучение с подкреплением и перенос из симуляции в реальность для двуручных визуально-тактильных политик — прорыв, который может ускорить развитие роботов-сборщиков в промышленности.
Источник новости и обложки: arxiv.org