Роботы научились прокладывать кабели через препятствия с помощью RL и vision-language моделей

Роботы научились прокладывать кабели через препятствия с помощью RL и vision-language моделей

Исследователи из Университета Миннесоты и Принстона разработали иерархическую систему для автономной прокладки кабелей и веревок через множественные зажимы. Система достигает 92.5% успешности в сложных сценариях, превосходя лучший базовый метод почти на 50%.

Ключевая особенность подхода — сочетание высокоуровневого планирования с vision-language моделями и низкоуровневых навыков, обученных через reinforcement learning. Представьте себе задачу: нужно протянуть кабель через несколько зажимов в определенном порядке — синий, красный, затем зеленый. Человек сначала планирует маршрут, а затем выполняет точные движения. Аналогично работает эта система: VLM анализирует сцену и создает план, а RL-политики выполняют сложные манипуляции с учетом деформации кабеля.

Система включает три основных навыка: Insert (вставка), Pull (вытягивание) и Flatten (выпрямление). Наиболее критичный навык вставки обучается через Soft Actor-Critic в симуляторе IsaacSim с 6200 шагов тренировки. Функция вознаграждения учитывает прохождение кабеля через зажим, избежание коллизий и поддержание оптимальной формы объекта.

Особое внимание уделено механизму восстановления после сбоев. Когда кабель запутывается или принимает неудачное положение, VLM распознает проблему и активирует навык Flatten для возврата в рабочее состояние. Это критично для длительных задач, где накопление ошибок может привести к полному провалу.

В экспериментах система показала превосходные результаты: в 4-зажимных сценариях достигла 100% успешности против 10% у базового визуального метода (в симуляции). В реальных экспериментах с роботом Franka Emika Panda успешность составила 62.5%, что демонстрирует практическую применимость несмотря на сложности sim-to-real переноса.

Источник новости и обложки: arxiv.org


Работаю главным редактором proglib.io — опубликовал более 800 статей и создал популярные рассылки о нейросетях и разработке. Помимо редактуры владею Python, с его помощью автоматизирую повседневные задачи.

Аватар пользователя Мирослав Кунгуров