Исследователи из Университета Миннесоты и Принстона разработали иерархическую систему для автономной прокладки кабелей и веревок через множественные зажимы. Система достигает 92.5% успешности в сложных сценариях, превосходя лучший базовый метод почти на 50%.
Ключевая особенность подхода — сочетание высокоуровневого планирования с vision-language моделями и низкоуровневых навыков, обученных через reinforcement learning. Представьте себе задачу: нужно протянуть кабель через несколько зажимов в определенном порядке — синий, красный, затем зеленый. Человек сначала планирует маршрут, а затем выполняет точные движения. Аналогично работает эта система: VLM анализирует сцену и создает план, а RL-политики выполняют сложные манипуляции с учетом деформации кабеля.
Система включает три основных навыка: Insert (вставка), Pull (вытягивание) и Flatten (выпрямление). Наиболее критичный навык вставки обучается через Soft Actor-Critic в симуляторе IsaacSim с 6.2k шагов тренировки.
Особое внимание уделено механизму восстановления после сбоев. Когда кабель запутывается или принимает неудачное положение, VLM распознает проблему и активирует навык Flatten для возврата в рабочее состояние. Это критично для длительных задач, где накопление ошибок может привести к полному провалу.
В экспериментах система показала превосходные результаты: в 4-зажимных сценариях в симуляции достигла 100% успешности против 10% у базового визуального метода. В реальных экспериментах с роботом Franka Emika Panda успешность составила 62.5%, что демонстрирует практическую применимость несмотря на сложности sim-to-real переноса.
Источник новости и обложки: arxiv.org