Исследователи из Мичиганского университета и Toyota Research Institute представили CADRE — систему обучения с подкреплением, которая учит роботов не просто ловить падающие объекты, но и правильно их удерживать для продолжения работы. Ключевая особенность: система использует Neural Descriptor Fields (NDF) для анализа контактов между пальцами робота и объектом с точностью до 2 см.
Представьте ситуацию: робот закручивает винт отверткой, но неожиданно высокий крутящий момент заставляет инструмент выскользнуть из захвата. Обычные системы ловли объектов используют силовой захват — просто схватить любым способом. Но для продолжения работы нужен точный захват: указательный палец сверху отвертки, большой и средний — по бокам рукоятки. CADRE решает именно эту задачу, достигая 100% успешности ловли на знакомых объектах.
Секрет системы — в использовании нейронных дескрипторных полей, которые создают неявное представление контактов. Вместо анализа облака точек объекта, система понимает геометрические соответствия между 3D-координатами и поверхностью объекта. Алгоритм анализирует K ключевых точек на роботизированной руке (по одной на каждое звено), определяя оптимальные контакты для каждого типа объекта.
В экспериментах с отвертками система показала впечатляющие результаты: позиционная ошибка менее 1 см и угловая ошибка менее 10° при восстановлении желаемой конфигурации. Еще важнее — способность к обобщению: CADRE успешно ловит объекты с вдвое меньшими размерами, чем те, на которых обучалась, без дополнительной подготовки.
Исследователи протестировали систему на роботе с 7-степенной рукой KUKA iiwa и кистью Allegro Hand в задачах с отвертками и гайками. Несмотря на 50-миллисекундную задержку реального железа, CADRE превзошла базовые методы, использующие только облака точек или информацию о позе объекта. Команда планирует развивать подход для более сложных сценариев восстановления.
Источник новости и обложки: arxiv.org