Исследователи из Stanford University представили UMI-FT — портативную систему сбора данных с сенсорами CoinFT стоимостью $10 за штуку. В задаче вкручивания лампочки метод достиг 95% успеха, в то время как стандартная Diffusion Policy показала 0%. Система также обеспечила 92% успеха при стирании с доски, превзойдя бейзлайн с результатом 16%.
Обычно портативные устройства фиксируют только визуальную информацию и положение, игнорируя силу нажатия, что критично для хрупких объектов. Коммерческие F/T сенсоры громоздкие и дорогие, что ограничивает масштабируемость сбора данных. Без тактильной обратной связи роботы часто применяют чрезмерную силу или роняют предметы из-за проскальзывания.
Инженеры интегрировали шестиосевые датчики CoinFT прямо на пальцы манипулятора, объединив их данные с RGB и глубиной от iPhone. Обученная политика Adaptive Compliance Policy (ACP) предсказывает целевые позиции, силу хвата и жесткость для контроллеров податливости. Сенсоры измеряют как внешние контактные силы, так и внутренние силы хвата, которые человек регулирует интуитивно.
Модель эффективно регулирует силу: в тестах с более жестким патроном лампочки успех составил 80%. Код и схема аппаратного обеспечения открыты для сообщества.
Источник новости и обложки: arxiv.org