Исследователи из Стэнфордского университета и Техасского университета в Остине разработали GeT-USE — двухэтапную систему, которая позволяет роботам изучать универсальное использование инструментов через расширение собственного воплощения в симуляции.
GeT-USE решает сложную задачу обобщенного использования инструментов, когда агент должен учитывать геометрические и морфологические свойства доступных объектов для выбора и быть оснащенным общим навыком манипулирования, способным использовать широкий набор объектов как инструменты для задачи. Система работает в два этапа: сначала робот изучает расширения своего воплощения в симуляции, затем переносит полученные стратегии в реальный мир через визуально-двигательные политики.
В экспериментах с роботом TIAGo, имеющим 22 степени свободы, GeT-USE оценивался в трех задачах бимануальной мобильной манипуляции с использованием обобщенных инструментов: переливание (Decanting), подметание (Sweeping) и зацепление и захват (Hook_and_grasp). Система способна работать с реальными объектами, окружением и условиями освещения, которые никогда не встречались во время обучения в симуляции.
GeT-USE превосходит современные методы на 30-60% по показателям успешности во всех трех задачах. Система использует парадигму учитель-ученик для создания 1) модели визуальных возможностей для выбора наиболее подходящего объекта в окружении, 2) визиомоторной стратегии для его захвата и 3) другой визиомоторной стратегии для управления использованием инструмента. Все эксперименты проводились автономно без вмешательства человека, используя реальные объекты и условия освещения, никогда не виденные во время обучения.
Источник новости и обложки: arxiv.org