Исследователи из Cornell University, Columbia и National University of Singapore представили OpenRoboCare — первый мультимодальный датасет для обучения роботов уходу за людьми. Датасет содержит демонстрации 21 эрготерапевта, выполняющих 15 задач по уходу за пациентами. Собрано 19.8 часов данных с пяти модальностей: RGB-D видео, тактильные сенсоры, отслеживание позы, движения глаз и аннотации действий.
Уход за людьми требует от роботов точного восприятия при окклюзиях, безопасного физического контакта и планирования на длительный горизонт. Существующие датасеты для роботов-сиделок ограничены по модальностям и редко содержат данные от экспертов-медиков. OpenRoboCare заполняет этот пробел, предоставляя экспертные демонстрации для обучения адаптивных роботов.
Сбор данных проходил в помещении размером 3.68 м × 3.68 м, имитирующем домашнюю среду по уходу. Эрготерапевты работали с двумя манекенами: мужским весом 150 фунтов ростом 6 футов 1 дюйм и женским весом 37.26 фунтов ростом 5 футов 5 дюймов. Для тактильной обратной связи разработана кастомная кожа с 88 резистивными сенсорами, распределенными по телу манекенов: 7 на каждой руке, 8 на каждой ноге и 14 на торсе.
Исследователи провели бенчмарк методов восприятия на задаче 2D-оценки позы манекена. Предобученная модель YOLOv11 показала mAP 0.0244 на задаче купания, 0.0259 на одевании и 0.0218 на трансфере. Файнтюнинг на данных от 5 эрготерапевтов улучшил результаты до mAP 0.7757 на купании, 0.8228 на одевании и 0.6648 на трансфере.
Анализ демонстраций выявил три принципа эрготерапевтов: предварительное позиционирование пациента для безопасности, упреждающее размещение рук для контроля траектории и эффективное выполнение для минимизации физиологического стресса. Датасет показывает, что время выполнения задач варьируется от менее 1 минуты для расчесывания до 9 минут для трансфера с кроватью. Данные о силе контакта и движении взгляда предоставляют рекомендации для проектирования роботов: диапазон усилий от 0.1 до 30 Ньютонов и упреждающее время взгляда около 2.02 секунд.
Источник новости и обложки: arxiv.org