Исследователи из Northeastern University создали уникальный датасет RoboMNIST, который объединяет данные с трех типов сенсоров для распознавания действий роботов. В основе датасета — записи движений двух роботизированных манипуляторов Franka Emika, которые рисуют цифры от 0 до 9 в воображаемой плоскости.
Система сбора данных включает три сенсорных модуля, каждый из которых оснащен WiFi-сниффером для получения CSI (Channel State Information), стереокамерой ZED 2 с разрешением 2560×720 пикселей и всенаправленным микрофоном с частотой дискретизации 44 100 Гц.
Всего было записано 60 различных комбинаций действий, учитывающих тип движения, выбор робота и скорость выполнения. Для каждой комбинации создано не менее 32 повторений длительностью 15 секунд, что обеспечивает разнообразие данных для обучения ИИ-моделей.
Особое внимание уделено синхронизации данных между всеми сенсорами — средняя нормализованная корреляция сигналов WiFi превышает 0.923, что подтверждает высокую точность временной привязки записей.
Источник новости и обложки: www.nature.com