Представьте, что робот должен поймать летящий мяч или помочь человеку в динамичной среде — ему нужно не просто видеть, что объект движется, но понимать скорость каждой его части в трехмерном пространстве. Это отличается от обычного подхода, когда система определяет скорость целого объекта как единого целого. Исследователи из Швейцарской высшей технической школы Цюриха создали CaRLi-V — систему, которая, как опытный дирижер, координирует три разных «инструмента» (радар, лидар и камеру), чтобы точно измерить трехмерную скорость каждой точки в пространстве. Главное открытие: система может отслеживать движение отдельных частей нежестких объектов — например, разных конечностей человека, движущихся с разными скоростями.
Почему это важно? Большинство существующих методов определяют скорость целых объектов, что приводит к неточностям, когда объект деформируется или движется неравномерно — как человек, который одновременно ходит и машет рукой. Некоторые датчики (например, частотно-модулированный радар) могут напрямую измерить радиальную скорость (движение прямо к датчику или от него), но их данные зашумлены и редкие. Другие подходы используют оптический поток (анализ движения в видео) или сцену-поток, но они либо работают только с боковым движением, либо требуют огромных вычислительных мощностей. CaRLi-V решает эту проблему, объединив сильные стороны всех трех датчиков: радар дает информацию о радиальной скорости, камера — о боковом движении, а лидар обеспечивает точное пространственное положение каждой точки.
Механизм работает в три этапа, как конвейер на производстве. Сначала система обрабатывает сырые данные радара и создает инновационное представление — «куб скоростей» (velocity cube), который плотно кодирует скорости движения во всем поле зрения радара, вместо того чтобы выделять только яркие точки. Это похоже на переход от случайно разбросанных маячков к полной тепловой карте. Одновременно система вычисляет оптический поток — пиксель за пикселем отслеживает, как движется каждая часть изображения между двумя последовательными кадрами. На третьем этапе лидар проецируется в оба представления: извлекаются показания радиальной скорости из куба скоростей и показания оптического потока из видео. Точное математическое решение объединяет эти две компоненты движения (радиальную и боковую) в полный трехмерный вектор скорости для каждой точки лидара.
Результаты впечатляют: система достигает средней ошибки в скорости 0,235 м/с — примерно столько же, сколько человек проходит за секунду при быстрой ходьбе, это очень точно для такой сложной задачи. Ошибка в радиальной компоненте составила 0,138 м/с, в боковой — 0,158 м/с (небольшое отставание в боковом движении связано с выбором более быстрого, но менее точного алгоритма оптического потока). Система точно определила направление скорости с угловой ошибкой всего 19,7 градуса для значимых движений. Единственное ограничение: из-за низкого углового разрешения радара скорость иногда переносится, размазывается на соседние статичные объекты, создавая ложные показания — но это легко исправить стандартными методами фильтрации. Разработанный как открытый пакет ROS2, CaRLi-V демонстрирует, что трехсенсорный подход — это не просто теория, а практически работающее решение для роботов, взаимодействующих с людьми и динамичными средами.
Источник новости и обложки: arxiv.org