Исследователи разработали систему, позволяющую БПЛА уклоняться от предмет, брошенных людьми, используя RGB-D камеру. Фреймворк интегрирует оценку позы человека с информацией о глубине для предсказания траектории атакующего и последующей траектории предмета. Система достигла точности уклонения 96.67% в симуляции.
БПЛА, выполняющие задачи вроде транспортировки и аэрофотосъемки, уязвимы к атакам предметами от людей. Недавние отчеты зафиксировали случаи, когда толпы на публичных мероприятиях бросали предметы, чтобы нарушить работу БПЛА. Вдохновившись бейсболом, где игроки предсказывают траекторию мяча по движениям тела питчера, исследователи предложили систему предиктивного уклонения на основе анализа позы человека. Этот подход позволяет раннее предвосхищение еще до того, как предмет станет видимым или будет выпущен.
Система состоит из двух модулей: PAPT для предсказания траектории предмета на основе позы и UAD для стратегии уклонения с учетом неопределенности. PAPT использует синхронизированные пары RGB-изображений и карт глубины для оценки 3D-позиций суставов человека в реальном времени с помощью RTMPose. Модуль достиг дальности обнаружения 6 метров и средней латентности 26.4 мс на CPU. UAD вводит модель неопределенности в форме слоновой кости, которая расширяет зону опасности предмета, позволяя БПЛА выполнять экстренные маневры уклонения.
В симуляции метод достиг success rate 96.67%, превосходя бейзлайн с 60%. Система обнаружила 3D-позиции ключевых точек человека на 2.99 секунды раньше, чем бейзлайн обнаружил предмет. Реальные эксперименты показали success rate 100% при низких и средних скоростях предметов на всех дистанциях от 3 до 6 метров. При экстремальных скоростях до 13.29 м/с на дистанции 6 метров система сохранила success rate выше 76.2%.
Система показала робастность в разнообразных сценариях: разные стили бросков, конфигурации суставов, типы предмета и условия окклюзии. Шесть участников бросали предметы различных размеров и форм — от теннисного мяча до бутылки и тапка — при этом стандартное отклонение success rate составило 4.60%. При окклюзии система достигла среднего success rate 93.6%, демонстрируя надежную работу даже при неполной визуальной информации. Система также успешно идентифицировала и отслеживала траектории двух одновременных атак.
Источник новости и обложки: arxiv.org