Исследователи из University of Pennsylvania разработали систему HALO для высотной аэросъемки с использованием моно камеры, GPS и IMU. Система строит метрико-семантические карты в реальном времени и выполняет задачи, заданные на естественном языке. HALO планирует информативные траектории для выполнения миссий с несколькими задачами.
Высотные аэрооперации представляют необычные вызовы для восприятия окружения. LiDAR обеспечивает точную глубину, но плотность точек на больших расстояниях низкая, при этом LiDAR дорогой и тяжелый. Стерео системы неэффективны из-за ограниченной базы на летательных аппаратах, в то время как моно системы имеют неоднозначность масштаба. GPS предоставляет точную информацию о позиции, но не об ориентации.
HALO использует модель VGGT для оценки плотности глубины и поз с высотных аэроснимков. Система извлекает языковые фичи из каждого цветного изображения с помощью модифицированного RADIO энкодера с SigLIP адаптером. Иерархический планировщик состоит из глобального планировщика для выбора следующего лучшего региона и локального планировщика для генерации траекторий. Для исследования регионов локальный планировщик решает задачу Asymmetric Traveling Salesman Problem для посещения всех кандидатов фронтиров.
В симуляциях на окружениях PolyCity площадью 78,000 м² и Forest площадью 62,500 м² HALO последовательно выполняет задачи с меньшим временем исследования. Система достигает до 68% более высокого competitive ratio по пройденному расстоянию по сравнению с state-of-the-art бейзлайном для семантического исследования. Для сложной миссии со связанными задачами в Forest HALO достигает более 15% сокращения времени исследования и более чем в шесть раз улучшения competitive ratio по сравнению с лучшим геометрическим бейзлайном.
В реальных экспериментах использовался квадрокоптер с бортовым компьютером NVIDIA Jetson AGX Orin, камерой ZED 2i, IMU VectorNav VN-100T и GNSS u-blox ZED-F9P. Робот работал на высоте 40 м над землей с максимальной скоростью 2 м/с. HALO последовательно достигает competitive ratio не менее 0.35 для задач различной сложности и превышает 0.86, когда робот ранее встречал релевантную информацию о задаче. Эксперименты демонстрируют, что все модули могут работать на борту робота и что HALO поддерживает эффективное автономное выполнение миссий, покрывающих до 24,600 м² площади.
Источник новости и обложки: arxiv.org