3D-скан за 2 минуты: ObjSplat ускорил оцифровку в 6 раз

3D-скан за 2 минуты: ObjSplat ускорил оцифровку в 6 раз

Фреймворк ObjSplat сократил время онлайн-сканирования объектов до 121,96 секунд, что в 6 раз быстрее метода FisherRF. Система создает фотореалистичные модели, уменьшая длину пути робота до 3,96 метра против 18,02 метра у жадных алгоритмов NBV.

Традиционные методы на базе NeRF и 3DGS требуют плотного набора данных и сложной оффлайн-оптимизации, а существующие алгоритмы активного зрения ограничены «жадным» планированием. Такой подход игнорирует кинематические ограничения робота и часто пропускает скрытые поверхности из-за самозатенения.

ObjSplat самостоятельно планирует точки обзора и постепенно реконструирует неизвестный объект в высокоточную модель что позволяет напрямую использовать её в физических симуляциях.
Обзор системы. ObjSplat постепенно реконструирует неизвестные объекты из RGB-D кадров, используя гауссовы сферы в качестве унифицированного представления. (Вверху слева) Входящие кадры интегрируются в глобальную модель, где совместная оптимизация геометрии и текстуры обеспечивает как фотометрическую, так и геометрическую согласованность. (Справа) Конвейер оценки геометрии с учетом вида формирует карту неопределенности, интегрируя учитывающую окклюзию совместную видимость, уверенность на уровне сфер и детектирование обратных сторон для оценки качества и полноты поверхности. (Внизу слева) Под руководством этой плотной карты неопределенности планировщик оптимального следующего пути выполняет многошаговое предсказание на пространственной топологии, генерируя глобально эффективные траектории, которые балансируют между получением информации и стоимостью перемещения для активной реконструкции.

ObjSplat использует 2D Gaussian Surfels для унифицированного представления геометрии и текстуры, обновляя модель в реальном времени. Планировщик Next-Best-Path (NBP) строит пространственный граф и выполняет многошаговый прогноз, оптимизируя баланс между информативностью и стоимостью перемещения.

Эксперименты на реальных артефактах подтвердили создание физически корректных ассетов примерно за 5 минут, включая оффлайн-доработку. Это позволяет использовать полученные модели напрямую в физических симуляциях, устраняя разрыв между симуляцией и реальностью.

Источник новости и обложки: arxiv.org


Главред proglib.io (01.2022-10.2025). Опубликовал более 800 статей и запустил имейл-рассылки о нейросетях и разработке. Пишу на Python.

Аватар пользователя Мирослав Кунгуров