Robotic Botany-Bot создает цифровые двойники растений 90.8%

Исследователи из UC Berkeley представили Botany-Bot — систему для создания детализированных цифровых двойников живых растений. Робот сегментирует листья с точностью 90.8%, обнаруживает их с точностью 86.2% и может физически поднимать листья для фотографирования скрытых поверхностей с успешностью 77.9%.

Система использует 4 камеры, цифровой поворотный стол и 7-степенной роботизированную руку для создания 3D-моделей с помощью Gaussian Splatting. В отличие от традиционных методов фенотипирования с фиксированными камерами, которые не могут увидеть детали из-за перекрытия листьями, Botany-Bot активно взаимодействует с растением. Робот может поднимать листья специальным кольцевым захватом, чтобы сфотографировать их нижнюю сторону в высоком разрешении — это критично для обнаружения вредителей и болезней.

Система Botany-Bot создает детализированные 3D-цифровые двойники растений с использованием поворотного стола и стационарных камер, сегментируя их на отдельные компоненты. Затем система дополняет модели, приподнимая или опуская отдельные листья, чтобы получить высокодетализированные изображения их скрытых сторон. Botany-Bot также способен вычислять параметры растений, такие как высота листьев и площадь листовой пластины, с средней абсолютной погрешностью 2.0 см.

Система Botany-Bot создает высокоточные 3D-модели растений, которые сопровождаются аннотациями, а также данные с сегментированными листьями (в центре). Путем анализа отдельных листьев эти модели можно использовать для получения физических свойств, таких как высота и площадь листовой пластины. Кроме того, модель дополнена данными о взаимодействии с роботом: манипулятор поднимает каждый лист и детально сканирует его нижнюю сторону в высоком разрешении. На изображении показаны примеры двух листьев.

Система сканирования, проверки и взаимодействия с растениями Botany-Bot. Многоплановая съемка для сбора данных осуществляется в лайтбоксе (слева), что обеспечивает равномерное направленное освещение для реконструкции методом Gaussian Splatting. (В центре) вид внутри лайтбокса с поворотным столом, растением и двумя камерами. (Справа) роботизированная установка, используемая для вращения растения, подъема/отодвигания листьев и съемки их нижней и верхней сторон. Робот использует цифровой поворотный стол для минимизации заслонения при манипуляциях с растением.

Цифровой двойник включает 4 класса компонентов растения: верхняя часть листа, нижняя часть листа, боковые стебли и основной стебель. Каждый компонент имеет пространственные характеристики: центральную точку, направление, класс и параметры формы (площадь, длина). Система автоматически вычисляет физические свойства растений с средней абсолютной погрешностью всего 2.0 см при измерении размеров листьев.

В экспериментах с 8 растениями и 109 листьями система продемонстрировала способность создавать 3D-модели, которые можно просматривать в высоком разрешении со скоростью 30 кадров в секунду. Из 68 доступных для робота листьев удалось успешно поднять/опустить 53 листа, а в 41 случае полностью показать скрытые поверхности камере. Стоимость системы без робота составляет всего $1 737, что делает её доступной для широкого применения в сельском хозяйстве.

Botany-Bot Segmented Digital Twins: здесь представлены вид сбоку и вид сверху для шести различных видов растений. В каждой ячейке показаны два разных ракурса 3D-модели — вид сбоку и сверху. RGB-визуализация предоставлена рядом с цветной сегментацией компонентов растения, где каждый цвет соответствует отдельному сегменту. Отмечается как визуальное сходство моделей, так и детальная 3D-сегментация листьев.

Система открывает новые возможности для точного земледелия и селекции растений. Создание индексируемых цифровых двойников позволяет исследователям отслеживать рост растений во времени, обнаруживать заболевания на ранних стадиях и оптимизировать условия выращивания. В будущем авторы планируют добавить двуручную манипуляцию и интеграцию с более дешевыми роботизированными платформами.

Источник новости и обложки: arxiv.org

Робот Botany-Bot создает цифровые двойники растений с точностью 90.8% и может поднимать листья