Исследователи из UC Berkeley представили Botany-Bot — систему для создания детализированных цифровых двойников живых растений. Робот сегментирует листья с точностью 90.8%, обнаруживает их с точностью 86.2% и может физически поднимать листья для фотографирования скрытых поверхностей с успешностью 77.9%.
Система использует 4 камеры, цифровой поворотный стол и 7-степенной роботизированную руку для создания 3D-моделей с помощью Gaussian Splatting. В отличие от традиционных методов фенотипирования с фиксированными камерами, которые не могут увидеть детали из-за перекрытия листьями, Botany-Bot активно взаимодействует с растением. Робот может поднимать листья специальным кольцевым захватом, чтобы сфотографировать их нижнюю сторону в высоком разрешении — это критично для обнаружения вредителей и болезней.
Цифровой двойник включает 4 класса компонентов растения: верхняя часть листа, нижняя часть листа, боковые стебли и основной стебель. Каждый компонент имеет пространственные характеристики: центральную точку, направление, класс и параметры формы (площадь, длина). Система автоматически вычисляет физические свойства растений с средней абсолютной погрешностью всего 2.0 см при измерении размеров листьев.
В экспериментах с 8 растениями и 109 листьями система продемонстрировала способность создавать HD-модели со скоростью 30 кадров в секунду. Из 68 доступных для робота листьев удалось успешно поднять/опустить 53 листа, а в 41 случае полностью показать скрытые поверхности камере. Стоимость системы без робота составляет всего $1 737, что делает её доступной для широкого применения в сельском хозяйстве.
Система открывает новые возможности для точного земледелия и селекции растений. Создание индексируемых цифровых двойников позволяет исследователям отслеживать рост растений во времени, обнаруживать заболевания на ранних стадиях и оптимизировать условия выращивания. В будущем авторы планируют добавить двуручную манипуляцию и интеграцию с более дешевыми роботизированными платформами.
Источник новости и обложки: arxiv.org