LeRobot — открытый фреймворк для разработки и обучения роботов на базе PyTorch. Проект предоставляет 3 ключевых компонента: предобученные модели, наборы данных с демонстрациями от людей и симуляционные среды для тестирования без реального робота.
Фреймворк уже поддерживает 3 основных симуляционных окружения: ALOHA для обучения манипуляции двумя руками, Pusht для задач перемещения объектов, и xArm для работы с роботизированными манипуляторами. Все модели и наборы данных доступны через единый репозиторий на платформе Hugging Face.
В основе LeRobot лежат современные методы имитационного и подкрепляющего обучения. Фреймворк использует 4 ведущих алгоритма: ACT для точной бимануальной манипуляции, Diffusion Policy для визуомоторного управления, TDMPC для предиктивного контроля и VQ-BeT для генерации поведения.
Для работы требуется Python версии 3.10. Проект активно развивается — в ближайшие недели разработчики обещают добавить поддержку новых доступных роботов для реальных применений.
Источник новости и обложки: github.com