LeRobot: объяснение библиотеки обучения роботов с открытым исходным кодом

Что такое ЛеРобот?

LeRobot — это библиотека Python, поддерживаемая Hugging Face, которая обеспечивает сквозную инфраструктуру для исследований в области обучения роботов. Он решает четыре отдельные задачи: запись демонстраций роботов на реальном оборудовании, хранение и создание версий этих демонстраций в стандартизированном формате набора данных, обучение современным политикам имитационного обучения и обучения с подкреплением на этих наборах данных, а также развертывание обученных политик обратно на реальное оборудование для оценки. Каждая из этих возможностей является модульной — вы можете использовать LeRobot только для хранения данных или для комплексного обучения и развертывания.

Проект существует на GitHub под организацией HuggingFace и по состоянию на начало 2026 года собрал десятки тысяч звезд и сотни участников. Наборы данных можно публиковать и загружать из Hugging Face Hub, что дает LeRobot растущее общее хранилище наборов данных, которое функционирует как рынок данных сообщества.

Поддерживаемые алгоритмы

LeRobot поставляется с собственными реализациями трех классов политик. ACT (Action Chunking with Transformers) — это основной алгоритм для задач мелкозернистого манипулирования: он использует архитектуру CVAE на основе трансформатора с временным ансамблем и является рекомендуемой отправной точкой для большинства ловких рабочих процессов манипулирования. Политика диффузии реализует варианты шумоподавления диффузии для прогнозирования действий как на основе CNN, так и на основе преобразователя, что отлично подходит для задач с мультимодальным распределением действий. TDMPC2 (предсказательное управление моделью временных различий) — это алгоритм RL на основе модели, который изучает как мировую модель, так и политику, предлагая эффективное обучение при наличии среды моделирования.

Каждый алгоритм реализован в PyTorch со стандартными сценариями обучения, управлением конфигурацией гидры и интеграцией весов и смещений для отслеживания экспериментов. Переключение между алгоритмами осуществляется одним изменением файла конфигурации, что упрощает сравнительную оценку.

Поддерживаемое оборудование

Готовые аппаратные интеграции включают в себя бимануальные системы ALOHA (манипуляторы ViperX), манипуляторы Коха, недорогие манипуляторы SO-100 и SO-101, мобильные платформы Lekiwi и несколько специальных манипуляторов на базе сервоприводов Dynamixel. OpenArm, доступный через SVRC. магазин, имеет встроенную поддержку LeRobot для записи телеопераций и развертывания политик. Добавление новой аппаратной платформы требует реализации класса интерфейса робота с методами для чтения состояния сустава и отправки совместных команд — обычно несколько сотен строк кода для новой руки.

Поддержка камер охватывает USB-камеры через OpenCV, камеры глубины Intel RealSense и массивы веб-камер. Система записи обеспечивает синхронизацию нескольких камер с программной отметкой времени и поддерживает настраиваемую частоту кадров и разрешение для каждой камеры.

Формат набора данных LeRobot

LeRobot хранит наборы данных в виде файлов HDF5 со стандартизированной структурой эпизодов. Каждый эпизод содержит массивы для наблюдений (изображения, сжатые в виде видеопотоков, состояния суставов в виде массивов float32), действий (цели совместной позиции), временных меток и аннотаций (строки языка задач, флаги успеха). Файлы метаданных описывают конфигурацию робота, калибровку камеры и статистику набора данных. Этот формат предназначен для самоописания и переносимости: набор данных, записанный на одной машине, можно загрузить для обучения на любой другой машине без изменений.

Наборы данных, опубликованные в Hugging Face Hub, включают карточку набора данных со статистикой, описаниями задач и примерами использования. Это упрощает обнаружение и повторное использование наборов данных сообщества, уменьшая нагрузку на сбор данных для выполнения общих задач.

Начало работы с LeRobot

Для установки требуются Python 3.10+ и PyTorch. Рекомендуемый первый проект — запись 50 демонстраций простой задачи по перестановке на любом поддерживаемом оборудовании, а затем обучение политике ACT на этих демонстрациях. Документация LeRobot содержит полное описание процесса настройки оборудования и оценки политики. Для команд, не имеющих собственного оборудования, SVRC предлагает аренду роботов через нашу компанию. лизинговая программа специально для обеспечения сбора данных с помощью LeRobot.

Экспортная совместимость SVRC

SVRC платформа данных экспортирует наборы данных в собственный формат LeRobot HDF5 со всеми необходимыми полями метаданных, заполненными из сеанса записи. Наборы данных, собранные с помощью оборудования SVRC или служб сбора данных, поступают готовыми к обучению — никакого преобразования не требуется. SVRC также предоставляет хостинг наборов данных в Hugging Face Hub для партнеров по исследованиям, которые хотят публично делиться своими данными. Если у вас есть вопросы по интеграции данных SVRC с вашим конвейером обучения LeRobot, Инженерная команда SVRC готов помочь.