LeRobot : la bibliothèque d'apprentissage des robots open source expliquée

Qu’est-ce que LeRobot ?

LeRobot est une bibliothèque Python gérée par Hugging Face qui fournit une infrastructure de bout en bout pour la recherche sur l'apprentissage des robots. Il gère quatre préoccupations distinctes : enregistrer des démonstrations de robots à partir de matériel réel, stocker et versionner ces démonstrations dans un format d'ensemble de données standardisé, former des politiques d'apprentissage par imitation et d'apprentissage par renforcement de pointe sur ces ensembles de données, et déployer des politiques formées sur du matériel réel pour évaluation. Chacune de ces fonctionnalités est modulaire : vous pouvez utiliser LeRobot uniquement pour le stockage de données ou pour une formation et un déploiement complets.

Le projet existe sur GitHub sous l’organisation huggingface et, début 2026, a accumulé des dizaines de milliers d’étoiles et des centaines de contributeurs. Les ensembles de données peuvent être publiés et téléchargés à partir du Hugging Face Hub, offrant ainsi à LeRobot un référentiel d'ensembles de données partagés en pleine croissance qui fonctionne comme un marché de données communautaire.

Algorithmes pris en charge

LeRobot est livré avec des implémentations natives de trois classes de politiques. ACT (Action Chunking with Transformers) est le principal algorithme pour les tâches de manipulation fines : il utilise une architecture CVAE basée sur des transformateurs avec assemblage temporel et constitue le point de départ recommandé pour la plupart des flux de travail de manipulation adroits. La politique de diffusion implémente à la fois les variantes de diffusion de débruitage basées sur CNN et basées sur transformateur pour la prédiction d'action, qui excelle dans les tâches avec des distributions d'action multimodales. TDMPC2 (Temporal Difference Model Predictive Control) est un algorithme RL basé sur un modèle qui apprend à la fois un modèle mondial et une politique, offrant une formation efficace sur les échantillons lorsqu'un environnement de simulation est disponible.

Chaque algorithme est implémenté dans PyTorch avec des scripts de formation standard, une gestion de la configuration Hydra et une intégration des poids et biais pour le suivi des expériences. Le basculement entre les algorithmes est un simple changement de fichier de configuration, ce qui rend l'évaluation comparative simple.

Matériel pris en charge

Les intégrations matérielles prêtes à l'emploi incluent les systèmes bimanuels ALOHA (bras ViperX), les bras Koch, les bras SO-100 et SO-101 à faible coût, les plates-formes mobiles Lekiwi et plusieurs bras personnalisés basés sur des servos Dynamixel. L'OpenArm, disponible via SVRC magasin, prend en charge natif LeRobot pour l'enregistrement des téléopérations et le déploiement de politiques. L'ajout d'une nouvelle plate-forme matérielle nécessite la mise en œuvre d'une classe d'interface Robot avec des méthodes de lecture de l'état commun et d'envoi de commandes conjointes – généralement quelques centaines de lignes de code pour un nouveau bras.

La prise en charge des caméras couvre les caméras USB via OpenCV, les caméras de profondeur Intel RealSense et les baies de webcam. Le système d'enregistrement gère la synchronisation multi-caméras avec horodatage logiciel et prend en charge des fréquences d'images et des résolutions configurables par caméra.

Le format de l'ensemble de données LeRobot

LeRobot stocke les ensembles de données sous forme de fichiers HDF5 avec une structure d'épisodes standardisée. Chaque épisode contient des tableaux d'observations (images compressées sous forme de flux vidéo, états conjoints sous forme de tableaux float32), d'actions (cibles de position conjointe), d'horodatages et d'annotations (chaînes de langage de tâche, indicateurs de réussite). Les fichiers de métadonnées décrivent la configuration du robot, l'étalonnage de la caméra et les statistiques de l'ensemble de données. Ce format est conçu pour être auto-descriptif et portable : un ensemble de données enregistré sur une machine peut être chargé pour un entraînement sur n'importe quelle autre machine sans modification.

Les ensembles de données publiés sur Hugging Face Hub incluent une fiche d'ensemble de données avec des statistiques, des descriptions de tâches et des exemples d'utilisation. Cela facilite la découverte et la réutilisation des ensembles de données de la communauté, réduisant ainsi la charge de collecte de données pour les tâches courantes.

Premiers pas avec LeRobot

L'installation nécessite Python 3.10+ et PyTorch. Le premier projet recommandé consiste à enregistrer 50 démonstrations d'une tâche simple de sélection et de placement sur n'importe quel matériel pris en charge, puis à former une politique ACT sur ces démonstrations. La documentation de LeRobot fournit une présentation complète, depuis la configuration du matériel jusqu'à l'évaluation des politiques. Pour les équipes ne disposant pas de leur propre matériel, SVRC propose la location de robots via notre programme de location spécifiquement pour permettre la collecte de données basée sur LeRobot.

Compatibilité d'exportation SVRC

Les SVRC plateforme de données exporte les ensembles de données au format natif LeRobot HDF5, avec tous les champs de métadonnées requis renseignés à partir de la session d'enregistrement. Les ensembles de données collectés via les installations ou les services de collecte de données de SVRC arrivent prêts pour la formation — aucune étape de conversion n'est requise. SVRC propose également l'hébergement d'ensembles de données sur Hugging Face Hub pour les partenaires de recherche qui souhaitent partager leurs données publiquement. Si vous avez des questions sur l'intégration des données SVRC avec votre pipeline de formation LeRobot, le Équipe d'ingénierie SVRC est disponible pour vous aider.