LeRobot: Die Open-Source-Roboter-Lernbibliothek erklärt

Was ist LeRobot?

LeRobot ist eine von Hugging Face verwaltete Python-Bibliothek, die eine End-to-End-Infrastruktur für die Forschung zum Lernen von Robotern bereitstellt. Es befasst sich mit vier unterschiedlichen Anliegen: Aufzeichnen von Roboterdemonstrationen auf realer Hardware, Speichern und Versionieren dieser Demonstrationen in einem standardisierten Datensatzformat, Trainieren hochmoderner Imitation-Learning- und Reinforcement-Learning-Richtlinien auf diesen Datensätzen und Zurückführen trainierter Richtlinien auf realer Hardware zur Auswertung. Jede dieser Funktionen ist modular aufgebaut – Sie können LeRobot nur zur Datenspeicherung oder für die Schulung und Bereitstellung des gesamten Stacks verwenden.

Das Projekt lebt auf GitHub unter der Organisation Huggingface und hat seit Anfang 2026 Zehntausende von Stars und Hunderte von Mitwirkenden angesammelt. Datensätze können im Hugging Face Hub veröffentlicht und von dort heruntergeladen werden, wodurch LeRobot ein wachsendes gemeinsames Datensatz-Repository erhält, das als Community-Datenmarktplatz fungiert.

Unterstützte Algorithmen

LeRobot wird mit nativen Implementierungen von drei Richtlinienklassen ausgeliefert. ACT (Action Chunking with Transformers) ist der primäre Algorithmus für feinkörnige Manipulationsaufgaben: Er verwendet eine transformatorbasierte CVAE-Architektur mit zeitlicher Verknüpfung und ist der empfohlene Ausgangspunkt für die meisten geschickten Manipulationsworkflows. Diffusion Policy implementiert sowohl die CNN-basierte als auch die transformatorbasierte Variante der Entrauschungsdiffusion zur Aktionsvorhersage, die sich bei Aufgaben mit multimodalen Aktionsverteilungen auszeichnet. TDMPC2 (Temporal Difference Model Predictive Control) ist ein modellbasierter RL-Algorithmus, der sowohl ein Weltmodell als auch eine Richtlinie lernt und ein stichprobeneffizientes Training bietet, wenn eine Simulationsumgebung verfügbar ist.

Jeder Algorithmus ist in PyTorch mit Standard-Trainingsskripten, Hydra-Konfigurationsmanagement und Gewichtungs- und Biases-Integration für die Experimentverfolgung implementiert. Das Umschalten zwischen Algorithmen ist eine einzige Änderung der Konfigurationsdatei, was eine vergleichende Auswertung unkompliziert macht.

Unterstützte Hardware

Zu den sofort einsatzbereiten Hardware-Integrationen gehören bimanuelle ALOHA-Systeme (ViperX-Arme), Koch-Arme, kostengünstige SO-100- und SO-101-Arme, mobile Lekiwi-Plattformen und mehrere servobasierte kundenspezifische Dynamixel-Arme. Der OpenArm, erhältlich über SVRCs speichernverfügt über native LeRobot-Unterstützung für Teleoperationsaufzeichnung und Richtlinienbereitstellung. Das Hinzufügen einer neuen Hardwareplattform erfordert die Implementierung einer Roboterschnittstellenklasse mit Methoden zum Lesen des Gelenkstatus und zum Senden von Gelenkbefehlen – normalerweise einige hundert Codezeilen für einen neuen Arm.

Die Kameraunterstützung umfasst USB-Kameras über OpenCV, Intel RealSense-Tiefenkameras und Webcam-Arrays. Das Aufzeichnungssystem übernimmt die Synchronisierung mehrerer Kameras mit Software-Zeitstempel und unterstützt konfigurierbare Bildraten und Auflösungen pro Kamera.

Das LeRobot-Datensatzformat

LeRobot speichert Datensätze als HDF5-Dateien mit einer standardisierten Episodenstruktur. Jede Episode enthält Arrays für Beobachtungen (als Videostreams komprimierte Bilder, gemeinsame Zustände als float32-Arrays), Aktionen (gemeinsame Positionsziele), Zeitstempel und Anmerkungen (Zeichenfolgen in der Aufgabensprache, Erfolgsflags). Metadatendateien beschreiben die Roboterkonfiguration, die Kamerakalibrierung und die Datensatzstatistiken. Dieses Format ist so konzipiert, dass es selbstbeschreibend und portierbar ist: Ein auf einem Computer aufgezeichneter Datensatz kann ohne Änderung zum Training auf einen anderen Computer geladen werden.

Zu den im Hugging Face Hub veröffentlichten Datensätzen gehört eine Datensatzkarte mit Statistiken, Aufgabenbeschreibungen und Anwendungsbeispielen. Dies erleichtert das Auffinden und Wiederverwenden von Datensätzen aus der Community und reduziert den Datenerfassungsaufwand für allgemeine Aufgaben.

Erste Schritte mit LeRobot

Für die Installation sind Python 3.10+ und PyTorch erforderlich. Das empfohlene erste Projekt besteht darin, 50 Demonstrationen einer einfachen Pick-and-Place-Aufgabe auf jeder unterstützten Hardware aufzuzeichnen und anschließend eine ACT-Richtlinie für diese Demonstrationen zu trainieren. Die Dokumentation von LeRobot bietet eine vollständige Anleitung von der Hardware-Einrichtung bis zur Richtlinienbewertung. Für Teams ohne eigene Hardware bietet SVRC über unsere Roboterleasing an Leasingprogramm speziell um die LeRobot-basierte Datenerfassung zu ermöglichen.

SVRC-Exportkompatibilität

SVRCs Datenplattform exportiert Datensätze im nativen LeRobot HDF5-Format, wobei alle erforderlichen Metadatenfelder aus der Aufzeichnungssitzung ausgefüllt werden. Datensätze, die über die SVRC-Einrichtung oder Datenerfassungsdienste gesammelt wurden, sind bereit für das Training – es ist kein Konvertierungsschritt erforderlich. SVRC bietet auch Datensatz-Hosting auf dem Hugging Face Hub für Forschungspartner an, die ihre Daten öffentlich teilen möchten. Wenn Sie Fragen zur Integration von SVRC-Daten in Ihre LeRobot-Trainingspipeline haben, wenden Sie sich an die SVRC-Ingenieurteam steht für Hilfe zur Verfügung.