RoboMimic: Vollständiger Leitfaden zum Benchmark für das Lernen von Robotern imimiert (2026)
RoboMimic erklärte: Datensätze, BC/offline-RL-Algorithmen und das Standard-Eval-Protokoll für Robotermanipulation <unk> sowie MimicGen für synthetische Demos.
RoboMimic ist der Standard für die Bewertung von Imitationslernen und Offline-RL-Algorithmen bei Roboternappielungsarbeiten. Wenn Sie eine neue Methode des Lernens entwickeln oder bewerten, müssen Ihre Ergebnisse gegen RoboMimic gemeldet werden.
Was ist RoboMimic?
RoboMimic ist ein Rahmenwerk und Benchmark für das Roboterlernen aus Demonstrationen, das von Ajay Mandlekar et al. an der Stanford University entwickelt und bei CoRL 2021 veröffentlicht wurde. Es bietet drei Dinge in einem Paket: eine kuratierte Sammlung von Demonstrationsdaten-Sets mit unterschiedlicher Betreiberqualität, eine Reihe von Imitationslernen und Offline-RL-Algorithmusimplementierungen und ein standardisiertes Bewertungsprotokoll, das Cross-Paper-Vergleiche sinnvoll macht.
Vor RoboMimic war es schwierig, im Vergleich mit Imitations-Lernpapieren zu arbeiten, da jede Gruppe ihre eigenen proprietären Datensätze mit verschiedenen Betreibern, verschiedenen Qualitätsstandards und verschiedenen Bewertungsprotokollen sammelte. Ein Papier, das 80% Erfolgsrate behauptet, könnte einfache Demonstrationen von Experten verwenden, während ein anderer 60% unangenehme Demonstrationen von Neulingern verwendet hat
RoboMimic verwendet die [robosuite] ((
Die RoboMimic Datensätze
RoboMimic umfasst vier Aufgaben, die jeweils mit mehreren Varianten von Datensätzen aus verschiedenen Fähigkeitsstufen erfasst werden. Diese qualitativ hochwertige Struktur ist die wichtigste Designentscheidung des Benchmarks: Sie ermöglicht es Ihnen, zu testen, wie robust Ihr Algorithmus für die Datenbestandsqualität ist, was in der Praxis enorm wichtig ist, da die Datenerhebung in der realen Welt gemischte Qualität zeigt.
Aufgaben
| Task | Description | Difficulty | Demo Count |
|---|---|---|---|
| Lift | Pick a small cube off a table and raise it above a height threshold | Easy | 200 per variant |
| Can | Pick a soda can from a bin and place it in a designated target region | Medium | 200 per variant |
| Square | Pick a square nut and fit it onto a peg — requires precise insertion alignment | Hard | 200 per variant |
| Transport | Two-arm task: pick a hammer from a closed bin, transfer between arms, place in target bin | Very Hard | 200 per variant |
Datensatzvarianten
Jede Aufgabe hat vier Varianten des Datensatzes, die unterschiedliche Ebenen der Konsistenz des Betreibers widerspiegeln:
- PH (Proficient-Human): Demonstrationen eines einzelnen hochqualifizierten Betreibers, der jede Prüfung mit konsequenten, reibungslosen Bewegungen erfolgreich abschließt.
- MH (Multi-Human): Demonstrationen von 6 Betreibern unterschiedlicher Fähigkeiten: 1 "schlechter" Betreiber, 3 "gut" Betreiber und 2 "besser" Betreiber (der aus PH ausgerichtete Mensch).
- MH-Untergruppen: Getrennte Downloads für die schlimmsten/gut/besser Untergruppen von MH, so dass Sie untersuchen können, wie Qualitätsfilter die Leistung beeinflussen.
- RH (Rendered-Human): Demonstrationen, die mit Bildbeobachtungen statt mit staatlichen Beobachtungen zur Bewertung der visuellen Politik durchgeführt werden.
Für die meisten Forschungszwecke ist der MH-Datensatz der informativste Benchmark, da er sowohl die Fähigkeit des Algorithmus, laute Demonstrationen zu filtern, als auch seine Fähigkeit, aus multimodalen Daten zu lernen, testet. Algorithmen, die einen hohen Wert auf PH erzielen, aber viel niedriger auf MH haben ein Problem mit übermäßiger Passform an sauberen Daten.
Dateiformat und Download
RoboMimic Datensätze werden im HDF5-Format mit einem Standardschema gespeichert. Jede Datei wird nach Aufgabe und Operatorqualität benannt:
# HDF5 Dateistruktur für eine einzige RoboMimic Demo-Datei Lift_ph_low_dim.hdf5 /data/ demo_0/ /obs/ robot0_eef_pos # (T, 3) End-Effektor-Position-Roboter0_eef_quat # (T, 4) End-Effektor-Orientierung-Roboter0_Gripper_qpos # (T, 2) Greifer-Gelenkpositionen Objekt # (T, 14) Objektposition + andere Env-Ob /Aktionen # (T, 7) Delta EEF Pos + Ori + Greifer /Rewards # (T,) pro Schritt-Reward (Sparse 1.0 bei Episode) /Dones # (T-Termination Flaggen Demo_1/ ... /Maske/ # Indizes für Zugsplit validiert # Indizes für Zugsplitung gültig)
Die Datenmengen werden von der offiziellen RoboMimic-Website unter
Algorithmen: BC, BC-RNN, HBC und IRIS
RoboMimic setzt vier Algorithmen als Referenzgrundlinie um.
BC (Verhaltensklonung)
Die einfachste Basislinie: eine Feedforward-MLP-Politik, die MSE zwischen vorhergesagten und demonstrierten Aktionen minimiert. Beobachtung: aktuelle Roboterzustand (und/oder Bild). Aktion: Delta-End-Effektor-Pose. Keine zeitlichen Kontext außerhalb des aktuellen Rahmens. BC funktioniert auf Lift (einfache Aufgabe, geringe Multimodalität) angemessen, schwächt sich jedoch deutlich auf Can und Square ab, weil es keine Erinnerung an die jüngste Bahngeschichte hat und die Demonstrationsvariabilität nicht bewältigen kann.
Wenn es funktioniert: Aufgaben mit niedrigen Varianten, kurzen Horizont (einfach greifen), keine mehrstufigen Koordinierungsanforderungen.
Wenn es versagt: Jede Aufgabe, bei der sich der Roboter erinnern muss, was er gerade getan hat (häufig in mehrstufigen Aufgaben) oder bei denen die Demonstrationen in der Strategie variieren.
BC-RNN (Behavioral Cloning mit wiederkehrenden Netzwerken)
BC mit einem LSTM-Backbone anstelle eines MLP. Das LSTM hält einen versteckten Zustand über Zeitstufen hinweg aufrecht und gibt dem Politik-Zeitgedächtnis. Dies verbessert die Leistung bei mehrstufigen Aufgaben wie Can und Transport erheblich, wo das Wissen über die Geschichte der Armbewegungen für die Entscheidung, was als nächstes zu tun ist, unerlässlich ist. BC-RNN mit 2-Schicht LSTM (400 versteckte Einheiten pro Schicht) ist die stärkste Standard-BC-Baseline und die am häufigsten gemeldete Zahl in Imitationsstudien.
Wenn es funktioniert: Mehrstufige Aufgaben, Aufgaben mit zeitlichen Abhängigkeiten, Aufgaben, bei denen sich der Roboter an frühere Kontaktzustände erinnern muss.
Wenn es versagt: Aufgaben mit hoher Multimodalität (mehrere gültige Strategien)
HBC (hierarchische Verhaltensklonung)
Eine zweistufige hierarchische Politik: ein hochstufiger "Planer" prognostiziert die Zustände der Unterziele (z.B. Zwischenkonfigurationen des Roboters), und ein niedriger "Controller" lernt, jedes Unterziel zu erreichen. Die Hierarchie bietet eine induktive Struktur, die bei langhorizonalen Aufgaben hilft. HBC überträgt in der Regel BC-RNN bei Transport und Square (Langhorizont-Aufgaben), erfordert aber eine sorgfältigere Hyperparameter-Abstimmung, insbesondere die Unterzielhorizontlänge.
IRIS (implizite Repräsentationen für Nachahmungen mit Unterzielen)
IRIS erweitert HBC mit verbessertem Subgoal-Repräsentationslernen. Statt Rohroboter-Stand-Repräsentationen vorherzusagen, lernt IRIS eine latente Darstellung von Arbeitsraumzuständen, die für den Planer abstrakter und einfacher ist zu arbeiten. Die IRIS erzielt die stärksten Ergebnisse der vier Referenzalgorithmen auf dem vollständigen RoboMimic-Benchmark, insbesondere auf MH-Datenmengen (gemischte menschliche Qualität), bei denen ihre Unterzielstruktur die Demonstrationsvariabilität robust macht.
Hinzufügen von externen Algorithmen zu RoboMimic
Die Struktur von RoboMimic erleichtert es, Ihren eigenen Algorithmus als neue "Algo"-Klasse hinzuzufügen. Die wichtigste Integrationsanforderung ist die Implementierung der
Wie man Robo-Mimik-Experimente durchführt
# Installieren Sie RoboMimic pip installieren Robomimic # Oder aus der Quelle für die neueste Version git clone
Das Training von BC-RNN auf Lift PH Low-dim dauert etwa 30 Minuten auf einem einzelnen RTX 3090. Das Training auf Bildbeobachtungen dauert 4
Schlüsselparameter der Konfiguration
| Parameter | Default | Notes |
|---|---|---|
train.num_epochs |
2000 | 200 demos × 2000 epochs = ~400k gradient steps; sufficient for low-dim tasks |
train.batch_size |
100 | Increase to 256 or 512 for image tasks if VRAM allows |
algo.rnn.hidden_dim |
400 | For BC-RNN; larger values help on complex tasks but slow training |
observation.encoder.core_kwargs.feature_dim |
64 | For image tasks; feature dimension from ResNet encoder |
experiment.rollout.n |
50 | Number of evaluation rollouts — 50 is the standard; do not reduce below 20 |
Referenz-Benchmark-Ergebnisse
Die folgenden Erfolgsraten stammen aus dem ursprünglichen RoboMimic-Papier (Mandlekar et al., 2021) sowie den nachfolgenden Community-Updates.
| Task / Split | BC | BC-RNN | HBC | IRIS |
|---|---|---|---|---|
| Lift PH (low-dim) | 100% | 100% | 100% | 100% |
| Lift MH (low-dim) | 98% | 100% | 100% | 100% |
| Can PH (low-dim) | 92% | 100% | 100% | 100% |
| Can MH (low-dim) | 12% | 48% | 36% | 74% |
| Square PH (low-dim) | 70% | 80% | 100% | 98% |
| Square MH (low-dim) | 0% | 2% | 10% | 50% |
| Transport PH (low-dim) | 0% | 22% | 88% | 98% |
| Transport MH (low-dim) | 0% | 6% | 22% | 58% |
Der lehrreichste Vergleich ist Can MH: BC fällt von 92% (PH) auf 12% (MH), während IRIS nur von 100% auf 74% fällt. Diese Lücke
RCSV-Hardware-Kompatibilität
RoboMimics Simulationsaufgaben verwenden einen Franka Panda-Arm (7-DOF) in Robosuite. Für physische Roboterübertragung unterstützt RCSV die Datenerhebung im Format RoboMimic auf dem [OpenArm Base]
Die Lücke zwischen physikalischer und simulierter Arbeit in RoboMimic ist gut verstanden: Politiken, die auf simulierter Datenübertragung von RoboMimic auf physische Roboter mit einer Geschwindigkeit von etwa 60
Erhebung von benutzerdefinierten RoboMimic-kompatiblen Datensätzen
Wenn Sie Ihren Algorithmus auf eine benutzerdefinierte Aufgabe (nicht eine der vier Standard-Tasks) benchmarken möchten, können Sie mit dem Daten-Sammlungsrahmen von RoboMimic neue Aufgaben in Robosuite erstellen und Demonstrationen über die Teleoperation der SpaceMouse sammeln.
RCSVs Daten-Sammlung-Service unterstützt die Erstellung und Demonstrationsammlung von benutzerdefinierten RoboMimic-Tasks. Wir haben benutzerdefinierte RoboMimic-Benchmark-Tasks für pharmazeutische Laborklienten (Genauigkeit Flüssigkeitsbearbeitung, Probensortierung), Elektronikmontage-Kunden (Verbindungserfügung, PCB-Behandlung) und akademische Labors (Custom-Manipulation-Szenarien für die Entwicklung von Algorithmen) ausgeführt. Die Datensätze werden im HDF5-Format geliefert, das mit den RoboMimic-Schulsschriften kompatibel ist, ohne dass eine Formatkonvertierung erforderlich ist.
Das Standard-RCSV-Datensatzpaket für eine benutzerdefinierte RoboMimic-Tasche umfasst: 200 PH-Demonstrationen von einem einzigen ausgebildeten Betreiber, 200 MH-Demonstrationen von 3 Betreibern unterschiedlicher Fähigkeitsstufen (um den MH-Benchmark zu ermöglichen) und eine benutzerdefinierte Robosuite-Umgebung, die mit Ihrer physischen Aufgabengeometrie übereinstimmt. Die Umlaufzeit beträgt in der Regel 2
Verwandte Lesungen
- [Diffusion Policy Guide]
T12 ) Der Algorithmus, der IRIS bei vielen RoboMimic-Aufgaben übertreibt - [ACT-Politik erklärt]
T13 ) ALOHA's Algorithmus; kann mit Adaptern auf RoboMimic vergleichbar gemacht werden - Beste Roboter für das Imitationslernen
Vergleich der Plattform für RoboMimic-kompatible Hardware - [OpenArm Base]
T15 ) RCSV-Plattform für RoboMimic-Fizikalische Experimente - RCSV-Datendienste
Nutzerdefinierte RoboMimic-Daten-Satz-Sammlung - RCSV Benchmarks
RoboMimic-Ergebnisse zusammen mit RCSV-Maßgeschneiderten Bewertungen