LIBERO vs. CALVIN: Roboternetzwertvergleich 2026

LIBERO und CALVIN sind zwei der am häufigsten zitierten simulierten Benchmarks im modernen Roboterlernen. Beide zielen auf sprachlich bedingte Manipulationen ab, wurden jedoch mit ganz unterschiedlichen Forschungszielen konzipiert: LIBERO für lebenslanges Lernen und VLA-Evaluierung auf diskreten Aufgaben-Suiten, CALVIN für langfristige Fähigkeitsketten in einer gemeinsamen Desktop-Umgebung. Wenn Sie sich entscheiden, welches Jahr 2026 zu berichten ist, gibt Ihnen dieser Leitfaden einen Kopf-zu-Kopf-Vergleich in Skala, Struktur, Sprache, Ausführungsform, Rechen und Lizenz.

TL;DR

• Lifetimes/kontinuierliches Lernen: LIBERO ist die Standard es wurde explizit für die Wissensübertragungsauswertung in vier Aufgabenbereichen entwickelt.
• ** Langhorizont-Sprachketten:** CALVIN gewinnt sein einzigartiger Verkaufspunkt ist die Bewertung von Sequenzen von bis zu fünf Sprachanweisungen in einem Rollout.
• VLA-Modell-Benchmarking: LIBERO ist in jüngsten Arbeiten (OpenVLA, [pi0, Octo](T2)) häufiger, weil die einzelnen Suiten leicht zu melden sind.
• ** Umgebungsspalt-Generalisierung:** CALVIN gewinnt Vier visuell unterschiedliche Umgebungen (A, B, C, D) geben ein sauberes Zug-/Testprotokoll aus der Box.
• Leichtheit des lokalen Betriebs: LIBERO ist leichter Robosuite + MuJoCo, T0. CALVIN liefert einen dedizierten PyBullet-basierten Simulator.

Auf einen Blick

Attribute	LIBERO	CALVIN
First release	2023 (NeurIPS D&B track)	2022 (RA-L)
Primary goal	Lifelong learning + imitation / VLA eval	Long-horizon language-conditioned manipulation
Task suites	4 suites: Spatial, Object, Goal, LIBERO-100 (Long)	34 skill classes, chained into sequences of 5
Total tasks	~130 tasks	One shared environment with compositional task chains
Demonstration scale	Around 6500 human teleoperation demos (50 per task)	~24 hours of teleoperation across 4 environments
Simulator	Robosuite / MuJoCo	PyBullet (custom tabletop)
Embodiment	Franka Emika Panda (7-DoF)	Franka Emika Panda (7-DoF) with parallel gripper
Environment splits	Per-suite train/test with held-out configurations	Environments A, B, C, D for zero-shot transfer
Language labels	Yes, per task	Yes, crowdsourced natural language instructions
Evaluation metric	Success rate per suite + forward / backward transfer	Avg. sequence length successfully completed (out of 5)
License	MIT	MIT
Paper	arXiv:2306.03310	arXiv:2112.03227

Was LIBERO tatsächlich testet

LIBERO ("Lifelong Learning Benchmark for robot manipulation") wurde an der Universität Austin und ihren Mitarbeitern als Antwort auf eine Lücke in der Literatur für das Nachahmen von Lernprogrammen entwickelt: Die meisten früheren Benchmarks messen die Qualität der Politik auf einer festen Aufgabenverteilung, aber nur sehr wenige messen, wie ein Roboter Wissen sammelt und überträgt, wenn neue Aufgaben eintreffen. Die Benchmark ist in vier Aufgabengruppen aufgeteilt, die jeweils etwa 10 Aufgaben und 50 Teleoperationsdemonstrationen pro Aufgabe umfassen, für insgesamt etwa 130 Aufgaben und 6.500 Flugbahnen.

Die vier Suiten sind LIBERO-Spatial (Gleichobjekte, unterschiedliche räumliche Beziehungen), LIBERO-Object (verschiedene Objektinstantien im gleichen Layout), LIBERO-Goal (verschiedene Zielenanweisungen mit gemeinsamen Objekten) und **LIBERO-100 (Long) **, ein viel härteres Set von 100 Aufgaben mit langem Horizont aus realistischen Küchen- und Wohnzimmerszene. Die ersten drei sind so konzipiert, dass sie eine einzige Verteilungsschaltung isolieren; LIBERO-100 mischt alles zusammen.

Was LIBERO für die moderne VLA-Evaluierung attraktiv macht, ist, dass die diskrete Aufgabenstruktur sauber auf die Berichterstattung im Liederplan-Stil abzielt. Wenn [OpenVLA, Octo, pi0 und ähnliche Fundamentpolitik] T5) bewertet werden, berichten Papiere typischerweise von vier Zahlen eine pro Suite plus einem Durchschnitt. Das ist viel einfacher zu verbrauchen als eine einzige langhorizontale Punktzahl und hat LIBERO seit Mitte 2024 zur Standard-VLA-Evalue-Suite gemacht.

Was Calvin tatsächlich testet

CALVIN ("Composing Actions from Language and Vision") wurde von der Universität Freiburg 2022 veröffentlicht und beantwortet eine andere Frage: Kann eine politische Kette Fähigkeiten, die sie einzeln gesehen hat, in lange Sequenzen, die durch natürliche Sprache festgelegt werden, eingehalten werden? Statt hunderten von einzelnen Aufgabendateien liefert CALVIN eine gemeinsame Tisch-Umgebung mit Schubladen, Schiebetüren, farbigen Blöcken, einer LED und einem Knopf. Rund 34 elementare Fähigkeitstypen können in Ketten von fünf Anweisungen zusammengesetzt werden, die die Politik hintereinander ausführen muss.

Das Datensatz ist etwa 24 Stunden menschlicher Teleoperation, die über vier visuell unterschiedliche Umgebungen verteilt ist (A, B, C, D). Das Standard-Evaluationsprotokoll trainiert auf einer (oder einem Teilsatz) der Umgebungen und bewertet auf einer anderen, wodurch eine natürliche Null-Shoot- oder wenige-Shoot-Generalisierungsmetrik erzeugt wird. Die Schlagzeilenummer von CALVIN ist die durchschnittliche Anzahl von erfolgreich abgeschlossenen Anweisungen von fünf, was einen steilen Schwierigkeitsgrad erzeugt, der noch nicht 2026 gesättigt ist.

CALVIN ist auch eines der wenigen Benchmarks, bei denen man sehen kann, wie viel langfristiges Leistungsniveau im Vergleich zur Genauigkeit von einzelnen Fähigkeiten zusammenbricht.

Abgleich: wann zu wählen, welches

**Wir wählen LIBERO, wenn wir einen schnellen, geringen Reibungswert haben wollen, der in Robosuite verknüpft ist, uns ein lebenslanges oder kontinuierliches Lernen interessiert, wir wollen, dass unsere Zahlen direkt mit dem OpenVLA/Octo/pi0-Leaderboard vergleichbar sind oder wir brauchen eine saubere Aufgliederung pro Suite für eine Ablation. LIBERO ist auch die einfachere Wahl, wenn Sie Ihre [RL-Umgebungen] T6) auf einem Laptop ausführen MuJoCo ist leicht, und eine einzelne Suite wird in einer Stunde auf einer anständigen GPU fertiggestellt.

**Wir wählen CALVIN, wenn wir langfristiges Kompositionsrednament brauchen, uns die Lücke zwischen der Leistung auf der Ebene der Fähigkeiten und der Kette interessieren oder die Zielbild- oder nur-Sprach-Konditionierung in einer gemeinsamen Umgebung testen möchten.

Wenn Sie 2026 ein VLA-Bericht veröffentlichen, wählen Sie beide. Es ist fast erforderlich, LIBERO-Zahlen zu melden, und die CALVIN-Sequenzen geben den Rezensionären das langhorizontsignal, dass LIBERO es nicht tut.

Computer und Hardware

Beide Benchmarks laufen auf einer einzigen Verbraucher-GPU. LIBERO ist aufgrund von MuJoCo für den Physik-Schritt CPU-gebunden und profitiert von einer 8+-Kern-CPU bei der Ausführung vieler paralleler Umgebungen. CALVIN läuft auf PyBullet, was es weniger parallellfreundlich macht, aber einfacher mit Bildraumsondien zu debuggen. Kein Benchmark benötigt eine Data-Center-GPU eine RTX 4090 oder sogar eine 3090 reicht aus, um vollständige Suiten zu bewerten.

Für das Training ist das Bild anders. Vollwertschale VLA-Trainings neben LIBERO oder CALVIN-Demos benötigen immer noch 4-8 GPUs, nicht weil die Sim schwer ist, sondern weil die Rückgrat der Vision-Language sind. Wenn Sie Ihre eigene ausgebildete Politik mitbringen und nur bewerten, funktioniert eine einzige Arbeitsstation. Wenn Sie auf Richtlinienarchitekturen itereren möchten, planen Sie für Multi-GPU-Host. Unsere [Datenplattform] T7) kann auch Trajektorien-Speicher- und Evaluierungs-Orchesterung entladen.

Datenverarbeitungsablauf

Beide Datensätze wurden über Tastatur / Gamepad Teleoperation gesammelt, nicht VR. Dies ist historisch bedeutsam, weil es die Demos geringer und sehr wiederholbar hält, aber es macht auch die Bewegungsverteilung enger als ein VR-gesammeltes Datensatz wie [BridgeData oder RoboMimic]T8 . Teams, die auf LIBERO oder CALVIN trainieren und auf echtem Hardware einsetzen, müssen sich häufig mit vielfältigeren Teleop-Daten ergänzen.

Lizenzrealitätskontroll

Beide Projekte sind MIT-lizenziert, was ungefähr so zulässig ist wie akademische Daten. Sie können kommerzielle Richtlinien auf jedem Datensatz trainieren, abgeleitete Checkpoints neu verteilen und in Produkte einbetten. Das heißt, die assets (Metsch-Dateien, Texturkarten) mit Robosuite und CALVIN bundelt haben ihre eigenen Lizenzen; wenn Sie Assets extrahieren und wieder hosten, überprüfen Sie die Upstream-Attribution erneut. In der Praxis behandeln die Teams die Flugbahndaten als MIT und die Simulatoren als die Upstream-Lizenz von Robosuite oder PyBullet.

Ökosysteme und Werkzeuge im Jahr 2026

LIBERO hat das größere Ökosystem von Wrappers: LeRobot unterstützt es, HuggingFace hat mehrere vorverarbeitete Releases, und die meisten VLA-Repos versenden ein LIBERO eval script. CALVIN sitzt eine Ebene tiefer zu verwenden, werden Sie typischerweise die offizielle CALVIN repo klonen und laufen ihre eval-harness. Beide sind gut gepflegt; LIBERO ist die sichere Wahl, wenn Sie Null-Integrationsarbeit wollen.

Berichterstattungsergebnisse, die Sie in 2026 Papieren sehen werden

Bei LIBERO liegen starke VLA-Politiken für die 2025er Ära (OpenVLA, pi0, Octo-Varianten) in der Regel im Erfolgsbereich von 70-90 Prozent bei Spatial, Object und Goal und 30-60 Prozent bei LIBERO-100 abhängig von der Trainingsrezeptur. Die Differenz ist interessant: Politiken, die sich in den ersten drei Suiten gut auswirken, fallen manchmal auf LIBERO-100 ab, was eine Verallgemeinerungslücke aufdeckt, die eine einzige durchschnittliche Zahl verbergen würde. Wenn Sie eine neue Zeitung lesen, überprüfen Sie immer die Aufteilung pro Suite anstatt das Durchschnitt. Papiere, die nur den Durchschnitt berichten, verbergen ehrlich gesagt etwas.

Auf CALVIN ist die Messung zu beobachten, die durchschnittliche Anzahl der Anweisungen, die in einem Aufbau von fünf abgeschlossen werden. Starke 2025-Modelle erreichen etwa 3,5 bis 4,0 bei der leichteren A-to-A-Evaluierung und fallen auf 2,0 bis 3,0 bei der Null-D-Evaluierung. Alles über 4,0 bei Null-D wird ab Anfang 2026 als modern angesehen. Weil CALVIN eine Produkt-of-Succes-Metrik verwendet, werden auch kleine Regressionen pro Schritt dramatisch zusammengefasst, was genau die Eigenschaft ist, die CALVIN zu einem nützlichen Benchmark macht.

Integration mit dem LeRobot-Stack

Beide Datensätze sind über LeRobot in spiegelter Form verfügbar. LeRobot normalisiert das Flugbahnschema, stellt eine PyTorch T1-Schnittstelle dar und verarbeitet die abgefragte Video-Decodierung. Wenn Sie eine Diffusionspolitik oder Transformationspolitik von Grund auf trainieren, ist der LeRobot-Pfad der schnellste Weg, um sowohl LIBERO als auch CALVIN zu verbrauchen, ohne benutzerdefinierte Ladegeräte zu schreiben. Für die Bewertung müssen Sie jedoch den ursprünglichen LIBERO oder CALVIN eval Harness ausführen sie tragen die offiziellen Aufgabenkonfigurationen und Erfolgsprüfer, von denen die Ranglisten abhängen.

Urteil

Es gibt keinen einzigen Gewinner. Wenn Sie nur einen ausführen können, LIBERO ausführen, ist es billiger, schneller, standardisierter in 2026-Papieren und schließt sich in die breiteste Palette von vorgebildeten Richtlinien ein. Wenn Ihre Forschungsfrage speziell über langhorizon-Sprachketten geht, ist CALVIN immer noch einzigartig und immer noch nicht gesättigt. Die meisten ernsthaften VLA-Papiere berichten heute beides, und Sie sollten wahrscheinlich auch. Teams mit engen Rechenbudgets sollten LIBERO priorisieren; Teams, die Planung, Speicher oder hierarchische Politiken studieren, sollten CALVIN priorisieren. Und Teams, die sich ernsthaft mit dem Versand befassen, sollten nach Benchmarks auf die Datenerhebung in der realen Welt umziehen.

Verwandte Ressourcen auf unserer Website

• [Details des LIBERO-Datenatensatzes]
• [Bildschrift von Calvin]
• [Offener X-Body gegen DROID Vergleich]
• [BridgeData vs RoboMimic Vergleich]
• [Beste Roboter-Lerndatenmengen im Jahr 2026]
• [VLA und Katalog der Politikmodelle]
• [Unsere Forschungsberichte]