VLA Modelle Vergleich 2026: Octo, OpenVLA, Pi0, GR00T, SmolVLA und OpenPI

Vision-Language-Action (VLA) -Modelle sind die dominierende Architektur für das Generalist-Roboter-Lernen im Jahr 2026. Diese Seite vergleicht jedes wichtige VLA-Modell Architekturdetails, Trainingsdaten, Ableitungsgeschwindigkeit, Hardware-Kompatibilität und reale Roboter-Performance so dass Sie das richtige Modell für Ihr Projekt wählen können.

Aktualisiert am 16. April 2026 · RCSV-Forschungsteam · 12 Minuten Lesung

Was sind VLA-Modelle?

Ein Vision-Language-Action-Modell (VLA) ist ein end-to-end neuronales Netzwerk, das Kamerabilder (Vision) und Natursprachen-Tasks-Anweisungen (Sprache) als Eingabe und Ausgabe Robotermotorbefehle (Aktion) gemeinsame Positionen, End-Effektor-Geschwindigkeiten oder Drehmomente nimmt, die ein Roboter direkt ausführen kann.

Vor VLAs waren Roboter-Lernsysteme modulare Pipelines: ein separates Vision-Modell erkannte Objekte, ein separater Planer erzeugte eine Strategie und ein separater Controller produzierte Motorkommando. Jedes Modul wurde unabhängig ausgebildet, und Fehler wurden zwischen Modulen kaskadiert. VLAs ersetzen diese Pipeline durch ein einziges Modell, das end-to-end auf Demonstrationen ausgebildet ist und dabei die Schnittstellentechnik und die Fehlerverbreitung beseitigt.

Die "Sprache" Komponente ist das, was VLAs qualitativ von früheren Roboternutzungsanpassungen wie [ACT]T0) oder [Diffusion Policy]T1 unterscheidet. Durch die Konditionierung auf natürliche Sprachanweisungen ("die rote Tasse aufheben", "das Handtuch in zwei Teile falten") kann ein einzelner VLA eine offenen Reihe von Aufgaben bewältigen, anstatt sich auf die spezifische Aufgabe beschränken, auf die er ausgebildet wurde. Die Sprache-Grundung stammt aus dem vorgebildeten LLM-Backbone, das sein Weltwissen in die physische Dimension überträgt.

Architekturvergleich

Model	Vision Encoder	LLM Backbone	Action Head	Aktionsraum	Context Length
Octo	Custom ViT	Transformer (93M total)	Diffusion	Continuous (EEF delta)	2 frames
OpenVLA	SigLIP (400M)	LLaMA 2 (7B)	Discrete tokenization	256 bins per dim	2048 tokens
Pi0	PaLI-based (est.)	Custom (~3B total)	Flow Matching	Continuous (joint + EEF)	Not disclosed
GR00T N1	Eagle (NVIDIA)	Custom (~2B total)	Dual (diffusion + MLP)	Continuous (whole-body)	Not disclosed
SmolVLA	SigLIP (400M)	SmolLM2 (135M)	Diffusion	Continuous (joint pos)	1024 tokens
OpenPI	SigLIP (400M)	LLaMA-based (~3B)	Flow Matching	Continuous (joint + EEF)	2048 tokens

Modell tiefste Tauchgänge

Octo (UC Berkeley)

Octo ist das Arbeitspferd der Open-Source-VLA-Community. Das Octo wurde im Berkeley Robot Learning Lab (Ghosh et al., 2024) entwickelt und wurde mit einer klaren Ingenieurphilosophie konzipiert: klein genug, um auf einem einzigen GPU zu optimieren, schnell genug für Echtzeitsteuerung und allgemein genug, um über Ausführungen hinweg zu arbeiten.

Architektur: Ein kompakter Transformator, der durch gemeinsame Aufmerksamkeitsschichten gekennzeichnete Bildbeobachtungen und Sprachanweisungen verarbeitet und dann Aktionen durch einen Diffusionskopf generiert. Der Diffusionskopf prognostiziert einen 16-Schritt-Aktionsstück (0,32 Sekunden bei 50 Hz), der eine zeitliche Glatte bietet, ohne dass ein separater Aktions-Machanismus erforderlich ist.

Schuldaten: 800K Episoden aus dem Open X-Embodiment Datensatz, stark gewichtet auf das Bridge V2-Datensatz (WidowX-Roboter) und RT-1-Daten (Google's Everyday Robots). Dies bedeutet, dass Octo am besten außerhalb der Box bei der Tabelle-Manipulation mit WidowX-Klasse-Armen funktioniert.

** Fein-Tuning:** Octo Fein-Tunes in 20-30 Minuten auf einem einzigen A100 mit 50-100 Demonstrationen. Diese schnelle Abwicklung macht es ideal für eine schnelle Iteration: Sammeln Sie 50 Demos am Morgen, Fein-Tune über das Mittagessen, bewerten Sie am Nachmittag. Bei RCSV verwenden wir Octo als Standardbasis für Pilot-Daten-Sammlungsprojekte, da es das schnellste Feedback zur Datenqualität bietet.

Beschränkungen: Das 93M-Parameterbudget begrenzt das Sprachverständnis und die visuelle Vernunft. Octo kämpft mit Aufgaben, die räumliche Vernunft erfordern ("die Tasse links von der Platte legen") oder neue Objektaktivkategorien, die in Bridge V2 nicht gut dargestellt werden.

Beste für: Teams, die schnell eine roboterbasierte Arbeitspolitik benötigen, begrenzte Berechnungen haben oder sich vor dem Einsatz für ein größeres Modell auf die Datenverwertungskvalität stützen.

OpenVLA (Stanford / Berkeley)

OpenVLA (Kim et al., 2024) ist die fähigste Open-Source-VLA, die auf der Erkenntnis basiert, dass ein 7B-Parameter LLM-Backbone genügend Kapazität für eine echte sprachlich bedingte Aufgabenverallgemeinerung bietet. Es war das erste offene Modell, das einen Nullschuss-Transfer zu neuen Aufgabenbeschreibungen auf unsichtbaren Objekten demonstrierte.

Architektur: SigLIP Vision Encoder (400M Params) speist visuelle Token in eine fein abgestimmte LLaMA 2 (7B Params). Aktionen werden in 256 diskrete Behälter pro Dimension tokeniert und als nächste Token vorhergesagt der gleiche Mechanismus LLMs für die Textgenerierung verwenden. Diese diskrete Tokenisierung ist weniger ausdrucksvoll als die kontinuierlichen Diffusionskopfen, ermöglicht aber dem Modell, die volle autoregressive Generationsmaschine des LLM zu nutzen.

Schulungsdaten: 970K Episoden aus dem Open X-Embodiment Datensatz (22 Roboter Ausführungen). Die breitere Ausführungsdeckung im Vergleich zu Octo gibt OpenVLA eine bessere Cross-Roboter-Generalisierung.

** Feine Abstimmung:** Für eine effiziente Feine Abstimmung aufgrund der Größe des Parameters 7B benötigt 8xA100 (oder gleichwertig).

Inferenz: ~5 Hz auf A100, ~2 Hz auf Jetson AGX Orin. Erfordert Action Chunking (vorhersagen 10-20 Schritte, ausführen bei 50 Hz) für die Echtzeit-Einführung. Die 200-500ms pro Inferenz-Latenz bedeutet, dass der Roboter auf 0,2-0,4 Sekunden-Pläne arbeitet für die meisten Manipulationsarbeiten akzeptabel, aber problematisch für reaktive Aufgaben wie das Fangen oder Einfügen.

Beste für: Sprachkonditionierte Multitasking-Systeme, bei denen ein einzelnes Modell verschiedene Aufgabenanweisungen verarbeiten soll.

Pi0 (physische Intelligenz)

Pi0 ist die proprietäre Spitzentechnik von Physical Intelligence, dem Unternehmen, das von Sergey Levine, Chelsea Finn und anderen Alumni von Berkeley/Stanford gegründet wurde.

Flow Matching vs. Diffusion: Beide sind generative Modelle, die Aktionsbahnen erzeugen, aber Flow Matching verwendet gerade Linie Interpolationspfaden (optimal Transport) anstatt die gekrümmten Lärm-zu-Signal-Pfaden der Diffusion.

** Leistung:** Pi0-Demonstrationen zeigen eine Verallgemeinerung zwischen den Aufgaben, die kein Open-Source-Modell erreicht hat: ein einziger Checkpoint, der Spülwäsche, die Abreinigungstische, die Verpackungsboxen und die Betriebsgeräte der Küche zusammenlegt.

Zugriff: Pi0 ist nicht öffentlich verfügbar. Physical Intelligence bietet API-Zugriff für ausgewählte Partner. Die Community-Wiederimplementierung OpenPI (siehe unten) bietet eine Annäherung mit den veröffentlichten Architekturdetails.

Beste für: Teams mit Partnerschaftsvereinbarungen mit PI, die modernste Leistungen benötigen und bereit sind, die Verkäufer-Lock-in-Annahme anzunehmen.

Größte und höhere Werte

GR00T N1 ist das auf humanoide ausgerichtete Fundamentmodell von NVIDIA, das für das Isaac Lab-Ökosystem entwickelt und für Jetson Thor Edge-Deployment optimiert wurde.

Doppelsystemarchitektur: GR00T N1 verwendet zwei miteinander verbundene Modelle: ein "langsamer" VLA-Rückgrat (2-5 Hz), der visuelle Szenen und Sprachanweisungen interpretiert, um Aktionspläne auf hoher Ebene zu erstellen, und eine "schnelle" Politik (200+ Hz), die Pläne in motorische Befehle mit reaktivem Feedback umwandelt. Dies spiegelt den biologischen Unterschied zwischen bewusster Planung und reflexer motorischer Steuerung wider.

Sim-first-Training: Vor-Training auf 1M+-Episoden in Isaac Lab (Physics-Simulation mit Domänen-Randomisierung), dann fein abgestimmt mit 50K-100K-Episoden real humanoid. Dieser Sim-first-Ansatz funktioniert gut für Bewegung und Körper-Gleichgewicht, erfordert aber immer noch signifikante reale Daten für Manipulationsarbeiten.

Hardware-Ökosystem: Optimiert für NVIDIA Jetson Thor (die humanoid-spezifische Rechenplattform). Auch läuft auf Jetson AGX Orin mit reduzierter Leistung. GR00T SDK bietet standardisierte Schnittstellen für Figure, Agility Robotics, Apptronik und 1X humanoids.

Beste für: Humanoid-Roboterprojekte, insbesondere solche, die bereits im NVIDIA-Ökosystem sind. Nicht gut geeignet für Tischmanipulation Arme.

SmolVLA (Hüge)

SmolVLA ist Hugging Face's Wette, dass VLA-Modelle für die Verbraucherhardware klein genug gemacht werden können, ohne eine nützliche Verallgemeinerung zu opfern.

Architektur: SigLIP Vision Encoder (400M) mit SmolLM2 (135M Parameter-Sprachmodell) und Diffusions-Aktionskopf. Das kleine Sprachmodell begrenzt komplexe Argumente, bietet aber immer noch sinnvolle Sprachkonditionierung für gemeinsame Aufgabenbeschreibungen.

LeRobot-Integration: SmolVLA ist ein erstklassiger Bürger im [LeRobot] (T2) -Framework. Schulungen, Bewertungen und Bereitstellungsschriften werden im Rahmen der LeRobot-Codebase aufrechterhalten. Das Laden von Datensätzen von Hugging Face Hub ist nativ. Diese enge Integration bedeutet, dass Sie mit einer einzigen Toolchain von der Datenerhebung zur Bereitstellung von Richtlinien übergehen können.

** Leistung:** Bei Standard-Benchmarks (SIMPLER, Bridge V2 eval) erreicht SmolVLA bei 1/14 der Parameterzahl 60-75% der Erfolgsrate von OpenVLA. Bei Einfach-Feinabstimmung wird die Lücke mit ausreichenden Demonstrationen (200+) auf 5-10% eingeschränkt.

Beste für: LeRobot-Nutzer, Hobbyisten mit GPUs, Bildung und Teams, die die Schlussfolgerungen auf Jetson Orin NX ($499) statt Jetson AGX Orin ($1.999) ausführen müssen.

OpenPI (Gemeinschaft)

OpenPI ist eine Community-Wiederimplementierung der Pi0-Architektur von Physical Intelligence, basierend auf dem veröffentlichten Papier und umgekehrten Design-Auswahlen. Es bietet den Flow-Matching-Aktionskopf, der Pi0 in einem Open-Source-Paket von anderen VLAs unterscheidet.

Architektur: SigLIP-Vision-Coder mit LLaMA-basiertem Rückgrat (~ 3B-Parameter insgesamt) und einem Flow-Matching-Aktionskopf. Der Action-Head verwendet 8-Schritt-Flow-Matching für die Abschlussfolgerung und erzielt so reibungslose kontinuierliche Aktionsvorhersagen.

Schulungen: Gemeinschaftsschulungen auf einer Kombination aus Open X-Embodiment, DROID und von der Gemeinschaft bereitgestellten Datensätzen.

** Leistung:** Erhält etwa 70-80% der gemeldeten Pi0-Leistung an vergleichbaren Benchmarks. Der Flow-Matching-Head bietet besonders glattere Aktionsbahnen als diffusionsbasierte Alternativen (Octo, SmolVLA), die einige Benutzer für kontaktreiche Aufgaben bevorzugen.

Beste für: Forscher, die sich für Flow-Matching-Architekturen interessieren und Open-Source-Zugriff und die Möglichkeit haben, das komplette Modell zu überprüfen und zu modifizieren.

Hardware-Kompatibilität

Model	WidowX / ALOHA	OpenArm 1	Franka	Unitree G1	Koch / SO-100
Octo	Native	Fine-tune	Native	Fine-tune	Fine-tune
OpenVLA	Native	Fine-tune	Native	Fine-tune	Fine-tune
Pi0	Supported	Via PI API	Supported	Via PI API	Not supported
GR00T N1	Not targeted	Not targeted	Not targeted	Native	Not targeted
SmolVLA	Native	Native (LeRobot)	Fine-tune	Fine-tune	Native (LeRobot)
OpenPI	Community	Fine-tune	Community	Fine-tune	Community

"Native" = vorab auf Daten aus dieser Ausführungsform ausgebildet; arbeitet mit Null-Shoot oder mit minimaler Feinschaltung. "Fine-Tune" = erfordert 50 bis 200 Demonstrationen auf diesem spezifischen Roboter. "Community" = gemeinschaftlich gepflegte Integration; kann manuelle Einrichtung erfordern.

Trainieren Sie Ihre eigene VLA

Die meisten Teams sollten eine bestehende VLA besser aufpassen, anstatt von Grund auf zu trainieren.

Feine Abstimmung (für die meisten Teams empfohlen)

1. Willst du dein Basismodell: Octo für Geschwindigkeit, OpenVLA für Fähigkeit, SmolVLA für LeRobot-Integration
2. Erfassen Sie 50 bis 200 Demonstrationen Ihrer Ziel Aufgabe auf Ihrer spezifischen Roboterplattform (siehe [Daten-Sammlungsleitfaden] T3))
3. Formatdaten: Umwandlung in das erwartete Format des Modells (LeRobot-Datensatzformat für SmolVLA/Octo, RLDS für OpenVLA)
4. ** Fine-tune:** Octo: 30 Minuten auf 1 GPU. SmolVLA: 1-2 Stunden auf 1 GPU. OpenVLA: 4-8 Stunden auf 8 GPUs (oder 1-2 GPUs mit LoRA)
5. Evaluieren: 50 Evaluierungsepisoden durchführen, Erfolgsrate messen, Fehlermodus analysieren

Ausbildung von Grund auf (für spezielle Architekturen)

Das Training von Grund auf erfordert 100K+ Demonstrationen und eine signifikante Berechnung (64-256 GPU-Stunden für Octo-Skala, 1.000+ GPU-Stunden für OpenVLA-Skala). Dies ist nur geeignet, wenn Sie eine neue Architektur, proprietäre großflächige Daten oder Anforderungen haben, die bestehende Modelle nicht erfüllen können.

Inferenzgeschwindigkeits-Benchmarks

Model	A100 (80GB)	Jetson AGX Orin	Jetson Orin NX	RTX 4090	Action Chunking Needed?
Octo	40+ Hz	15-20 Hz	8-12 Hz	30+ Hz	No (built-in)
OpenVLA	5-8 Hz	1.5-3 Hz	OOM	4-6 Hz	Yes (10-20 steps)
Pi0	10-15 Hz	5-8 Hz	Not tested	8-12 Hz	Optional
SmolVLA	25+ Hz	10-15 Hz	5-8 Hz	20+ Hz	No (built-in)
OpenPI	8-12 Hz	3-5 Hz	OOM	6-10 Hz	Optional

Die Ergebnisse der Messung sind in der Realität mit einer Auflösung und einer Anzahl von Ansichten unterschiedlich.

Wann welche VLA zu verwenden

Wählen Sie Ihr Modell mit diesem Entscheidungsträume aus:

• Betriebsergebnisse in dieser Woche mit minimaler Berechnung? → Octo.
• Behörde eine sprachlich bedingte Mehrtask-Anwendung mit starker Verallgemeinerung? → OpenVLA. Beste Open-Source-Language-Basis.
• Arbeit mit LeRobot und Unterstützung für einheimische Ökosysteme? → SmolVLA.
• Bau eines humanoiden Roboter-Anwendungsprogramms? → GR00T N1.
• Wir wollen die reibungslossten Aktionsbahnen (kontaktreiche Aufgaben)? → OpenPI. Durch die Flow Matching werden reibungslose Bewegungen erzielt als durch Diffusion.
• Behörst du maximale Leistung und hast eine PI-Partnerschaft? → Pi0.
• ** Haben Sie eine sehr spezifische einzelne Aufgabe und benötigen keine Sprachkonditionierung?** → Überlegen Sie ACT oder Difusion Policy anstelle eines VLA. Sie sind einfacher, schneller zu trainieren und erreichen oft höhere Erfolgsraten für einzelne Aufgaben.

Sammlung von VLA-kompatiblen Schulungsdaten

Die VLA-Schulungsdaten haben spezifische Anforderungen, die sich von den Daten für einfachere Richtlinien unterscheiden:

Kameraanforderungen

• Resolution: Mindest 640x480, empfohlen 1280x720. VLA-Vision-Coder werden intern auf 224x224 oder 336x336 abgespielt, aber eine höhere Quellresolution bewahrt die Details während der Abnahme der Abnahme.
• Rahmenrate: 30 fps für Kamerabläufe, synchronisiert mit 50 Hz Joint State-Aufzeichnung.
• Aufnahmen: Mindestens 1 Handgelenkkamera + 1 externe Kamera. Die meisten VLAs akzeptieren 2-4 Ansichten. Zusätzliche Ansichten verbessern die Leistung, erhöhen jedoch die Speicherkosten und die Ableitkosten.
• ** Kalibrierung:** Die In- und Extrinsic-Funktionen der Kamera sollten aufgenommen werden, sind jedoch nicht von den meisten VLA-Architekturen erforderlich (sie lernen visuelle Merkmale direkt aus Pixel aus).

Aktionsformat

• Gebundene Positionen: Absolute Gebundene Positionen bei 50 Hz aufzeichnen. Dies ist das universellste Format das alle VLAs verbrauchen können.
• End-Effektor-Position: Auch EEF-Position + Quaternion-Orientierung aufzeichnen, wenn verfügbar.
• Greifer-Zustand: Binäre (offene/geschlossene) oder kontinuierliche Position des Grippers.

Sprachanmerkungen

• Jede Episode braucht eine Aufgabenaufzeichnung in natürlicher Sprache: "Nehmen Sie die rote Tasse und legen Sie sie auf die Untertasse"
• Verwenden Sie spezifische, beschreibende Sprache. "Tut die Aufgabe" ist nutzlos; "Holt das linksste Objekt" ist nützlich
• Verschiedene Sprachen in verschiedenen Episoden zur gleichen Aufgabe zur Verbesserung der Sprachenallgemeinheit: "Holt die Tasse," "Holt die Tasse auf," "Nehmt die Tasse vom Tisch"

Ausgangsformate

• HDF5: Standard für ACT, Diffusionspolitik und Direkt-Octo-Verbrauch
• RLDS (TensorFlow Datasets): Für das OpenVLA-Vor-Schulungsdatenformat erforderlich
• LeRobot-Format: Parquet + Videodateien auf Hugging Face Hub.

RCSV Daten-Sammlungsdienst gibt Standardmäßig alle drei Formate aus. Jeder gelieferte Datensatz enthält HDF5, RLDS und LeRobot-kompatible Exporte, sodass Sie ohne Umformung auf jedem VLA trainieren können.

Verwandte Lesungen

• [Fisische KI im Jahr 2026: Gründungsmodelle tief tauchen]
• [VLA-Modelle erklärt (Introduktion) ]
• [Aktpolitik erklärt]
• [Verbreitungspolitik für Roboter]
• [LeRobot-Rahmenführer]
• [SpaceMouse Teleoperations-Leitfaden]
• [RCSV-Datendienstleistungen]

Sammeln von VLA-Schulungsdaten am RCSV

Standardisierte HDF5, RLDS und LeRobot-Ausgabe aus mehr als 50 Roboter-Setups. Beginnen Sie mit einem $ 2.500 Pilot genug Daten, um jede VLA auf Ihre Aufgabe zu optimieren.

Erforschung von Datendiensten Kontaktieren Sie uns

Jeder VLA hier kann auf Ihre eigenen Demonstrationen abgestimmt werden.

Sammeln Sie Demo → Hardware, das es läuft → Score eine Politik →