Verglichte VLA-Modelle (2026): OpenVLA, π0, SmolVLA, Octo & RT-2
Vergleichen Sie VLA-Modelle nach Checkpoint-Zugriff, Aktionsdarstellung, Rechen, Datenkompatibilität und Evaluationsprotokoll. OpenVLA, π0, SmolVLA, Octo und RT-2 sind enthalten.
Verwenden Sie diesen Leitfaden, um ein Vision-Language-Action-Modell nach Checkpoint-Zugriff, Aktionsdarstellung, Abschlussrechnung, Roboter-Daten-Kompatibilität und dem Bewertungsprotokoll zu verzeichnen, das jedes gemeldete Ergebnis erzeugte.
Aktualisiert am 26. Juli 2026 · RCSV-Forschungsteam
Direktes Antworten
Welches VLA-Modell sollte ein Roboterteam wählen?
Es gibt keine universelle beste VLA. Wählen Sie zuerst nach dem Zugriff auf und Fein-Tuning des Checkpoints, dann nach Aktionsdarstellung, Latenzbudget, unterstütztem Roboter-Datenformat und Leistung bei Ihrer eigenen Aufgaben-Evaluierung.
Beweisstandard: Architektur und Zugangsfakten werden gegen Papiere oder offizielle Repositorien überprüft. Veröffentlichte Ergebnisse aus verschiedenen Datensätzen, Robotererbeführungen, Hardware und Protokollen werden nicht als direkt vergleichbar behandelt. Schätzungen und nicht verfügbare Messungen werden gekennzeichnet.
- [OpenVLA vs. Oktober]
- [Browse VLA-Modelle]
- [Finden Sie kompatible Datensätze]
- [Überprüfung von Benchmark-Protokollen]
Was ist ein VLA-Modell?
Ein Vision-Language-Action-Modell (VLA) ist ein neuronales Netzwerk, das visuelle Beobachtungen und Sprachanweisungen zu Roboteraktionen abbildet. Das Rückgrat der Vision-Sprache bietet semantisches Verständnis ("Pick up the red cup"), während der Aktionskopf dieses Verständnis in physische Bewegungen (eine Sequenz von Gelenkwinkeln oder End-Effektor-Positionen) übersetzt.
Architekturübersicht
Alle VLA-Modelle teilen drei Komponenten, obwohl ihre Implementierungen sich erheblich unterscheiden:
- ** Vision-Encoder:** Konvertiert Kamerabilder in Feature-Vektoren. Die häufigsten Optionen sind Vision Transformers (ViT) oder SigLIP. Der Vision-Encoder wird in der Regel vorab auf Internet-Skala-Bilddaten-Sets (ImageNet, LAION) ausgebildet und während des VLA-Training eingefroren oder leicht fein abgestimmt.
- Sprach-Backbone: Verarbeitet Textanweisungen und integriert sie mit visuellen Funktionen. Die meisten VLAs verwenden ein vorgeübtes großes Sprachmodell (LLaMA, Gemma, PaLI) als Rückgrat, das seine Fähigkeiten zur Vernunft und Anweisungsanleitung nutzt.
- Action Head: Erzeugt Roboteraktionen aus der verschmelzten Vision-Language-Repräsentation.
Aktionsvertretung: Schlüsseldifferenzierender Faktor
Wie ein VLA Aktionen darstellt und erzeugt, bestimmen seine Leistungsmerkmale:
- ** Diskret-Token (RT-2, OpenVLA):** Aktionen werden in diskrete Token quantiziert und automatisch generiert, wie Text-Token. Einfach umzusetzen, aber erzeugt unordentliche Ein-Schritt-Aktionen.
- Zückgeschnittener Vorhersage (SmolVLA): Das Modell prognostiziert eine Sequenz zukünftiger Aktionen auf einmal (typischerweise 10
50 Schritte), die von ACT inspiriert wird. Es erzeugt glattere Flugbahnen und ist bei der Abschlusszeit berechnungsfähiger. - Flow Matching (π0): Aktionen werden erzeugt, indem eine zufällige Stichprobe in eine gültige Aktionsbahn iterativ abgetan wird. Es erzeugt die reibungslossten Aktionen und behandelt die multimodale Verteilung (Aufgaben mit mehreren gültigen Lösungen) am besten, erfordert jedoch mehrere Abgetanungsschritte zur Ableitung.
- Diffusion (Octo): Ähnlich wie beim Flow-Matching, verwendet aber einen DDPM-Stil-Diffusionsprozess. Gut für multimodal-Aktionen, aber langsamer bei der Ableitung als bei der Bruchteilvorhersage.
Vergleichstabelle für VLA-Modelle
| Model | Creator | Open Source | Parameters | Action Type | Hardware Compatibility |
|---|---|---|---|---|---|
| RT-2 | Google DeepMind | No | 55B | Discrete tokens | Google RT-X robots |
| OpenVLA | Stanford / Berkeley | Yes (Apache 2.0) | 7.5B | Discrete tokens | Any |
| π0 | Physical Intelligence | No | ~3B (est.) | Flow matching | Any |
| SmolVLA | HuggingFace | Yes (Apache 2.0) | 450M | Chunked (ACT-style) | Any |
| Octo | UC Berkeley | Yes (MIT) | ~93M | Diffusion | Any |
| RoboFlamingo | Shanghai AI Lab | Yes | ~9B | Autoregressive | Any |
| Helix | Figure AI | No | Undisclosed | Undisclosed | Figure 02 |
Tiefe Tauch: Jedes VLA-Modell
RT-2 (Google DeepMind)
Architektur: RT-2 basiert auf PaLI-X (55B-Parameter) oder PaLM-E (12B-Parameter). Der Vision-Encoder ist ein ViT-e (4B-Parameter) und das Sprachmodell verarbeitet sowohl visuelle Token als auch Text Token. Aktionen werden als Textstränge diskretisierter gemeinsamen Positionen dargestellt (z.B. "1 128 91 241 5 101 127") und autoregressiv durch das Sprachmodell generiert.
Schulungsdaten: Ausgebildet auf Googles RT-X-Datenpaket mit etwa 130.000 Demonstrationen von 13 Robotertypen. Zusätzlich nutzt das Internet-Skala-Vision-Language-Vor-Schulungsprogramm aus dem PaLI-X-Rückgrat.
** Leistung:** RT-2 zeigte neue Fähigkeiten
Feinabstimmung-Anforderungen: Nicht öffentlich verfügbar. Google hat keine Gewichte oder Trainingscode veröffentlicht.
Pros: Stärkste semantische Verallgemeinerung; erste Beweis dafür, dass das VLA-Konzept im Skalier funktioniert.
Kons: Schlossquelle; erfordert massive Rechenleistung; 55B-Parameter machen die Echtzeit-Förderung schwierig; einzelne diskrete Aktionen erzeugen eine schnelle Bewegung.
OpenVLA (Stanford / Berkeley)
Architektur: Auf dem Prismatic VLM-Backbone (Llama-2 7B + SigLIP + DinoV2-Sicht-Encoder) aufgebaut. Aktionen werden in 256 Bins pro Dimension diskretisiert und autoregressiv als Token vorhergesagt. Der Dual Vision-Encoder (SigLIP für semantische Funktionen + DinoV2 für räumliche Funktionen) gibt OpenVLA eine stärkere visuelle Grundung als einmalige Encoder-Designs.
Schulungsdaten: Auf dem Open X-Embodiment-Daten-Set (~970K Flugbahnen aus 22 Roboter-Einführungen) ausgebildet.
** Leistung:** Auf dem LIBERO-Benchmark erzielt ein fein abgestimmtes OpenVLA je nach Aufgabenschwierigkeit 85
Feinabstimmung-Anforderungen: 2x A100 (80 GB) für vollständige Feine-Tuning; 1x A100 für LoRA-Feinabstimmung. Trainingszeit: 8
Pros: Vollständig Open-Source mit ausgezeichneter Dokumentation; stärkste Open-Source-Basislinie; große Community und aktive Entwicklung; Arbeitet an jedem Roboter mit einfacher Aktionsraumkartierung.
Kons: 7,5B-Parameter bedeuten ~300ms pro Aktionsschritt auf Konsumenten-GPUs (zu langsam für reaktive Aufgaben); diskrete Token erzeugen weniger glatte Aktionen als Flow-Matching oder zersplitterte Vorhersage; erfordert eine erhebliche VRAM-Funktion für Fein-Tuning.
π0 (Physikalische Intelligenz)
Architektur: π0 verwendet ein Bildsprache-Rückgrat (wahrscheinlich PaLI-basiert, Details nicht vollständig offenbart) mit einem Flow-Matching-Aktionskopf. Flow-Matching generiert Aktionen, indem eine Lärmprobe durch ein gelerntes Geschwindigkeitsfeld iterativ in eine Aktionsbahn umgewandelt wird. Dies erzeugt glatte, kontinuierliche Träger ohne die Diskretisierungsartefakte von tokenbasierten Ansätzen.
Schulungsdaten: Auf einem proprietären Datensatz von Tausenden von Stunden Teleoperationsdaten auf mehreren Roboterplattformen (Franka, UR5, mobile Manipulatoren, geschickte Hände) ausgebildet.
** Leistung:** π0 zeigte die breiteste Aufgabenverallgemeinerung jeder Roboterpolitik, die Spülklage, Tischbussen, Boxverpackung und Montage-Aufgaben in verschiedenen Roboter-Einführungen aus einem einzigen Modell durchführten.
Feinabstimmung-Anforderungen: Nicht öffentlich verfügbar.
Pros: Glatteste Aktionsgenerierung; breiteste Aufgabenverallgemeinerung gezeigt; behandelt kontaktreiche Manipulationen besser als tokenbasierte VLAs; Mehrfachunterstützung.
Kons: Schlosssource; keine öffentlichen Gewichte; Abschluss erfordert mehrere Verkennungsschritte (10
SmolVLA (HuggingFace)
Architektur: SmolVLA verwendet SmolVLM (ein kompaktes Modell für die Vision-Language basierend auf Idefics-3) als Rückgrat mit einem zerknittenen Aktionsvorhersage-Kopf. Der Aktionskopf prognostiziert eine Sequenz zukünftiger Aktionen (Aktionsstück) in einem einzigen Vorwärtspass, inspiriert von ACT's zerknittenen Vorhersage. Der Vision-Encoder ist ein SigLIP-400M-Modell, und das Spinbett ist ein 500M-Parameter-Transformator.
Schulungsdaten: Auf einem kuratierten Teilsatz von Open X-Embodiment plus LeRobot-Community-Datensätzen ausgebildet.
** Leistung:** Auf dem LIBERO-Benchmark erzielt SmolVLA 82
Feinabstimmung-Anforderungen: 1x RTX 4090 (24 GB) für die vollständige Feine-Tuning; Schulungszeit 4
Pros: Die kleinste und schnellste Open-Source-VLA; läuft auf Verbraucherhardware; eine geplanten Prognose erzeugt reibungslose Aktionen; der vollständige Trainingscode ist auf HuggingFace verfügbar; eine aktive Community.
Kons: Kleinere Grenzen für das Sprachverständnis im Vergleich zu 7B+-Modellen; weniger robuste Anweisungen für neuartige Anweisungen; schwache Vorhersagen können mit sehr langfristigen Aufgaben zu kämpfen haben.
Octo (UC Berkeley)
Architektur: Octo verwendet ein Transformator-Rückgrat mit einem Diffusions-Aktionskopf. Im Gegensatz zu den VLA-Modellen oben verwendet Octo kein vorgeübter Spinngrat. Stattdessen verwendet es einen kleineren Transformator, der von Grund auf Roboterdaten ausgebildet ist, mit optionalem Sprachkonditionieren. Der Diffusionskopf generiert durch iteratives Denoisieren Aktionsbahnen.
Schuldaten: Auf dem Open X-Embodiment-Daten-Set (~800K-Platzbahnen) ausgebildet.
** Leistung:** Auf dem SIMPLER-Benchmark erzielt Octo-Base einen Erfolg von 50
Feinabstimmung-Anforderungen: 1x RTX 3090 oder besser; Schulungszeit 30 Minuten bis 2 Stunden.
Pros: Schnellste Feinastellung; geringste Rechenanforderung; Diffusionskopf verarbeitet multimodale Aktionen gut; für schnelle Prototypenentwicklung ausgelegt.
Kons: Schwachstes Sprachverständnis (keine LLM-Backbone); geringere absolute Leistung als OpenVLA oder SmolVLA bei komplexen Aufgaben; Diffusions-Inferenz ist langsamer als zerkleinerte Vorhersage.
RoboFlamingo (Shanghai AI Lab)
Architektur: Aufbauend auf OpenFlamingo (ein multimodalmodelles Modell basierend auf MPT-7B) fügt RoboFlamingo einem vorgeübten Vision-Language-Modell einen Roboter-Aktionsvorhersage-Kopf hinzu.
Schuldaten: Ausgebildet auf einer Kombination aus CALVIN-Benchmark-Daten und maßgeschneiderten Realroboter-Demonstrationen.
** Leistung:** Auf dem CALVIN-Benchmark erzielt RoboFlamingo hochmoderne Ergebnisse bei mehrstufigen, langen Horizontsaufgaben.
Feinabstimmung-Anforderungen: 2x A100 (80 GB) für die vollständige Feine-Tuning aufgrund des 9B-Parameter-Spielbands.
Pros: Starke langfristige Aufgabenleistung; zeitliche visuelle Argumentation; Open Source.
Kons: Große Modellgröße (9B); begrenzte veröffentlichte Evaluierungen von echten Robotern; kleinere Community als OpenVLA oder SmolVLA; autoregressive Aktionsgenerierung erzeugt Einstufaktionen.
Wie man wählt: VLA-Entscheidungsrahmen
Die Wahl des richtigen VLA-Modells hängt von drei Faktoren ab: Ihrem Rechenbudget, Ihrer Datenverfügbarkeit und Ihren Aufgabenanforderungen.
Durch Rechnungsbudget
| Budget | Feinabstimmung Hardware | Recommended Model | Inference Speed |
|---|---|---|---|
| Consumer ($0–$2K GPU) | 1x RTX 4090 | SmolVLA or Octo | 15–30 Hz |
| Research lab ($5K–$20K) | 1–2x A100 | OpenVLA (LoRA) or SmolVLA | 3–15 Hz |
| Well-funded lab ($20K+) | 4+ A100 or H100 | OpenVLA (full) or custom VLA | 3–10 Hz |
| Enterprise | Cloud cluster | π0 (API) or custom training | Varies |
Nach Aufgabenart
| Task | Key Requirement | Best Model | Why |
|---|---|---|---|
| Simple pick-and-place | Speed, low compute | SmolVLA or Octo | Fast inference, minimal data needed |
| Language-conditioned manipulation | Semantic understanding | OpenVLA | Strongest language backbone among open models |
| Contact-rich manipulation | Smooth, precise actions | π0 or SmolVLA | Flow matching / chunked actions handle contact better |
| Multi-step long-horizon | Temporal reasoning | RoboFlamingo or OpenVLA | Multi-frame processing, strong LLM backbone |
| Rapid prototyping | Fast iteration | Octo | 30-min fine-tuning on 20 demos |
| Bimanual coordination | Multi-arm action space | SmolVLA or Octo | Flexible action spaces, chunked prediction |
Durch Verfügbarkeit von Daten
- 20
50 Demonstrationen: Octo (entworfen für schnelle Fein-Tuning mit minimalen Daten) - 50
200 Demonstrationen: SmolVLA (gute Leistung mit moderaten Daten) oder ACT (Nicht-VLA-Baseline, sehr wirksam mit begrenzten Daten) - 200
500 Demonstrationen: OpenVLA (vollständige Fein-Tuning erzielt in diesem Maßstab die besten Ergebnisse) - 500+ Demonstrationen: Alle Vorteile des Modells; Überlegen Sie die vollständige Fein-Tuning von OpenVLA oder die Ausbildung eines benutzerdefinierten Modells
Ein VLA auf Ihre Roboterdaten gut ausrichten
Anforderungen an das Datensystem
Alle großen VLA-Modelle erwarten Schulungsdaten in einem von zwei Formaten:
- RLDS (Reinforcement Learning Datasets): Der Standard für Open X-Embodiment-Modelle.
- LeRobot-Format: HuggingFace-Format für SmolVLA und das LeRobot-Training-Framework. Jede Episode wird als Parquet-Datei mit synchronisierten Bild- und Aktionsspalten sowie einer Metadaten-Datei JSON gespeichert.
Die Datenverarbeitung der RCSV erfolgt in beiden Formaten.
GPU-Anforderungen und Schulungszeit
| Model | Method | Min GPU | VRAM | Time (200 demos) |
|---|---|---|---|---|
| SmolVLA | Full fine-tune | 1x RTX 4090 | 24 GB | 4–12 hours |
| OpenVLA | LoRA | 1x A100 | 40 GB | 8–16 hours |
| OpenVLA | Full fine-tune | 2x A100 | 80 GB each | 12–24 hours |
| Octo | Full fine-tune | 1x RTX 3090 | 24 GB | 0.5–2 hours |
| RoboFlamingo | Full fine-tune | 2x A100 | 80 GB each | 16–32 hours |
LoRA vs. Vollständiges Feinstimmen
Die Low-Rank Adaptation (LoRA) eiskalte die vorgeübten Gewichte und trainiert kleine Adaptermatrizen, wodurch die Speicherbedarf um 50
- ** Vollständige Feinabstimmung:** Aktualisiert alle 7.5B-Parameter. Erfordert 2x A100 (80 GB). Erreicht die beste Leistung, insbesondere wenn sich die Aufgabenverteilung deutlich von den vor-Schuldaten unterscheidet.
- ** LoRA-Feinabstimmung:** Trainiert ~ 50M Adapterparameter (Rank 32). Erfordert 1x A100 (40 GB). Leistung innerhalb von 2
5% der vollständigen Feine-Tuning für die meisten Aufgaben.
Beispiel: Fein-Tuning von SmolVLA mit LeRobot
# Install LeRobot
# pip install lerobot
from lerobot.common.datasets.lerobot_dataset import LeRobotDataset
from lerobot.common.policies.smolvla.configuration_smolvla import SmolVLAConfig
from lerobot.common.policies.smolvla.modeling_smolvla import SmolVLAPolicy
# Load your dataset (collected at RCSV or locally)
dataset = LeRobotDataset("your_org/your_dataset")
# Configure the policy
config = SmolVLAConfig(
input_shapes={
"observation.images.top": [3, 480, 640],
"observation.images.wrist": [3, 480, 640],
"observation.state": [7], # 6 joints + gripper
},
output_shapes={
"action": [7],
},
action_chunk_size=50,
)
# Initialize from pre-trained weights
policy = SmolVLAPolicy(config, dataset_stats=dataset.stats)
policy.load_pretrained("HuggingFaceTB/SmolVLA-base")
# Fine-tune (see LeRobot docs for full training loop)
# python lerobot/scripts/train.py \
# --policy.type=smolvla \
# --dataset.repo_id=your_org/your_dataset \
# --training.num_epochs=100
RCSV-Datenerhebung für die Fein-Tuning-Pipeline
Der typische Arbeitsfluss für Teams, die die [Daten-Sammlungsdienste] von RCSV verwenden:
- Sicherheit der Aufgabe: Definition von Manipulationsarbeiten, Objektvariationen, Erfolgskriterien. Das RCSV-Lösungsteam hilft bei der Bestimmung der Mindestgröße des Datensatzes (typischerweise 100
200 Demo für die VLA-Feinabstimmung). - Sammeln Demonstrationen: RCSV-Betreiber sammeln Expertendemonstrationen auf OpenArm 1 oder DK1 mit synchronisierter Multi-Kamera-Aufnahme. Pilotkampagne: 100 Demos (2.500 USD). Vollkampagne: 500 Demos (3.000 USD).
- Erhalt von formatierten Daten: Daten werden sowohl im HDF5 (ACT/Diffusion Policy kompatibel) als auch im LeRobot-Format (SmolVLA/OpenVLA kompatibel) geliefert.
- Volltunung Ihres VLA: Verwenden Sie den bereitgestellten Datensatz, um SmolVLA (Konsumentengruppe) oder OpenVLA (A100) zu optimieren. RCSV kann Rechenzugang oder Anleitung zur Cloud-GPU-Einstellung bereitstellen.
- Bewert und wiederholt: Setzt die optimierte Politik auf eurem Roboter ein. Wenn die Erfolgsraten unter dem Ziel liegen, sammeln Sie zusätzliche zielgerichtete Demonstrationen für Fehlerfälle.
Echtwertige Benchmarks: Genauigkeit vs. Schnelligkeit
Methodenbezeichnung
Lesen Sie diese Tabelle nicht als normalisierte Rangliste
Die folgenden Werte werden gemeldet oder zeigen Ergebnisse aus verschiedenen Modellveröffentlichungen und Umgebungen. Sie sind nützlich für die Bildung einer Shortlist, aber sie stellen keinen Gewinner fest, da die Aufgabendefinitionen, Checkpoints, Beobachtungsräume, Aktionsräume, Hardware und Erfolgskriterien unterschiedlich sind.
Ein Vergleich der Entscheidungsklasse erfordert für jeden Kandidaten dieselbe Datensatzversion, Ausführungsform, Aufgabenpaket, Saatpolitik, Ableitungshardware, Erfolgsrubrik und wiederholtes Protokoll.
| Model | LIBERO-Long (5 tasks) | SIMPLER (avg) | Inference (RTX 4090) | Inference (A100) |
|---|---|---|---|---|
| RT-2 (55B) | N/A (closed) | N/A (closed) | N/A | ~1 Hz |
| OpenVLA (7.5B) | 90% | 72% | ~3 Hz | ~8 Hz |
| π0 | N/A (closed) | N/A (closed) | N/A | ~5 Hz (est.) |
| SmolVLA (450M) | 86% | 68% | ~20 Hz | ~30 Hz |
| Octo (93M) | 72% | 58% | ~10 Hz | ~25 Hz |
| RoboFlamingo (9B) | 82% (CALVIN) | N/A | ~2 Hz | ~6 Hz |
Die Ablehnungsgeschwindigkeits-Kompromiss: Für reaktive Aufgaben (Objektfang, dynamische Montage) benötigen Sie ≥10 Hz-Steuerung. Dies begrenzt die praktische Wahl auf SmolVLA und Octo auf der Verbraucherhardware. Für langsamere Manipulationsarbeiten (Pick-and-Place, Verpackung) reichen 3
** Wichtige Vorbeugung:** Benchmark-Zahlen werden auf bestimmten Datensätzen und Bewertungsprotokollen gemessen. Die reale Leistung hängt von Ihrer spezifischen Aufgabe, Umgebung und Roboter ab. Ein Modell, das 90% auf LIBERO erreicht, kann 60% auf Ihrer Aufgabe erreichen, wenn die visuelle Umgebung oder der Objektsatz erheblich unterschiedlich ist. Bewertet immer nach Ihrem Ziel-Setup.
Verwandte Lesungen
Verwandte: Physikalische KI im Jahr 2026 · Action Chunking Transformers · Datendienste · LeRobot-Framework Guide · SpaceMouse Teleoperation · Hardware Catalog · Robotics Glossarie