Vision-Language-Action-Modelle erklärt: Wie VLAs moderne Roboter antreiben
Was sind VLA-Modelle? Erfahren Sie, wie Vision-Language-Action-Modelle wie OpenVLA, pi0 und RT-2 funktionieren, wie sie sich von klassischen Richtlinien unterscheiden und wie sie mit RCSV-Daten abgestimmt werden.
Teil von: [Handbuch zum Nachbilden]
Vision-Language-Action-Modelle sind das Roboteräquivalent von massiven, vorgeübten neuronalen Netzwerken, die so fein abgestimmt werden können, dass sie eine Vielzahl von physischen Aufgaben erfüllen können.
Von Jerry Huang, Robotikzentrum des Silicon Valley
Was ist ein Visionen- und Handlungsmodell?
Ein Vision-Language-Action-Modell (VLA) ist ein neuronales Netzwerk, das visuelle Beobachtungen (Kamerabilder) und natürliche Sprachanweisungen als Eingabe nimmt und Roboteraktionen
Die Kerninsigne ist, dass das Vor-Training auf Internetdaten dem Roboter eine reiche Darstellung der physischen Welt gibt
VLA-Architektur: Die drei Komponenten
Jede VLA hat die gleiche Dreistufenarchitektur, obwohl die Implementierungen sich erheblich unterscheiden, wie jede Stufe realisiert wird:
1. Vision Encoder: Konvertiert Kamerabilder in eine Sequenz von visuellen Token. Die meisten VLAs verwenden einen vorgeübten Vision Transformer (ViT). Der Vision-Encoder ist die Komponente, die direkt vom Internet-Vor-Training übertragen wird, da die visuellen Merkmale, die aus Webbildern gelernt werden (Objekterkennung, räumliches Layout, Texturverständnis), direkt für die Roboterempfindung nützlich sind. Die Auflösung des Bildes ist wichtig: 224x224 ist Standard, aber begrenzt die feinkornige Wahrnehmung; einige Modelle (pi0) verwenden 384x384 oder höher für Aufgaben, die eine visuelle Präzision von subcentimetern erfordern.
2. Sprachkonditionierte Rückgrat: Ein großes Sprachmodell, das die visuellen Token neben den Sprachanweisungs Token verarbeitet. Hier findet semantisches Denken statt. OpenVLA verwendet LLaMA-2 7B; RT-2 verwendet PaLM-E 55B; pi0 verwendet ein benutzerdefiniertes 3B-Rückgrat.
3. Aktionskopf: Umwandelt die Ausgabe des Rückgrates in roboterspezifische Aktionen.
- ** Tokenisierte Aktionen (RT-2, OpenVLA):** Den kontinuierlichen Aktionsraum in Bins (typischerweise 256 Bins pro Dimension) unterscheiden und Aktionstoken mit dem Token-Vorhersage-Head des Sprachmodells vorhersagen. Einfach umsetzen, da es die bestehende Ausgabemaschine des Sprachmodells wiederverwendet. Beschränkung: Diskretisierung führt zu Quantifizierungsfehlern (~ 0,5 mm bei 256 Behältern über einen 12 cm langen Arbeitsplatz) und mehrstufige Vorhersage erfordert autoregressive Generation, die langsam ist.
- ** Kontinuitäts-Aktionsregression (Octo):** Fügen Sie einen kleinen MLP-Head hinzu, der Kontinuitäts-Aktionswerte direkt vorherrscht.
- Flow-matching-Action Head (pi0): Modellieren Sie die Aktionsverteilung als kontinuierlichen Flow und nehmen Sie daraus eine Probe mit einem diffusionsähnlichen Denosing-Prozess. Erzeugt glatte, kontinuierliche Aktionsbahnen. Am besten für begabte Aufgaben, fügt aber 50-100 ms zur Schlussfolgerung hinzu.
Vergleich der wichtigsten Modelle
| Model | Parameters | Action Head | Training Data | GPU for Fine-Tune | Inference Latenz | Access |
|---|---|---|---|---|---|---|
| RT-2 | 55B | Tokenized | Google internal + web | TPU v4 pod (not public) | ~1-2s per step | Closed (Google) |
| RT-2-X | 55B | Tokenized | Open X-Embodiment | TPU v4 pod (not public) | ~1-2s per step | Closed (Google) |
| OpenVLA | 7B | Tokenized | Open X-Embodiment (970K eps) | 1x A100 80GB | ~200ms per step | Open source (HuggingFace) |
| Octo | 93M | Continuous (diffusion) | Open X-Embodiment (800K eps) | 1x RTX 4090 24GB | ~50ms per step | Open source (HuggingFace) |
| pi0 | 3B | Flow-matching | Proprietary (10K+ hours) | Enterprise access only | ~100ms per step | Commercial (Physical Intelligence) |
RT-2 und RT-2-X: Die Google DeepMind Baselines
RT-2 (Robotics Transformer 2), veröffentlicht von Google DeepMind im Jahr 2023, war die erste Demonstration, dass die Skalierung eines Vision-Language-Modells zur Roboterkontrolle qualitativ neue Fähigkeiten erzeugte. RT-2 hat ein PaLI-X-Vision-Language-Modell auf Webdaten und Roboter-Trajektorien gleichzeitig abgestimmt und eine Politik erstellt, die neuartigen Anweisungen folgen, über Objekteigenschaften reden und sich auf Objekte verallgemeinern kann, die sie nie in Roboterdemonstrationen gesehen hatte
RT-2 zeigte, dass VLAs eine Denkkette-Rahmung durchführen konnten: Auf der Suche nach "etwas, das Sie verwenden können, um eine Verschüttung zu reinigen", identifizierte das Modell einen Schwamm aus der Szene, ohne dass es ihm jemals explizit gesagt wurde, Schwämme mit Reinigung zu verbinden. Diese aufkommenden Fähigkeiten
RT-2-X erweitert RT-2 durch Training auf dem Open X-Embodiment Datensatz (Demonstrationen aus 22 Roboter Ausführungen), die zeigen, dass Cross-Embodiment Training die Verallgemeinerung verbessert. Eine Politik, die auf Daten von mehreren Robotern ausgebildet ist, funktioniert besser auf jedem einzelnen Roboter als eine Politik, die nur auf den Daten dieses Robots ausgebildet ist
OpenVLA: der Startpunkt für Open-Source
OpenVLA, veröffentlicht von Stanford und Berkeley-Forscher im Jahr 2024, demokratisierte VLA-Feintuning, indem er auf dem Open-Source Prismatic VLM (selbst basierend auf LLaMA) aufbaute und auf dem Open X-Embodiment Datensatz trainierte
Die Fein-Tuning von OpenVLA bei einer benutzerdefinierten Aufgabe erfordert nur 50 bis 200 Demonstrationen, einen Datensatz, der mit HuggingFace LeRobot-Konventionen formatiert ist, und eine einzige 80 GB A100 oder H100-GPU für einen Trainingslauf von mehreren Stunden.
# OpenVLA-Feine-Tuning (vereinfacht) # Erfordert: 1x A100 80GB, ~4 Stunden für 200 Demo-Pip-Installation openvla # Formatieren Sie Ihre Daten in LeRobot-Format Python-Scripts/convert_to_lerobot.py \ --input_dir svrc_demos/ \ --output_dir lerobot_dataset/ # Feine-Tune OpenVLA auf Ihrer Aufgabe python finetune.py \model -- openvla/openvla-7b \ --dataset lerobot_dataset/ \ --task_name "pick_and_place_cups" \ --epochs 50 --batchsize_8 \ --e-5 -- \ \ \ \ _32 Loft # Memory for # Evaluate output \ \ \ \python\checkpoint \ --checkpoint \ --best_checkpoint \ --best_checkpoint \ --view_50 \ --checkpoint \ --best_checkpoint \ --best_checkpoint \
RCSV Daten-Sammlungsdienst erstellt Datensätze im LeRobot-kompatiblen Format, bereit für OpenVLA-Feinabstimmung aus der Box.
Octo: Die Leichtgewichtige Alternative
Octo (Ghosh et al., 2024) nimmt einen anderen Ansatz ein: Anstatt ein großes Sprachmodell zu skalieren, bauen Sie eine speziell gebaute Transformatorarchitektur auf, die klein genug ist, um auf Rohstoffhardware zu laufen. Bei 93M-Parametern ist Octo 75 mal kleiner als OpenVLA und führt eine Ableitung bei 50ms auf einem RTX 4090
Octo verwendet einen Diffusions-Aktionskopf anstelle von tokenized-Aktionen, die glattere Flugbahnen erzeugt. Es unterstützt sowohl Sprache-Konditionierung als auch Ziel-Bild-Konditionierung (zeigt dem Roboter ein Bild des gewünschten Endzustands anstatt es in der Sprache zu beschreiben). Für Teams ohne A100-Zugriff oder die Echtzeit-Förderung auf Edge-Hardware benötigen, ist Octo die praktische Wahl. Die Fein-Tuning von Octo auf 200 maßgeschneiderten Demonstrationen dauert etwa 2 Stunden auf einem einzigen RTX 4090.
Der Kompromiss: Octo's kleinere Rückgrat bedeutet weniger semantisches Verständnis. Es kann nicht die Denkketten-Rasoning, die RT-2 kann. Für Aufgaben, bei denen die Anweisung einfach ist ("die Tasse aufnehmen") und die Verallgemeinerung zu neuen Objekten nicht kritisch ist, entspricht Octo's Leistung OpenVLA zu einem Bruchteil der Rechenkosten. Für Aufgaben, die ein komplexes Sprachverständnis oder eine Argumentation über die Objekteigenschaften erfordern, sind OpenVLA oder größere Modelle notwendig.
pi0: Die allgemeine Politik der physischen Intelligenz
Pi0 von Physical Intelligence (pi.ai) stellt die kommerzielle Grenze der Entwicklung von VLA dar. Im Gegensatz zu OpenVLA, das ein Spinball-Sprachmodell erbt, verwendet pi0 einen Flow-Matching-Aktionskopf, der kontinuierliche, glatte Aktionsbahnen erzeugt, die für geschickte Aufgaben besser geeignet sind als diskrete Tokenisierte Aktionen. pi0 wurde auf einem proprietären Datensatz von über 10.000 Stunden Roboterdemonstrationen über Dutzende von Aufgaben und Hardware-Plattformen ausgebildet.
Das, was pi0 architektonisch unterscheidet, ist die Trennung zwischen dem "langsamen" sprachlich bedingten Denkweg und dem "schnellen" reaktiven motorischen Steuerungsweg. Dies spiegelt Einblicke aus der kognitiven Wissenschaft über Dual-Prozess-Steuerungssysteme wider. Das Ergebnis ist eine Politik, die sowohl die langhorizontale Argumentation als auch die Hochfrequenzreaktion bewältigen kann
Für Teams, die Architekturen im Pi0-Stil erforschen, umfassen die [Benchmarks] von RCSV (
Schulungsdatenanforderungen
VLA-Leistungsskala mit sowohl vor-Schulungsdatenvielfalt als auch Aufgaben-spezifische Fein-Tuning-Datenqualität.
| Scenario | Fine-Tune Demos | Expected Success Rate | Notes |
|---|---|---|---|
| Zero-shot (no fine-tuning) | 0 | 10-30% | Works only if task is in pre-training distribution |
| Minimal fine-tuning | 10-50 | 40-60% | Sufficient for simple tasks with pre-trained backbone |
| Standard fine-tuning | 50-200 | 70-85% | Sweet spot for most tasks — best ROI on data collection |
| Heavy fine-tuning | 200-1000 | 85-95% | Diminishing returns above 500; variation matters more |
| Specialist fine-tuning | 1000+ | 90-98% | Industrial deployment quality; may overfit to task |
Kritische Anforderungen an die Datenqualität: Die Demonstrationen müssen die Sprachanweisung als Metadaten enthalten, die Kameraansichtpunkte sollten mit dem Einsatzkonfiguration übereinstimmen und die Demonstrationen sollten die gesamte Palette der Objektsposen und Szenenkonfigurationen abdecken, mit denen die Politik konfrontiert wird.
Inferenzanforderungen und Einsatz
Die VLA-Initiative ist ein Rechenproblem.
- Octo (93M Param): Laufen auf RTX 4090 (24GB VRAM) bei 20 Hz. Kann mit TensorRT-Optimierung auf Jetson AGX Orin bei 5-8 Hz eingesetzt werden. Der kleinste VLA, der die Verallgemeinerung zwischen den Verkörperungen beibehält.
- OpenVLA (7B Param): Erfordert A100 oder H100 (80GB VRAM) für eine vollgenauige Ableitung bei 5 Hz. Bei 4-Bit-Quantifizierung (GPTQ oder AWQ) passt es auf RTX 4090 bei 3-4 Hz. LoRA-Stimulation reduziert das Speicher auf ~40 GB.
- RT-2 (55B Param): Erfordert mehrere A100/H100 GPUs mit Tensorparallelität. Nicht praktisch für die Ein-Roboter-Implementierung; ursprünglich auf der internen TPU-Infrastruktur von Google ausgeführt. Aus diesem Grund existiert OpenVLA
, um RT-2-Klasse-Fähigkeiten in ein bereitstellbares Maßstab zu liefern. - pi0 (3B Param): Optimiert für den Einsatz. Laufen auf einem einzigen A100 oder einem gleichwertigen Antrieb bei 10 Hz. Physical Intelligence bietet einen Ableitungsserver, der die Batch-Anfragen für mehrere Roboter-Entwicklungen behandelt.
Für die meisten Forschungsteams ist die praktische Wahl zwischen Octo (billiger, schneller, weniger fähig) und OpenVLA (teurer, langsamer, fähiger). Beginnen Sie mit Octo, um Ihre Aufgabe und Datenleitung zu validieren, und dann aktualisieren Sie auf OpenVLA, wenn Sie ein besseres Sprachverständnis oder eine neue Objektgeneralisierung benötigen.
Zero-Shot vs. Fein-Tuning-Performance
Eine wichtige Frage für Praktiker: Wie wichtig ist Fein-Tuning, und wann reicht die Null-Shoot-Leistung aus?
Null-Shot funktioniert, wenn: die Aufgabe üblich ist (Pick-Place, Schublade offen/schließen), die Objekte sind Alltagsgegenstände, die in den Vor-Training-Daten angezeigt werden, der Bildcamera-Blickwinkel ähnelt den Standard-Forschungseinrichtungen (Dritte-Person-Overhead oder Auge-in-Hand), und die Sprachunterricht ist einfach und eindeutig.
Feinabstimmung ist notwendig, wenn: die Aufgabe benutzerdefinierte Hardware oder ungewöhnliche Kinematik beinhaltet, die Objekte spezialisiert sind (Laboratoriumsgeräte, Industrieteile), die Kamerakonfiguration ist nicht standardmäßig, die Aufgabe eine Präzision erfordert, die über das hinausgeht, was das vorgebildete Modell erreicht, oder die Einsatzumgebung einzigartige visuelle Eigenschaften hat (spezifische Beleuchtung, Hintergrund).
In der Praxis erfordern fast alle Produktionsimplementationen Fein-Tuning. Die Zero-Shot-Leistung liefert eine nützliche Vernunftprüfung
Aktuelle Beschränkungen
- Inferenz-Latenz: Auch die schnellsten VLAs (Octo bei 50ms) sind langsamer als klassische Richtlinien (ACT bei 10ms, Diffusion Policy bei 15ms mit DDIM). Für Aufgaben, die >30 Hz-Steuerung (Forzempfindliche Montage, reaktives Greifen) erfordern, sind VLAs ohne dedizierte Hardwarebeschleunigung zu langsam.
- Kontaktphase-Leistung: VLAs übertreffen die Ansatzphase (Objekte identifizieren, Planungspläne) aber kämpfen mit der Kontaktphase (Kraftregelung, Einfügung, Handmanipulation). Das Spinnspinn der Sprache bietet keine nützliche Vorläufe für die Kontaktdynamik. Hybrid-Ansätze
VLAs für den Ansatz, Kraft/Taktpolitik für den Kontakt sind die beste Praxis. - Halluzination: Wie Sprachmodelle können VLAs "halluzineren"
und sich selbstbewusste Aktionen in Situationen vorhersagen, in denen die richtige Aktion unsicher ist. Dies manifestiert sich als Roboter, der eine Greifbewegung ausführt, wenn kein greifbares Objekt vorhanden ist oder einer Anweisung folgt, die physisch unmöglich ist. Sicherheitsschichten (Kraftgrenzen, Arbeitsraumgrenzen) sind wesentlich. - ** Schulungskosten:** Vor-Schulung eines VLA von Grund auf erfordert Millionen von Roboter-Demonstrationen und Hunderte von GPU-Stunden. Auch die Fein-Tuning von OpenVLA kostet 50 bis 200 US-Dollar in Cloud-Computing pro Schulungslauf. Für Teams, die schnell auf Aufgabendefinitionen iterieren, addiert sich diese Kosten.
Wie sich VLAs von klassischen Strategien im Umsetzen unterscheiden
Die klassischen IL-Politiken
VLAs handeln mit Computern für Verallgemeinerung. Eine klassische ACT-Politik auf einer GPU kostet Penny pro Schlussfolgerung; ein VLA-Schritt auf einem 7B-Parameter-Modell kostet mehr. Für Aufgaben, die sich breit über Umgebungen und Anweisungen verallgemeinern müssen, gewinnen VLAs. Für eine eng definierte, sich wiederholende industrielle Aufgabe, bei der Sie mehr als 1.000 Demonstrationen haben und die Umgebung abstimmen können, erzielt eine klassische Politik oft eine bessere Geschwindigkeit und Zuverlässigkeit zu niedrigeren Kosten.
Fein-Ausrichtung VLAs mit RCSV-Daten
RCSV bietet end-to-end Unterstützung für VLA-Feinabstimmung-Projekte. Unsere [Teleoperationsinfrastruktur]
Für Teams, die maßgeschneiderte Daten in großem Umfang benötigen, kann unser Managed Collection Service in der San Francisco-Einrichtung mit ausgebildeten Betreibern hunderte Demonstrationen pro Tag über eine Bibliothek von Manipulationsarbeiten erstellen. Wir bieten auch Beratung über Aufgabenentwurf an
Verwandte: Nachahmungslernen for Robots · Diffusion Policy for Robot Learning · ALOHA Robot Guide · Data Services · Benchmarks