Grundlagenmodelle für die Roboternutzung: RT-2, OpenVLA, Octo und π0
Umfrage über Grundlagenmodelle für die Robotermanipulation im Jahr 2025 <unk> Architekturen, Schulungsdaten, Fähigkeiten und Einsatzüberlegungen.
[← Forschung]
Die aktuelle Landschaft großer vorgeübter Modelle für Robotermanipulation
Was macht ein Roboter-Grundlage-Modell
Ein Roboter-Grundlagemodell ist ein großes neuronales Netzwerk, das auf verschiedenen Roboterninteraktionsdaten (und oft Webdaten) vorgebildet ist, das mit relativ wenigen Demonstrationen auf neue Aufgaben abgestimmt werden kann.
Die kritische Eigenschaft ist die Übertragbarkeit: Das Modell muss verallgemeinerbare Darstellungen von Objekten, Szenen und Aktionen gelernt haben, die sich auf Aufgaben beziehen, auf die es nicht explizit ausgebildet wurde.
Für eine gut ausgebildete Ein- und Einsatz-Tasksysteme wird eine gut ausgebildete ACT- oder Diffusionspolitik auf 500
RT-2: Roboter-Transformator 2
RT-2 (Google DeepMind, 2023) ist das am häufigsten zitierte Roboter-Grundlagemodell. Es feint ein großes Vision-Language-Modell (PaLI-X, 55B-Parameter) um Roboteraktionen als Text auszuführen, die als Text tokeniert werden, und trainiert auf einer Kombination von Web-Bild-Text-Daten und Roboter-Trajektorien-Daten gleichzeitig.
- Architektur: PaLI-X VLM Rückgrat mit Aktions-Token, die dem Vokabular angeschlossen sind.
- Schuldaten: ~130K Roboter-Episoden aus dem RT-1-Datenbestand (Google-Roboter Küchenarbeiten) plus massive Webtext-/Bilddaten.
- Schlüsselergebnisse: RT-2 erzielt 62% Erfolg bei neuen Objekten und 55% bei neuen Hintergründen mit Null-Schuss-Generalisierung, gegenüber RT-1s 32% und 28% jeweils. Es kann auf natürliche Sprachanweisungen wie "Pick up the object that can be used to put out a fire" reagieren.
- Inferenzkosten: Für die Ausführung von 55B-Parametern ist ein Multi-GPU-Server erforderlich. Nicht auf Edge-Hardware bereitgestellt werden kann. Inferenz-Latenz 1
3 Sekunden Nur für langsamere Roboter-Steuerungsschleifen akzeptabel. - Beschränkungen: Schlossgewichte (Google-interne). Nicht direkt von externen Teams optimierbar. Der Nachfolger SayCan2 erstreckt sich auf mehrstufige Aufgabenplanung.
OpenVLA
OpenVLA (Stanford + UC Berkeley, 2024) ist das führende Open-Weight-Roboter-Grundlagemodell ab 2025. Es basiert auf einem 7B-Parameter LLaMA-2-Sprachmodell mit einem DINOv2 + SigLIP-Vision-Encoder, der auf dem Open X-Embodiment-Daten-Set abgestimmt ist.
- Architektur: Prismatische VLM (LLaMA-2 7B + DINOv2 Vision Encoder). Aktionsleistung über tokenized Discretization (256 Bins).
- Schulungsdaten: Öffneter X-Embodiment-Datenbestand
über 1 Million Roboter-Episoden aus 22 verschiedenen Robotertypen in 22 Forschungseinrichtungen. - Offene Gewichte: Modellgewichte, die auf HuggingFace (openvla/openvla-7b) veröffentlicht wurden.
- ** Fein-Tuning-Kosten:** LoRA Fein-Tuning auf 1.000 Aufgaben-spezifische Demonstrationen dauert etwa 4
8 Stunden auf einer einzigen A100-GPU (~ $500 $800 in Cloud-Rechen). - Inferenzgeschwindigkeit: ~500 ms pro Aktion auf A100 (7B Parameter). Quantifizierte INT4-Version läuft bei ~100
200 ms. Nicht geeignet für >2 Hz-Steuerung ohne Optimierung. - ** Leistung:** Erhält auf BridgeV2 Benchmark-Aufgaben RT-2 oder überschreitet sie. Er erzielt 56
65% Erfolg bei unsichtbaren Aufgaben mit null zusätzlichen Fein-Tuning-Anforderungen.
Octo
Octo (Berkeley, 2024) nimmt einen anderen architektonischen Ansatz ein: ein kleineres Transformatormodell mit einem Diffusionspolitik-Aktionskopf, das ausschließlich auf Roboterdaten (keine Webdaten) ausgebildet ist. Dies macht es schneller, um zu feinen Ton und zu implementieren.
- Architektur: Transformator-Beobachtungs-Enkoder (Bilder + Proprioempfang + Sprache) + Diffusions-Aktionskopf. Gesamtparameter ~93M
sind deutlich kleiner als VLM-basierte Ansätze. - Schulungsdaten: 800.000 Roboterdemonstrationen aus Open X-Embodiment (gefiltert nach Qualität).
- Inferenzgeschwindigkeit: ~30
100 ms pro Aktion auf einer Standard-GPU. - Feinabstimmung: 1.000 Demonstrationen, die in < 1 Stunde auf einem einzigen A100 feine-Tuning-Systeme durchgeführt wurden.
- Beschränkungen: Verstanden nicht die Natursprache semantik sowie VLM-basierte Modelle. Schlechter bei Null-Schuss neuartige Objektverallgemeinerung. Besser für Szenarien, in denen Sie Aufgaben-spezifische Feintuning-Daten haben.
π0 (Physikalische Intelligenz)
π0 (Physical Intelligence, 2024) ist das fähigste gemeldete Roboter-Fundamentmodell für geschickte, bi-manuale Manipulation. Es verwendet einen Flow-Matching-Aktionskopf (eine kontinuierliche normalisierende Flow-Variante), der einige der Diskretisierungsartefakte von tokenierten Aktionsergebnissen vermeidet.
- Architektur: VLM-Backbone (PaLI-Gemma) + Flow-Matching-Action-Head. Ausgebildet auf proprietären Daten der Roboterflotte von Physical Intelligence.
- Fähigkeiten: Beweisbar auf der Spülung von Wäschen, dem Tischbussen, der Herstellung von Sandwiches
Hochdexterität, zweibrochige Aufgaben mit verformbaren Objekten, die andere Modelle nicht ausgleichen. - ** Verfügbarkeit:** Nicht offengewichtig. über die kommerzielle API von Physical Intelligence verfügbar (begrenzter Zugriff, Unternehmenspreise). Nicht selbst gehostet.
- Flow-Matching-Vorteil: Flow-Matching vermeidet die Diskretisierungs-Bunken, die von tokenierten Aktions-Ausgaben erforderlich sind, und ermöglicht so reibungslose und präzisere Aktionen, die besonders wichtig für Hand- und zweibrochige Aufgaben mit hoher DOF sind.
Vergleiche der Kapazitäten
| Model | Params | Weights | Zero-Shot | Fine-Tune Cost | Inference Speed | Best For |
|---|---|---|---|---|---|---|
| RT-2 | 55B | Closed | Excellent | N/A | 1–3 s | Google internal |
| OpenVLA | 7B | Open | Good | $500–$800 | 100–500 ms | Open research, fine-tuning |
| Octo | 93M | Open | Moderate | <$100 | 30–100 ms | Edge deployment, fast iteration |
| π0 | ~3B | Closed API | Excellent | Custom | Unknown | Dexterous bimanual |
| Task-specific ACT | ~300M | N/A | None | $50–$200 | 15–30 ms | Single well-scoped task |
Berechnungen zur Bereitstellung
- Quantifizierung: OpenVLA INT8 Quantifizierung reduziert GPU-Speicher von 14 GB auf ~7 GB mit einer Leistungszerstörung von <5% . INT4 (4-Bit) reduziert auf ~3.5 GB mit einer Verstörung von 8
12%. - ** Edge-Entscheidung:** Octo (93M Param) ist das einzige aktuelle Fundamentmodell, das bequem auf NVIDIA Jetson AGX Orin läuft. OpenVLA und π0 benötigen einen Server. Für die Edge-Einführung größerer Modelle sollten Sie eine Inferenz auf einem mit dem Roboter über Ethernet verbundenen GPU-Server ausführen.
- Feinabstimmung-Daten: Selbst Grundmodelle profitieren wesentlich von 200
1,000 Demonstrationen über die spezifische Ziel- und Roboter-Tätigkeit.
Die RCSV Training-Plattform unterstützt OpenVLA und Octo-Fein-Tuning mit einer Ein-Klick-Schnittstelle.
Ein Grundmodell auf Ihre Daten einstellen
RCSV bietet eine verwaltete Feintuning für OpenVLA und Octo auf Ihre Aufgaben-spezifischen Demonstrationsdaten.