Zero-Shot vs. Few-Shot-Roboter-Politiken: Realistische Erwartungen setzen

[← Blog]

Zero-shot Robotics ist real für einfache Aufgaben, unter kontrollierten Bedingungen, mit Objekten in Verteilung.

Definitionen

Null-Shoot bedeutet, eine neue Aufgabe auszuführen oder ein neues Objekt ohne neue Demonstrationen zu bearbeiten der Roboter hängt ausschließlich von dem ab, was er während des Vortrainings gelernt hat. Few-Shoot bedeutet, sich mit 5-50 neuen Demonstrationen an eine neue Aufgabe anzupassen.

Die aktuelle Realität für Zero-Shot

Die Grundlagenmodelle für die Robotermanipulation OpenVLA, Octo, RT-2 haben eine echte Nullschussfähigkeit bei einfachen Aufgaben innerhalb ihrer Trainingsverteilung gezeigt.

• Open-vocabulary-Objektdetektion + einfache Planung von oben nach unten-Griff-Arbeiten - Null-Schuss für ~60% der gewöhnlichen Haushaltsgegenstände, die in einer aufrechten Ausrichtung auf einer klaren Oberfläche dargestellt werden
• Sprachenkonditionierte Navigation in zuvor erforschten Umgebungen funktioniert mit null-Schuss mit ~75% Erfolg in strukturierten Einstellungen
• Die Auswahl und Platzierung mit bekannten Objektakegorien (Mugs, Flaschen, Blöcke) erzielt mit OpenVLA auf Standard-Benchmarks 50-65% Erfolg mit Nullschuss

Wenn die Nullschussverarbeitung zuverlässig fehlt: Präzisionsarbeiten, die eine Unter-5mm-Anbringung erfordern, geschickte Manipulation, neuartige Werkzeugnutzung, Aufgaben, bei denen das Objekt nicht kanonisch ist (geheilte Flaschen, gestapelte Tassen) und Aufgaben, bei denen deformierbare Objekte nicht gut in den Trainingsdaten dargestellt werden.

Einige Schüsse mit einer feineren Einstellung: Die praktischere Fähigkeit

Die wichtigsten Vergleiche sind:

Training Approach	Demos Required	Typical Success Rate	Time to Train
Foundation model, zero-shot	0	30–65% (simple tasks)	N/A
Foundation model + 20 demo fine-tune	20	70–80%	30 min GPU
Foundation model + 100 demo fine-tune	100	80–90%	2 hr GPU
Train from scratch (ACT)	500	75–88%	3–4 hr GPU
Train from scratch (Diffusion)	1000	82–92%	8–12 hr GPU

Der Grundmodell hat am stärksten einen Vorteil im Low-Data-Regime (unter 100 Demonstrationen). Mit 20 Demonstrationen erzielt ein fein abgestimmtes Grundmodell Erfolgsraten, die mit dem Training von ACT von Grund auf 500 Demonstrationen vergleichbar sind. Das ist eine 25x bessere Dateneffizienz, die sich direkt auf Kosten- und Zeitersparnis auswirkt.

Wo Zero-Shot heute tatsächlich funktioniert

• ** Strukturelles Abholen mit klarer Objektdetection:** DETIC + GraspNet-Stil offenes Wortschatzdetektion + einfacher Greifenplaner funktioniert für normale Objekte in organisierten Behältern null-Schuss.
• Sprachkonditionierte Navigation in bekannten Räumen: VLN-Modelle (Vision-Language Navigation) arbeiten in Räumen, die sie zu verstehen trainiert wurden, mit einer guten Verallgemeinerung auf Räume mit dem gleichen Layout in verschiedenen Gebäuden.
• Objekterkennung und Sortierung nach Kategorien: Sprachbedingte Sortierung ("die roten Elemente in den linken Schachtel setzen") funktioniert für bekannte Kategorien mit RGB-Klassifizierung als Nullschuss.

Wo es nicht (noch) ist

• ** Kontaktreiche Manipulation:** Fesseln, Schnellverbindungen, Falten, Entstaplingskuppen Null-Schuss-Erfolgsraten sind für aktuelle Grundmodelle 10-30%.
• Neue Werkzeuge: Die Verwendung eines unbekannten Werkzeuges (einen Kanonöffner, einen bestimmten Schraubendreher) ist noch nicht zuverlässig.
• Externe Manipulation: Hand-Re-Graping, Drehbewegung von Objekten mit Fingerabteilung außerhalb der aktuellen Nullschussfähigkeit für alle Produktionsmodelle.

Stiftungsmodell-Benchmark-Ergebnisse (2025-2026)

Model	Provider	Zero-Shot (SimplerEnv)	20-Shot Fine-Tune	Parameters
OpenVLA	Stanford/TRI	48-62%	72-80%	7B
Octo	Berkeley	35-55%	65-78%	93M
pi-0	Physical Intelligence	55-70%	78-88%	3B
RT-2-X	Google DeepMind	50-65%	75-85%	55B
ACT (from scratch)	Stanford	N/A	40-55% (20 demos)	12M

Diese Zahlen stellen Leistung bei einfachen Manipulationsbenchmarks (Pick-Place, Schubladenöffnung, Knopfdruck) in kontrollierten Lab-Umgebungen dar. Die Real-Welt-Deployment-Nummern sind aufgrund von Lichtvariationen, Hintergrundunordnung und Objektsvielfalt, die in Benchmark-Bedingungen nicht dargestellt werden, typischerweise 10-20 Prozentpunkte niedriger.

Kurven zur Dateneffizienz mit wenigen Aufnahmen

Die wichtigste Erkenntnis für die Praktiker ist, wie die Leistung mit der Anzahl der Fein-Tuning-Demonstrationen skaliert.

• 5 Demonstrationen: Fundamentmodelle zeigen eine Verbesserung von 5-15% gegenüber Null-Schuss. Training von Null produziert unzuverlässige Richtlinien. Der Grundmodellvorteil ist hier am größten - etwa 10 mal mehr Daten- effizient als Schratz-Training.
• 20 Demonstrationen: Der Schatzpunkt für die Feinarierung des Grundmodells. Die meisten Modelle erreichen zu diesem Zeitpunkt 70-80% ihrer Endleistung. Von Null an erreicht ACT typischerweise 40-55%. Der Abstand zwischen vorgeübten und Null ist 20-30 Prozentpunkte.
• 50 Demonstrationen: Grundlagenmodelle nähern sich ihrer Obergrenze (80-88%). Schraub-trained-Modelle schließen die Lücke und erreichen 60-75% mit gut gesammelten Daten. Der Kostenunterschied ist signifikant: 50 Demonstrationen kosten 200-500 USD bei RCSV-Raten gegenüber den Monaten der vor-training-Computing, die in das Grundlagenmodell investiert wurden.
• 100 Demonstrationen: Das Grundmodell bei der Feinastellung nimmt bei den meisten Aufgaben zu. Scratch-trained Modelle kommen weiter voran (75-85%).
• ** 500 Demonstrationen:** ACT und Diffusion Policy mit Schraubtraining entsprechen oder übertreffen in der Regel feine Fundamentmodelle. Bei diesem Datenvolumen ist der Vorteil des Vortrainings für den Einsatz einer einzelnen Aufgabe minimal.

Wann, welcher Ansatz zu verwenden: Entscheidung Matrix

Scenario	Recommendation	Why
Quick feasibility test, simple task	Zero-shot with OpenVLA/pi-0	No data cost; instant evaluation
New task, limited budget (<$2K data)	Foundation model + 20-50 demo fine-tune	Maximum performance per dollar
Production deployment, single task	ACT/Diffusion from scratch, 300-500 demos	Smaller model = faster inference, simpler deployment
Multi-task deployment (10+ tasks)	Foundation model + per-task fine-tuning	Shared backbone amortizes model cost
Präzision task (sub-2mm tolerance)	Scratch Diffusion Policy, 500+ demos	Foundation models lack precision for tight tolerances
Edge compute (Jetson, no GPU server)	Small model from scratch (ACT 12M params)	7B VLA models cannot run on edge devices

Die Truppenlücke: Warum Zero-Shot härter ist als es aussieht

Die NLP-Leistung mit Null-Shoot verbessert sich mit Modellskala zuverlässig: Ein 70B-Sprachmodell ist bei Null-Shoot-Text-Aufgaben konsequent besser als ein 7B-Modell.

Die grundlegende Herausforderung ist die Incarnation Gap: Im Gegensatz zu Text (der eine universelle Tokenisierung hat) sind Roboteraktionen umsetzungsspezifisch. Ein 7-DOF-Gebotsgeschwindigkeitsbefehl für eine Franka Research 3 ist für einen 6-DOF OpenArm oder einen mobilen Manipulator mit einer anderen kinematischen Kette sinnlos. Die aktuellen Grundlagenmodelle verarbeiten dies entweder durch die Normalisierung des Aktionsraums (die Karte aller Roboter auf eine geteilte 7-DOF-Repräsentation, die Informationen für Roboter mit mehr oder weniger DOF verliert) oder durch die Ausgangsköpfe für die Ausführungsformen (die zumindest ein paar Demonstrationen auf der Zielkörperung erfordern, um den Ausgangsköpfe zu kalibrieren).

Das bedeutet, dass "Null-Shot" auf einer neuen Roboterverkörperung mit aktuellen Architekturen funktionell unmöglich ist - Sie benötigen immer mindestens einen Kalibrierungsschritt. Die Null-Shot-Fähigkeit, die heute funktioniert, ist Null-Shot zu ** neuen Aufgaben auf derselben Verkörperung**, auf der das Modell ausgebildet wurde. Der Transfer zu einer neuen Verkörperung ist immer wenig-Schüsse zumindest.

Die Wahrnehmungslücke ist die zweite große Herausforderung. Fundamentmodelle werden auf Datenmengen ausgebildet, die in bestimmten Labors mit bestimmten Kameras, Beleuchtung und Hintergründen gesammelt werden. Die Ergebnisse der Studie zeigen, dass die Ergebnisse der Studie in den letzten Jahren zu einer Reihe von Daten, die in der Praxis zu einer Reihe von Daten, die in der Praxis zu einer Reihe von Daten, die in der Praxis zu einer Reihe von Daten, die in der Praxis zu einer Reihe von Daten, die in der Praxis zu einer Reihe von Daten, die in der Praxis zu einer Reihe von Daten, die in der Praxis zu einer Reihe von Daten, die in der Praxis zu einer Reihe von Daten, die in der Praxis zu einer Reihe von Daten, die in der Praxis zu einer Reihe von Daten, die in der Praxis zu einer Reihe von Daten, die in der Praxis zu einer Reihe von Daten, die in der Praxis zu einer Reihe von Daten, die in der Praxis zu einer Reihe von Daten, die in der Praxis zu einer Reihe von Daten, die in der Praxis zu einer anderen Sprache, die Sprache, die Sprache, die Sprache, die Sprache, die Sprache, die Sprache, die Sprache, die Sprache, die Sprache, die Sprache, die Sprache, die Sprache, die Sprache, die Sprache, die Spra

Die Aktionsverteilungshintergrund. Verschiedene Aufgaben haben grundsätzlich unterschiedliche Aktionsverteilungen - Pick-and-Place beinhaltet diskrete Grapp-/Release-Ereignisse, während das Löschen kontinuierliche Kontaktaufnahme beinhaltet. Ein Grundmodell, das hauptsächlich auf Pick-and-Place-Daten ausgebildet ist, wird bei kontaktreichen Aufgaben schlechte Null-Schossen-Performance haben, auch wenn das visuelle Verständnis perfekt übertragen wird. Deshalb ist die Aufgabenvielfalt in den Daten vor der Ausbildung wichtiger als die Datensatzgröße für eine Null-Schuss-Generalisierung.

Vergleiche der Inferenzkosten und der Latenz

Ein Faktor, der in der Diskussion mit Null-Schuss gegen wenigen Schüssen oft übersehen wird: die Ableitkosten für das Laufen von Grundmodellen in der Produktion. Ein 7B-Parameter VLA-Modell erfordert eine dedizierte GPU für die Ableitung (A10G-Minimum, ~ $ 0,75 / Stunde in der Cloud) und führt zu einer Latenz von 100-300 ms pro Aktion. Ein 12M-Parameter ACT-Modell läuft auf einem Jetson Orin Nano mit einer Geschwindigkeit von $ 200 bei 5-15 ms pro Aktion.

Für die Ausführung in großem Umfang (10+ Roboter) können die GPU-Ergebniskosten von Grundmodellen 50.000 USD pro Jahr übersteigen - möglicherweise mehr als die Kosten für die Sammlung von genügend Daten für die Ausbildung kleiner Aufgaben-spezifischer Modelle. Dies ist das kontraintuitive wirtschaftliche Argument: Die Investition in die Datenerhebung (eine einmalige Kosten) kann billiger sein als die Bezahlung laufender Ergebniskosten für Grundmodelle.

Praktische Anleitung

Planen Sie 200-500 Demonstrationen für jede neue Aufgabe, auch mit Grundmodellen. Null-Shoot-Leistung ist ein Bonus, der gemessen werden muss, nicht eine Basislinie, die angenommen werden muss. Wenn Null-Shoot 60%+ Erfolg bei Ihrer Aufgabe erreicht, sollten Sie sich vor dem Plan überlegen. Wenn er 30% erreicht, gehen Sie mit Ihrer geplanten Datenerhebung vor.

Das RCSV-Team kann Ihre spezifische Aufgabe für die Null-Shoot-Besitzbarkeit beurteilen und ein realistisches Demonstrationsbudget empfehlen, bevor Sie sich einer Sammelzeit einlassen.

Verwandte Lesungen

• RL vs. Imitationslernungsentscheidungsleitfaden -- Die breitere Entscheidung über den Ausbildungsansatz, die der Frage "Null/einige Schüsse" vorausgeht
• Verteilung der Kosten für die Roboter-Datenerhebung -- Budgetplanung für die Demo, die Sie für die Fein-Tuning benötigen
• LeRobot-Leitfaden --Ausbildung ACT und Diffusionpolitik für wenige Schuss- und von Grund auf Ansätze
• [Was macht gute Roboter-Training-Daten?] T5) -- Maximierung des Wertes jeder Demonstration in Datenarmen
• [Inkarnierte KI erklärt einfach] T6) -- Fundamentmodelle und ihre Rolle in physischer KI
• RCSV-Plattform -- Datenbankmanagement und Modell-Schulinfrastruktur
• [Datendienste] T8) -- Sammeln Sie die 20-500 Demonstrationen, die Sie für Fein-Tuning benötigen

Erstellen Sie ein realistisches Datenbudget für Ihre Aufgabe

RCSV kann Ihre Aufgabe für die Machbarkeit von Null- und wenigen Schüssen bewerten und den richtigen Demonstrationsvolumen empfehlen.

[Sprich mit unserem Team]