Warum Teleoperationsdaten noch Simulationen für die Ausbildung von Roboterpolitik übertreffen
Trotz Fortschritten in der Simulation bleiben echte Teleoperationsdemonstrationen der Goldstandard für die Ausbildungsmanipulation.
Teil von: [Teleoperationsführer]
[← Blog]
Die Sim-to-Real-Lücken werden immer kleiner
Die ständige Lücke zwischen Sim und Realität
Die Simulation ist weit gekommen, Isaac Lab macht die Körperphysik mit Tausenden Bildern pro Sekunde aus. Jedes Team, das versucht hat, eine Kontakt-reiche Politik zu entwickeln, die rein in Simulation ausgebildet ist, hat sich an die gleiche Wand gefasst: Die reale Welt verhält sich nicht so, wie der Simulator voraussagt, und die Politik versagt auf schwierige Weise zu diagnostizieren und teuer zu reparieren.
Das Kernproblem ist die Kontaktmodellierung. Wenn ein Roboterfinger eine Seifenbalke berührt, interagieren die Kontaktstiffheit, Reibungskoeffizient und Oberflächenmikro-Geometrie, um festzustellen, ob die Bar rutscht, rollt oder bleibt. Simulationsmotoren nähern sich dies mit einer Handvoll skalaren Parametern. Echte Silikon-Seifen auf einer nassen ABS-Oberfläche hat einen Reibungskoeffizienten, der mit der Schiebergeschwindigkeit, der normalen Kraft und der Oberflächenfeuchtigkeit so variiert, dass derzeit kein Physikmotor genau modelliert.
Kontaktreichheit: Was Simulationen nicht erfassen können
Kontaktreiche Manipulationsarbeiten
| Contact Property | Sim Fidelity | Real-World Complexity | Gap Severity |
|---|---|---|---|
| Static friction coefficient | Single scalar per pair | Varies with normal force, velocity, surface wear, moisture | High |
| Contact patch geometry | Point/line contact models | Deformable patch with pressure distribution | High |
| Surface micro-geometry | Not modeled | Micro-roughness, grain direction, surface coatings | Moderate |
| Soft body deformation | FEM or MPM (slow, approximate) | Viscoelastic, rate-dependent, non-linear | Very high |
| Aktuator dynamics | Idealized motor models | Backlash, cable stretch, thermal drift, gear wear | Moderate |
| Visual appearance under contact | PBR rendering (improving) | Specular reflections, shadows from gripper, occlusion | Low-moderate |
Die Kompozierungseffekte dieser Lücken machen den Sim-zu-Realen-Übergang für Kontakt Aufgaben so schwierig. Jede einzelne Annäherung kann nur einen kleinen Fehler vorstellen, aber Fehler in Reibung, Geometrie und Dynamik multipliziert sich während einer mehrstufigen Kontaktsequenz. Eine 10-Schritt-Einsatz-Aufgabe mit 5%-Prozentfehlern durch Kontaktmodellierungsungsgenauigkeiten erzeugt einen Gesamterfolg von 0,95^10 = 60%
Verteilungsschicht: Die quantitativen Beweise
Die Verteilungsschicht bezieht sich auf die Ungleichheit zwischen der staatlichen Verteilung, die eine Politik während der Ausbildung sieht, und der staatlichen Verteilung, die sie während der Bereitstellung trifft.
Visuelle Verteilungsschicht: Trotz Fortschritten in der Domänenrandomisierung und neuronaler Rendering unterscheiden sich simulierte Bilder verteilbar noch von realen Kamera-Feeds. Diese Verschiebung ist messbar: Die FID (Frechet Inception Distance) zwischen IsaacSim-gegebenen Manipulationsszenen und echten RealSense-Führungen der gleichen Szenen beträgt typischerweise 80-120, im Vergleich zu 20-40 zwischen verschiedenen echten Kamera-Setups.
Dynamikverteilungsschicht: Auch wenn der visuelle Transfer erfolgreich ist (durch Domänenrandomisierung oder Real-Image-Rendering), erzeugt die Dynamikunterstimmung während des Einsatzes Zustandsbahnen, die die Politik während des Trainings nie sah. In Wirklichkeit folgt der Arm aufgrund von Modellfehlern des Aktoren etwas unterschiedliche Flugbahnen, was zu einer Verständnis-Ansatzkonfiguration führt, die für die Politik nicht verbreitet ist. Dieser Dynamikwechsel ist schwerer zu messen, ist jedoch für die Mehrheit der Sim-zu-Realen-Fehler bei Kontakt Aufgaben verantwortlich.
Warum Menschen Demonstrationen die richtige Verteilung erfassen
Wenn ein erfahrener Betreiber einen Roboterarm teleoperationiert, um einen Seifenbalken zu holen, folgen sie nicht einer berechneten Flugbahn. Sie verwenden dieselben sensorimotorischen Heuristiken, die die Evolution Millionen von Jahren optimiert hat. Sie passen Instinktiv den Annäherungswinkel an, wenn sie eine abgerundete Oberfläche sehen. Sie fühlen (durch haptisches Feedback oder visuelle Hinweise) wenn ein Griff instabil und korrekt ist, bevor es versagt. Sie finden Grapp-Konfigurationen, die nicht global optimal sind, aber lokal stabil sind
Dies bedeutet, dass Teleoperationsdemonstrationen implizit zwei Dinge kodieren, die Simulation nicht leicht liefern kann: die richtige Aufgabenverteilung (die Reihe von Objektposen, Grapp-Strategie und Aktionssequenzen, die tatsächlich in der physischen Welt funktionieren) und implizite Zwangsbefriedigung (ein erfahrener Operator versucht nie zu verstehen, dass seine Erfahrung ihnen sagt, dass es scheitern wird
Ein dritter, oft übersehener Vorteil: ** Implizite Dynamikinformationen**. Wenn ein Betreiber seine Griffkraft in der Mitte der Bahn anpasst, weil er einen Schliff spürt, kodiert er den realen Reibungskoeffizienten in die Demonstrationsbahn. Wenn er die Annäherung verlangsamt, weil das Objekt unbeholfen positioniert ist, kodiert er die realen kinematischen Beschränkungen. Diese Dynamikinformationen sind "frei"
Die Differenz zwischen Sim und Real nach Aufgabenart: Quantitative Beweise
Die Größe der Sim-to-Real-Lücken variiert je nach Aufgabenart.
| Task Type | Sim Success | Real Success (Sim Policy) | Real Success (Teleop Data) | Demos Needed |
|---|---|---|---|---|
| Pick-place (rigid, top-down) | 95% | 75-85% | 90-95% | 100-200 |
| Peg-in-hole (1mm clearance) | 90% | 30-50% | 80-90% | 200-400 |
| Deformable manipulation (cloth) | 80% | 15-30% | 65-80% | 300-600 |
| Cable routing / insertion | 70% | 10-25% | 70-85% | 400-800 |
| Liquid pouring | 85% | 20-40% | 75-90% | 150-300 |
| Tool use (e.g., screwdriver) | 75% | 5-15% | 60-75% | 500-1000 |
Das Muster ist klar: Aufgaben mit einer reicheren Kontaktdynamik zeigen eine größere Sim-zu-Reale-Lücken. Für top-down-rigide Pick-Place ist die Lücke 10-20 Prozentpunkte
Kosten-Präsenz-Vergleich
Ein häufiger Widerspruch gegen reale Datenansätze ist die Kosten. Simulationsdaten sind "frei" wenn man die Umgebung hat; echte Demonstrationen erfordern Operatoren, Hardware und Zeit.
| Data Source | Cost/Demo | Demos for 80% Success | Total Cost to 80% | Time to 80% |
|---|---|---|---|---|
| Sim-only (Isaac Sim) | ~$0.001 | Often unreachable for contact tasks | N/A (ceiling ~50-60%) | 2-4 weeks sim engineering |
| Sim + domain rand (tuned) | ~$0.01 (compute) | 500K-1M episodes | $5K-10K compute + 4-8 weeks engineering | 4-8 weeks |
| Real teleop (in-house) | $15-30 | 200-400 | $3K-12K + hardware setup | 2-3 weeks |
| Real teleop (RCSV managed) | $8-16 | 200-400 | $2,500 pilot / $8,000 campaign | 1-2 weeks |
| Hybrid (sim pre-train + real fine-tune) | $0.01 sim + $10 real | 50K sim + 100-200 real | $2K-5K total | 3-4 weeks |
Die wichtigste Erkenntnis: Für kontaktreiche Aufgaben kann die Simulation allein oft nicht um jeden Preis die Ziel-Erfolgsrate erreichen, da die Leistungsgrenze durch die Kontaktmodellierungsgenauigkeit begrenzt wird. Echte Daten erreichen das Ziel schneller und vorhersehbarer, und der verwaltete Sammelweg (RCSV [Datedienstleistungen]
Drei Fallstudien, in denen Simulationen scheitern
- Säupenbar-Griff: Sechs Teams in der Industrie berichteten, dass in Isaac Sim mit Standard-PBR-Frittionsparametern ausgebildete Strategien bei der Simulation > 80% Erfolg erzielten, aber < 40% bei der realen Hardware. Das Kontaktstiffheit-Modell war falsch.
- Kabelbeifüchtung: Verformbare Geometrie ist im Wesentlichen in Echtzeitphysikmotoren unlösbar. Die Verformung eines USB-C-Kabels unter Fingerkontakt hängt von der spezifischen Fesselspannung, der Steifheit der Jacke und der Kernkonformität ab. Simulationsrichtlinien für Kabelrouting erreichen in Wirklichkeit etwa 20% des Erfolgs; Teleoperations- ausgebildete Richtlinien mit 500 Demo erreichen 70-80%.
- Flüssigkeitsvergießen: Die Fluiddynamiksimulation im Maßstab einer Tasse Wasser ist mit SPH oder mit Netz-basierten Methoden berechnungsfähig, aber die Wechselwirkung zwischen Flüssigkeit, Tassenrandgeometrie und Oberflächenspannung ist so komplex, dass sim-trainierte Richtlinien systematisch überschüttet werden.
Was Simulation tatsächlich richtig macht
Dies ist kein Argument gegen Simulation
- ** Bewegungsplanung im freien Raum:** Kollisionsfreie Flugbahngenerierung in bekannten Umgebungen überträgt sich gut von sim auf real.
- Diverse Szenengenerierung: Die Simulation kann Tausende von Objektsposen, Tabellenkonfigurationen und Umgebungslayouts erzeugen, die Wochen dauern würden, um physisch einzurichten.
- ** Unendliche Datenskale für grobes Verhalten:** Ein Roboter, der sich grob auf ein Ziel orientiert, einem Objekt nähert oder einen Flur navigiert, kann aus Millionen simulierter Episoden gestartet werden.
- Visuelle Codierer vorentwickeln: Das Trainieren eines visuellen Rückgrates auf Millionen simulierter Szenen mit unterschiedlichem Objekt-Auftritt, Lichtbedingungen und Kamera-Sichtpunkten erzeugt Darstellungen, die sich gut auf echte Kameras übertragen. Dies ist wohl die höchste ROI-Anwendung von Simulationen heute.
Wenn Simulationsdaten hilft: Der Vor-Schulfall
Die wichtigsten Argumente für Simulationsdaten sind nicht die primäre Ausbildungsquelle, sondern die Vor-Schulungszene.
1. Vor-Training für visuelle Darstellung. Trainieren Sie ein ResNet-50 oder ViT-Backbone auf 1M simulierten Szenen mit Domänen-Randomisierung. Der resultierende Encoder lernt Objektschichtlichkeiten (Ränder, Formen, räumliche Beziehungen) an, die auf echte Kameras übertragen werden. Die Fein-Tuning auf 200 echten Demonstrationen erfordert 3-5x weniger Iterationen im Vergleich zu dem Training von Grund auf, und die resultierende Politik verallgemeinert sich besser auf neue Kamera-Sichtpunkte und Beleuchtungsbedingungen.
2. Grobes Motorik-Initialisieren. Voran trainieren Sie eine Politik auf 100K simulierten Episoden, um die Grobbewegung primitiv zu lernen (Anschließung Objekt, Orientierung Griffe, Schließen Finger). Dies reduziert den tatsächlichen Datenbedarf von 500 Demo auf 100-200 Demo für viele Aufgaben, da die echte Fein-Tuning nur das Kontaktphas-Verhalten zu korrigieren braucht, anstatt die gesamte Flugbahn von Grund auf zu lernen.
3. Fehlmodusentdeckung. Laufen Sie die Sim-Politik auf 10K-Szenarien aus und katalogisieren Sie die Fehlmodus. Verwenden Sie diesen Katalog, um gezielte reale Datenerhebung zu entwerfen
Hybrid-Ansätze: die praktische Grenze
Die effektivsten Teams im Jahr 2025 wählen nicht zwischen sim und real
**Sim-Vor-Ausbildung + echte Feintuning (Standardansatz):**Sim-Ausbildung, Feintuning auf 100-500 echten Demo. Funktioniert gut für Aufgaben, bei denen die Sim-Politik 40-60% echtes Erfolg erreicht. Erwartete Verbesserung: 20-40 Prozentpunkte von Feintuning. Dies ist das, was pi0, OpenVLA und die meisten VLA-basierten Systeme für die Aufgabenspezialisierung verwenden.
Real-Spinzel + Sim-Vergrößerung: Ausbilden Sie die primäre Politik auf realen Daten, dann erhöhen Sie mit Sim-Daten mit einem Real:sim-Verhältnis von 1:3 bis 1:5 . Die Sim-Daten bieten eine Reichweite, die Wochen dauern würde, um in realen Erhebungen zu sammeln.
Sim für die Erforschung + real für die Verfeinerung: Verwenden Sie RL in Sim, um neue Lösungen für schwierige Aufgaben zu entdecken (z.B. Werkzeugnutzungsstrategien, Re-grap-Sequenzen). Dieser Ansatz nutzt Sims Fähigkeit, Millionen von Bahnen zu erkunden und dabei das Problem der Kontaktmodellierung während des Einsatzes zu vermeiden.
Fernbetriebsansatz des RCSV
Die Methodik der Datenerhebung des RCSV ist speziell darauf ausgelegt, das Signal-Läusch-Verhältnis in realen Demonstrationsdaten zu maximieren.
- ** Strukturelles Variationsprotokoll:** Anstatt alle Demonstrationen in einer einzigen Szenenkonfiguration zu sammeln, variieren wir systematisch die Positionen, Orientierungen und Szenenhintergründe eines vordefinierten Raster. Dies sorgt dafür, dass der Datensatz die Variationsächte abdeckt, die für die Verallgemeinerung wichtig sind, anstatt eine einzige Konfiguration zu überrepräsentieren.
- System der Betriebsleiter: Juniorbetreiber (Schulungswoche 1-2) sammeln Aufgaben L1 (einfache Auswahlstelle). Seniorbetreiber (1+ Monate Erfahrung) verarbeiten Aufgaben L2 (Mehrstufenmanipulation). QA-Leads (3+ Monate) verarbeiten Aufgaben L3 (Genauigkeitsinsertion, Werkzeugnutzung).
- Drei-Tor-Qualitäts-Pipeline: Jede Demonstration durchläuft (1) automatisierte heuristische Kontrollen (Geschwindigkeitsgrenzen, Arbeitsraumgrenzen, Episodelänge), (2) auf ML basierende Qualitätsklassifizierer, der auf 50K+-Beschriftene Episoden ausgebildet ist, und (3) menschliche Spot-Check-Überprüfung mit einer Probenahmerate von 10%. Die Ablehnungsrate beträgt typischerweise 15-25%, so dass nur saubere Demonstrationen in den endgültigen Datensatz gelangen.
- Hardware-Standardisierung: Alle Sammlung findet auf kalibrierten, standardisierten Arbeitsplätzen statt, die [OpenArm 1]
T3 ) ($4.500) oder DK1 bi-manuale Setups mit synchronisierter Multi-Kamera-Aufzeichnung verwenden. Dies beseitigt hardware-spezifische Geräusche, die die Politikbildung über verschiedene Sammlungseinrichtungen abschwächen.
Das Ergebnis: Die von RCSV gesammelten Datensätze erzielen konsequent 15-25% höhere politische Erfolgsraten als die in ad-hoc-Setups gesammelten Datenmengen, die auf Vergleichen zwischen 12 Aufgaben der ACT- und Diffusionpolitikarchitekturen basieren.
Das richtige Denkmodell: Grob in Sim, gut in Wirklichkeit
Der effektivste Ansatz, den wir gesehen haben, ist eine zweiphasige Strategie. In der ersten Phase wird die Simulation verwendet, um eine breite Vorbereitung zu trainieren: Der Roboter lernt, Objekte zu nähern, Anfangskandidaten zu schätzen und grob auszuwählen, die sich über Tausende von Objektkategorien hinweg bewegen. Diese Phase kann über Nacht auf einem einzigen A100 laufen und eine Politik erzeugt, die innerhalb von 10 cm vom richtigen Anfang ~ 90% der Zeit erreicht.
In der zweiten Phase werden 200-500 reale Teleoperationsdemonstrationen für die spezifische Aufgabe gesammelt. Das simulierte Modell wird auf diese realen Daten abgestimmt. Die Kombination überträgt typischerweise nur sim- oder nur-reale Ansätze und reduziert den tatsächlichen Datenbedarf um 5-10x im Vergleich zu dem Training von Grund auf.
RCSV-Beobachtungen aus Datenverarbeitung
Bei Dutzenden von Datenverwertungsprojekten im RCSV haben wir immer wieder festgestellt, dass die Datenqualität für Kontakt- und Nachverfolgungsarbeiten die Datenmenge übertrifft. Die Experten-Betreiber vermeiden instinktiv Demonstrationen, die die Politik verwirren.
Wir haben auch beobachtet, dass die ersten 200 Demonstrationen auf den meisten Aufgaben mit L2-Komplexität (strukturierter Pick-Place) eine sinkende Rendite zeigen. Die nächsten 300 Demonstrationen verbessern die Robustheit neuer Objekteposen.
Die Hybridstrategie in der Praxis
Unser empfohlener Ansatz für Teams, die eine neue Manipulationsarbeit beginnen: (1) eine Simulationsumgebung für das grob verhaltensvorübergehende Training erstellen oder herunterladen, (2) 50K-100K Sim-Schritte ausführen, um die Politik zu initialisieren, (3) 300-500 echte Teleoperationsdemonstrationen durch ein strukturiertes Datenerhebungsprotokoll sammeln, (4) Fein-Tune-Anwendungen durchführen, (5) in 3 neuen Bedingungen bewerten, auf denen Sie nicht ausgebildet sind. Diese Pipeline erzeugt in der Regel in 4-6 Wochen bereit für den Einsatz, anstatt in den 3-6 Monaten, die für nur sim-basierte Ansätze erforderlich sind.
# Beispiel Hybrid-Pipeline (pseudocode) # Phase 1: Sim-Vor-Training python train.py \ --data sim_dataset/ \ --epochs 100 \ --backbone resnet50 \ --domain-rand visual+physics \ --save checkpoint_sim.pt # Phase 2: Echtes Feintuning python train.py \ --data real_teleop_dataset/ \ --epochs 50 \ --backbone resnet50 \ --resume checkpoint_sim.pt \ --lr 1e-4 \ # lower LR für Feintuning --freeze-backbone 10 # freeze visual encoder für die ersten 10 # Phase 3: Evaluation python evaluate.
Für Teams, die heute mit der Erhebung echter Demonstrationsdaten beginnen möchten, bieten die [Daten-Sammlungsdienste] von RCSV geschulten Betreiber, kalibrierte Hardware und eine strukturierte Qualitätspipeline, damit Sie saubere, politisch präzise Daten erhalten, ohne die Infrastruktur selbst zu bauen. Pilotprojekte beginnen bei 2.500 USD für 200 Demonstrationen; komplette Kampagnen bei 8.000 USD für 1.000+ Demonstrationen mit Qualitätsgarantien.
Verwandte Lesungen
- [Roboter Training Datenführer]
- [Sim-to-Real-Transfer]
- [Verbreitungspolitik für Roboter]
- [Skalierung der Datenerhebungsteams]
- [Annotation der Roboterdaten]
- [VLA-Modelle erklärt]
- [Datendienste]
- Die Kommission hat die Kommission mit der Kommission übermittelt.
- [Glossar]
Beginnen Sie mit der Sammlung von echten Roboterdemonstrationen
RCSV bietet ausgebildete Betreiber, OpenArm 1-Hardware und eine vollwertige Qualitäts-Pipeline für die Demonstrationen-Roboter-Sammlung.
[Erforschung der Datendienste]