Vertrieb kontaktieren
Zurück zu Blog

Der Sim-to-Real-Transfer erklärt: Die Realitätshintergrund, die Domänenanpassung und der Weg nach vorne

Ein tiefes Eintauchen in den sim-to-realen Transfer für Robotik: die Realitätshintergrund, Simulationstreue, Domaintappungsmethoden, die Geschichte der Durchbrüche und wohin sich das Feld im Jahr 2026 bewegt.

Roboter in Simulationen und auf echtem Hardware zu trainieren, ist eine der attraktivsten Ideen der Robotik -- unbegrenzte Daten, keine Hardwareverschleiß, parallelisiertes Training in Tausenden von Fällen. Aber die Lücke zwischen Simulation und Realität hat tiefe Wurzeln, und ihre Schließung erforderte Jahrzehnte Fortschritte in den Bereichen Physik, Rendering, Maschinelles Lernen und Systemidentifizierung. Dieser Artikel verfolgt die Geschichte, erklärt die Theorie und zeigt den Stand der Kunst.

Die Lücke zwischen der Realität: Warum Simulationen nicht Realität sind

Jeder Physik-Simulator macht Annäherungen. Die starre Körperdynamik wird mit Diskretzeitintegratoren modelliert, die numerische Fehler einführen. Kontaktkräfte werden mit Strafeverfahren oder Einschränkungslösern berechnet, die Artefakte erzeugen - Penetration, Nervenkitzel, unrealistische Wiederherstellung - die in der realen Welt kein Gegenstück haben. Die Eigenschaften des Materials (Friction, Steifheit, Dämpfung) werden als skalaren Parameter festgelegt, die komplexe, nichtlineare, staatsabhängige physikalische Phänomene vereinfachen. Aktuatoren werden als ideale Drehmomentquellen ohne Rückschlag, Kabelstrecke, thermische Drift oder Verschleiß modelliert.

Auf der visuellen Seite unterscheiden sich renderte Bilder von echten Kamerabildern in einer Weise, die für Menschen oft unsichtbar sind, aber für neuronale Netzwerke signifikant sind. Strahlverfolgten Schatten fehlen der subtilen Umgebungsklusion der realen Umgebungen. Die Materialreflektierung wird durch BRDF-Modelle annähernd erfasst, die nicht die volle Komplexität der realen Oberflächen erfassen können. Die Geräuschmodelle der Kameras entsprechen nicht perfekt den Geräuschmerkmalen der echten Sensoren.

Die Zusammensetzungseffekte dieser einzelnen Annäherungen schafft die Realitätshintergrundlage: Eine Politik, die eine 95%ige Erfolgsrate in der Simulation erreicht, kann auf 20% auf der realen Hardware sinken. Die Lücke ist nicht eine einzige Sache - es ist der kumulierte Effekt von Dutzenden von kleinen Missverhältnissen zwischen Dynamik, Sensing und Kontrolle.

Eine kurze Geschichte der Sim-to-Real-Forschung

Sim-to-Real-Transfer ist seit den frühen Tagen des Roboterlernens ein Forschungsthema. In den 1990er und 2000er Jahren demonstrierten Teams der Universität Südkalifornien und des Deutschen Luft- und Raumfahrtzentrums den Übergang einfacher politischer Anschlüsse von Simulationen zu echten Robotern, aber die Ergebnisse beschränkten sich auf Aufgaben, bei denen präzise Physikmodellierung nicht kritisch war.

Das Feld machte einen großen Schritt vorwärts im Jahr 2017, als OpenAI eine Domänenrandomisierung für eine robotische, geschickte Manipulations-Tasche demonstrierte - eine Politik zur Neuausrichtung eines Blocks mit einer Schattenhand vollständig in Simulation und zur Bereitstellung auf echter Hardware. Die Schlüsselinnovation war die Randomisierung von Simulationsparametern (Friction, Masse, Aktorengewinn, visuelles Aussehen) über einen so breiten Bereich, dass die reale Welt nur eine weitere Probe aus der Trainingsverteilung wurde. Diese Arbeit, die als "Domänen-Randomisierung for Transferring Deep Neural Networks from Simulation to the Real World" von Tobin et al. veröffentlicht wurde, etablierte die Domänenrandomization als Standardansatz für die nächsten Jahre.

2019 erweiterte OpenAI diesen Ansatz auf die komplexere Aufgabe, einen Rubik-Kub mit einer geschickten Hand zu lösen - eine der meist zitierten Demonstrationen des Sim-to-Real-Transfers. Das Training verwendete Milliarden von Simulationsschritten mit einer umfangreichen Domänenrandomisierung, automatischer Domänenrandomisierung (ADR), die die Randomisierungsbereiche während des Trainings progressiv erweiterte, und einer Lehrer-Schüler-Architektur mit privilegierten Informationen.

Von 2020 bis 2024 erzielte die Beinroboter-Community mit Sim-to-Real-Transfer den konsequentesten praktischen Erfolg. Gruppen an der ETH Zürich (ANYmal), MIT, Carnegie Mellon und kommerziellen Unternehmen wie Unitree und Agility Robotics demonstrierten Richtlinien, die vollständig in Simulation ausgebildet wurden und robuste Bewegungen auf echten Vierfuß- und Zweifügen auf unterschiedlichem Gelände durchführten. Diese Erfolge beruhten auf privilegierter Informationsschulung, sorgfältiger Systemidentifizierung und der Tatsache, dass die Lokomotionsdynamik durch Standard-Simulatoren für starre Körpermodelle gut modelliert wird.

Simulationstreue

Simulationsfidelität existiert auf einem Spektrum, und das Verständnis, wo Ihr Simulator fällt, ist wichtig, um vorherzusagen, wie schwierig der Transfer sein wird:

Low fidelity Simulationen verwenden vereinfachte Dynamik (Punktmassenmodelle, nur kinematische Modelle) und grundlegende Rendering (feste Farben, keine Schatten). Diese sind nützlich für die Entwicklung und Prüfung von Algorithmen, produzieren jedoch selten übertragbare Richtlinien.

** Medium fidelity** Simulationen verwenden eine genaue, starre Körperdynamik mit abgestimmten Kontaktparametern und einer vernünftigen (aber nicht fotorealistischen) Darstellung. Beispiele: gut konfigurierte MuJoCo-Umgebungen mit systemgenauerten Parametern, Genesis-Umgebungen mit kalibrierter Physik.

High-Fidelity Simulationen zielen auf eine minimale Sim-to-Real-Lücken durch präzise Physik-Modellierung, fotorealistische Rendern und detaillierte Sensorsimulation. Das Ziel ist es, die Simulation so genau zu machen, dass die Lücke klein genug ist, um ohne Domänen-Randomisierung zu überqueren. Beispiele: NVIDIA Isaac Sim mit kalibrierten Assets, benutzerdefinierte Simulatoren mit validierten Kontaktmodellen. Die Hoch-Fidelity-Simulation reduziert die Notwendigkeit einer Domänen-Randomisierung, erfordert aber erhebliche Ingenieurinvestitionen in die Vermögenswertenbildung und die Physikkalibrierung.

In der Praxis ist die Medium-Fidelity-Simulation mit Domänen-Randomisierung der Ansatz mit dem besten Kosten-Leistungs-Kompromiss für die meisten Aufgaben.

Methoden zur Anpassung der Domänen

Domain-Randomisierung (DR) bleibt der dominierende Ansatz. Der Kernbewusstsein: Wenn die reale Welt innerhalb der Randomisierungsabteilung liegt, muss die Politik robust für reale Bedingungen sein. DR ist effektiv, einfach umzusetzen und erfordert keine realen Daten. Seine Einschränkung ist, dass eine sehr große Randomisierung das Lernproblem erschwert und die Höchstleistung reduzieren kann - die Politik muss robust zu Bedingungen sein, die sie nie begegnen wird, was ihre Fähigkeit einschränkt, die spezifischen Bedingungen auszunutzen, denen sie begegnet.

**Systemidentifizierung (SysID) ** nimmt den entgegengesetzten Ansatz ein: Statt Parameter zu randomisieren, messen Sie sie genau und stellen Sie die Simulation auf die Realität ein. Die Begrenzung ist, dass die perfekte Systemidentifizierung unpraktisch ist - manche Parameter sind schwierig oder unmöglich zu messen, und die Bedingungen in der realen Welt ändern sich im Laufe der Zeit.

Domain-Adaption verwendet maschinelles Lernen, um Simulationsbeobachtungen so zu verändern, dass sie wie echte Beobachtungen aussehen (oder umgekehrt), in der Regel mit generativen Gegensatznetzen (GAN) oder Variationsautocoderern (VAE). Die Einschränkung ist, dass die Anpassung der Domäne die Komplexität des Modells hinzufügt und Artefakte einführen kann.

Sim-to-Real-Feinabstimmung schult den Großteil der Politik in der Simulation und passt dann auf eine kleine Menge an echten Daten auf. Dies kombiniert die Dateneffizienz der Simulation mit der Treue der realen Interaktion. Die Fein-Tuning mit 50 bis 200 echten Demonstrationen nach der Simulation ist häufig besser als das sim-only und real-only Training.

**Privilegierte Informationen (Lehrer-Student) ** schulen eine Lehrerpolitik mit Zugang zu einem Grund-Wahrheit-Simulationszustand, distillt dann ihr Verhalten in einen Schüler, der nur die auf der realen Hardware verfügbaren Beobachtungen verwendet. Dies liefert ein stärkeres Trainingssignal als nur Belohnung und ist der Standardansatz für den Bewegungsübertrag geworden. Die Wirksamkeit der Destillation steigt, da bessere Destillationstechniken entstehen.

Domänenrandomisierung in der Praxis: Was zu randomisieren

Die Randomisierung von Domänen ist in ihrem Konzept einfach, erfordert aber sorgfältige Entscheidungen darüber, welche Parameter zu randomisieren sind und über welchen Bereich.

Visuelle Randomisierung

Parameter Randomization Range Impact on Transfer
Object textures and colors Random RGB values, random textures from ImageNet crops High — prevents color-based overfitting
Lighting direction and intensity 1-4 point lights, random position on hemisphere, 0.3-3.0x intensity High — shadow patterns differ between sim and real
Camera position perturbation +/- 2cm translation, +/- 3 degrees rotation Medium — handles calibration error
Background texture Random crops from texture datasets Medium — table and background appearance varies
Camera noise model Gaussian noise sigma 0-10, random cutout patches Low-Medium — real cameras are noisy

Physische Zufall

Parameter Typical Range Critical For
Object mass 0.5x-2.0x nominal Grasping force, lifting dynamics
Friction coefficient 0.2-1.2 (uniform) Grasp stability, sliding tasks
Aktuator gains (Kp, Kd) 0.8x-1.2x nominal Joint tracking accuracy
Action delay 0-40ms random Communication latency mismatch
Joint damping 0.5x-2.0x nominal Arm dynamics accuracy
Contact stiffness 1e3-1e5 N/m Contact dynamics fidelity

Simulator Vergleich: IsaacSim vs. MuJoCo vs. Genesis

Feature NVIDIA IsaacSim/Lab MuJoCo (DeepMind) Genesis
License Free (NVIDIA Omniverse) Apache 2.0 Apache 2.0
GPU parallelization 4,096+ envs on A100 256-512 (MJX on GPU) 10,000+ envs on single GPU
Rendering quality Photorealistic (ray-traced) Basic (OpenGL rasterizer) Good (differentiable renderer)
Contact physics PhysX (good rigid body) Best-in-class contact solver Good (differentiable)
Differentiable Partial Yes (MJX) Yes (full pipeline)
Deformable objects FEM soft body, cloth Basic tendon/muscle model MPM, SPH, FEM
Community/ecosystem Large (NVIDIA-backed) Largest (research standard) Growing (open-source)
Best for Visual policies, industrial sim Locomotion, contact-rich tasks Differentiable sim, soft body

RCSVs RL-Umgebungsservice bietet vorkonfigurierte MuJoCo- und Isaac Lab-Umgebungen, die auf spezifische Hardware-Plattformen kalibriert sind einschließlich der [OpenArm 1]T1), [ALOHA]T2) und Unitree G1. Systemidentifizierte Parameter sind enthalten, so dass Ihre Simulation von Tag zu Tag mit unserer physischen Hardware übereinstimmt.

Die Messung der Domänenlücke: quantitativen Methoden

Bevor Sie in die Anpassung der Domänen investieren, messen Sie die Lücke quantitativ.

Verteilungsschichtmetriken: 100 Episoden der gleichen Aufgabe in Simulation und auf realer Hardware aufzeichnen. Berechnen Sie den Frechet-Distanz zwischen den Bildfunktionsverteilungen (mit Hilfe eines gefrorenen DINOv2-Rückgrates) und den Aktionsbahnverteilungen (mit Hilfe der DTW-Distanz). Eine visuelle Frechet-Distanz unter 50 zeigt typischerweise eine überbrückbare Lücke an; über 200 deutet auf eine grundlegende visuelle Diskrepanz hin.

Politikübertragungstest: Eine Politik auszubilden, rein in Simulation, auf echte Hardware zu implementieren und die Erfolgsrate zu messen. Für eine gut kalibrierte Simulation mit Domänenrandomisierung erwarten Sie folgende Lücken nach Aufgabenart:

  • Beförderung auf flachem Boden: 5-15% (sim 95% → real 80-90%)
  • Starrer Ort der Auswahl von Objekten: 15-30% Lücke (Sim 90% → reelle 60-75%)
  • Präzisionsinsertung (±1 mm): 30-50% Lücke (sim 85% → real 35-55%)
  • Verformbare Objekte: 40-60% Lücke (sim 80% → real 20-40%)

Neuere Sim-to-Real-Ergebnisse: Was funktioniert eigentlich

Die folgenden Ergebnisse stammen aus veröffentlichten Arbeiten und internen Prüfungen des RCSV, die den Stand der Praxis in den Jahren 2025-2026 darstellen:

DexPBT (NVIDIA, 2023): Bevölkerungsbasierte Ausbildung in IsaacGym für geschickte Manipulation. Allegro Hand ausgebildet, um verschiedene Objekte neu zu orientieren. Sim-zu-Real-Erfolgsrate: 78% auf bekannten Objekten, 45% auf neuartigen Objekten. Schlüsseltechnik: massive Domänen-Randomisierung über 4.096 parallele Umgebungen.

DexMV (UC San Diego, 2023): Verwendet menschliche Hand-Video-Demonstrationen, um RL-Training in der Simulation für geschickte Manipulation zu leiten.

Lokomotionsübertragung (ETH Zürich/Unitree, 2024-2025): Sim-trainierte Lokomotionspolitik für Go2 quadruped erzielen 95%+ Erfolg auf flachem Gelände, 85% auf gemäßigtem Gelände, 70% auf anspruchsvollem Gelände.

Hybrid sim-real für Manipulation (Physical Intelligence, 2025): pi0 verwendet Simulation für das Vor-Training großer motorischer Fähigkeiten, dann Fein-Tuning auf 50-200 echte Demonstrationen pro Aufgabe. Dieser hybride Ansatz erzielt höhere Erfolgsraten als entweder nur sim-oder nur real-training, mit 5-10x Verringerung der realen Datenanforderungen im Vergleich zu nur real.

Wenn Sim-to-Real funktioniert und wenn nicht

Sim-to-Real funktioniert gut für:

  • Beförderung und Navigation (die starre Körperdynamik ist gut modelliert)
  • Bewegungsplanung des Arms im freien Raum (Kinematikübertragung perfekt)
  • Starr Objektgreifen mit Domänen-Randomisierung (Gap ist überbrückbar)
  • Vorbildung mit dem Grundmodell (Visuelle Lücke ist abgezogen)
  • Grobes Verhalten-Initialisierung vor der Fein-Tuning-Real-Daten

Sim-to-Real-Kampf mit:

  • Verformbare Objekte (Kleidung, Kabel, Nahrung) Physik zu komplex, um genau zu modellieren
  • Präzisionsmontage mit engen Toleranzen (Unvereinbarkeit mit dem Kontaktmodell ist tödlich)
  • Werkzeugverwendung mit komplexer Kontaktdynamik (Schrauben, Schneiden, Wischen)
  • Aufgaben abhängig von den Eigenschaften des Materials (Friction, Steifheit, Oberflächenstruktur)
  • Multi-Objekt-Interaktion mit komplexen Kontaktgraphen

Der Stand der Technik im Jahr 2026

Mehrere Trends definieren die Sim-to-Real-Landschaft im Jahr 2026:

GPU-beschleunigte Simulation im Maßstab. NVIDIA Isaac Sim und verwandte Tools ermöglichen das Training mit Tausenden von Parallelumgebungen auf einem einzigen GPU-Cluster. Dies hat das Verstärken des Lernens in der Simulation für Aufgaben, die zuvor verbotene Rechen erforderlich gemacht haben, praktisch gemacht.

Differentierbare Simulation. Simulatoren wie Genesis und Brax unterstützen Gradientrechnung durch die Physikmotor, die Gradient-basierte Optimierung für Systemidentifizierung, Trajektorienoptimierung und politisches Lernen ermöglicht.

Generative Simulation. Große generative Modelle werden verwendet, um realistische synthetische Trainingsdaten zu erstellen - fotorealistische Rendern mit verschiedenen Objekten, Texturen und Lichtbedingungen - die die physikalisch basierende Simulation ergänzen. Unternehmen wie 1X Technologies und Physical Intelligence haben gezeigt, dass die Erweiterung von generativen Daten die politische Leistung in der realen Welt erheblich verbessert.

Integration von Grundlagenmodellen. Sim-trainierte Strategien verwenden zunehmend Grundlagenmodell-Visuellebänke (DINOv2, SigLIP), die auf Internet-Skala-Daten vortrainiert werden.

Hybrid sim-real-pipelines. Die erfolgreichsten Teams im Jahr 2026 behandeln sim-to-real nicht als binäre Wahl. Sie verwenden Simulation für die anfängliche Politikbildung, Systemidentifizierung zur Kalibrierung der Simulation, Domänenrandomisierung zur Bewältigung der Restunsicherheit und eine kleine Menge an echten Daten für die endgültige Feinschaltung. Dieser hybride Ansatz erzeugt konsequent die besten Ergebnisse über Aufgabenarten hinweg.

Was Sie für eine Methode auswählen

Bei Lokomotions- und Navigationsarbeiten ist die Simulation mit privilegiertem Informationstraining und Domänen-Randomisierung der klare Gewinner. Die Dynamik ist gut modelliert, der Ansatz wird von mehreren Gruppen validiert und die nahezu simulierte Leistung auf der realen Hardware ist erreichbar.

Für die starre Objektmanipulation (Pick-and-Place, Pushing, Basic Assembly) funktioniert der Hybridansatz am besten: Simulation-Vor-Training mit Domänen-Randomisierung, gefolgt von Fein-Tuning auf 50-200 echten Demonstrationen.

Für präzise Aufgaben mit Kontakt- und verformbare Objekte priorisieren Sie die Echtdatenerhebung. Die Sim-zu-Echt-Lücken für diese Aufgaben sind groß und schwer mit den aktuellen Domainanpassungsmethoden zu verbinden. RCSVs Datendienste können eine große Datenerhebung für diese herausfordernden Aufgabenbereiche mit Pilotprogrammen ab 2.500 US-Dollar für 200 Demonstrationen bewältigen.

Für Teams, die mit [RCSV-Hardware] (OpenArm 1, DK1, Unitree G1) arbeiten, bietet unser [RL-Umgebungsdienst] (T6) vorkalibrierte Simulationsumgebungen, die den Anstrengung zur Systemidentifizierung um Wochen reduzieren.

Verwandte Lesungen