Die Realitätslücke
Richtlinien, die in der Simulation einen Erfolg von 95 % erzielen, sinken in der realen Welt oft auf 30–50 %. Diese „Realitätslücke“ ist auf visuelle Unterschiede (Rendering vs. reale Bilder), physikalische Unterschiede (Ungenauigkeiten des Kontaktmodells) und Sensorrauschmuster zurückzuführen. Diese Lücke systematisch zu schließen, ist eine der wichtigsten praktischen Fähigkeiten beim Roboterlernen.
Drei Strategien
Domänen-Randomisierung: Trainieren Sie über breite Parameterverteilungen, sodass die reale Welt „nur eine weitere Stichprobe“ ist. Systemidentifikation: Simulationsparameter sorgfältig messen und kalibrieren, um sie an die Realität anzupassen. Feinabstimmung: Trainieren Sie in der Simulation, sammeln Sie dann einen kleinen Datensatz aus der realen Welt (50–200 Episoden) und nehmen Sie die Feinabstimmung vor. Die erfolgreichsten Bereitstellungen kombinieren alle drei.
- Domänen-Randomisierung: am besten für visuelle Richtlinien geeignet
- Systemidentifikation: am besten für kontaktreiche Aufgaben geeignet
- Feinabstimmung in der Praxis: Verbessert fast immer die Leistung
- Empfehlung: Alle drei kombinieren
Praktische Tipps
Beginnen Sie mit MuJoCo oder Isaac Sim (beide haben gute Kontaktmodelle). Passen Sie Kameraposition, Beleuchtung und Objekttexturen aggressiv zufällig an. Messen Sie die reale Gelenkreibung und -dämpfung. Validieren Sie Sim-to-Real bei einer einfachen Aufgabe, bevor Sie komplexe Aufgaben in Angriff nehmen. SVRC stellt kalibrierte Simulationsmodelle für OpenArm bereit.