Vertrieb kontaktieren
Zurück zu Research

Sim-Real-Transfer für Manipulation: Was funktioniert 2025

Der aktuelle Zustand des Sim-to-Real-Transfers für Robotermanipulation <unk> Domänenrandomisierung, Dynamikrandomisierung und hybride Ansätze, die tatsächlich funktionieren.

[← Forschung]

Eine ehrliche Bewertung, wo Sim-to-Real-Transfer funktioniert, wo es immer noch fehlt, und wie eine kostengünstige Hybrid-SIM+Real-Daten-Strategie aufgebaut werden kann.

Die Lücke zwischen Sim und Real

Simulation ist für Roboterlernen attraktiv: sie ist billig, parallelisierbar und risikofrei. Aber die Sim-zu-Reale-Lücken der Unterschied zwischen simulierter und realer Physik und Wahrnehmung hat die praktische Nutzung der Simulation für Manipulation auf ein engeres Set von Szenarien beschränkt, als die Forschungsliteratur manchmal vorschlägt.

Die Lücke besteht aus drei verschiedenen Quellen, die jeweils verschiedene Minderungsstrategien erfordern:

  • Visuelle Lücke: Simulierte Bilder verwenden rasterisierte Texturen, synthetische Beleuchtung und idealisierte Material Eigenschaften.
  • ** Dynamiklücken:** Die Simulatoren mit starkem Körper (MuJoCo, Isaac Lab, PyBullet) verwenden vereinfachte Kontaktmodelle, die Realitätsausspaltung, Konformität und Kontaktdynamik nicht genau erfassen.
  • ** Sensor-Läuschlücke:** Real-Depth-Kameras (RealSense D435i, ZED 2) erzeugen strukturiertes Lärm, Ausfälle auf glänzenden/dunklen Oberflächen und zeitliche Flickern, die in der Simulation schwer reproduziert werden können.

Domänenzuordnung

Die Domänen-Randomisierung (DR) behebt die visuellen und dynamischen Lücken durch die Ausbildung der Politik auf einer großen Verteilung simulierter Umgebungen, in der Hoffnung, dass die reale Welt in diese Verteilung fällt.

  • Visual DR: Randomisieren Sie Objekte (einheitlicher Farbgeräusch, zufällige ImageNet-Texturen), Beleuchtung (zufällige Positionen, Farben, Intensitäten), Hintergrund (zufällige Bilder aus Webdaten-Sets) und Kamera-Pose (kleine Störungen um die Nennwerte). Standardbereiche: Beleuchtungsintensität ±50%, Kameraposition ±3 cm, Hintergrund: zufällige 10K-Bilder.
  • ** Dynamik DR:** Randomisieren Sie die Masse des Objekts (± 30% der nominalen), die Reibungskoeffizienten (± 50%), die Dämpfung der Robotergelenke (± 20%) und die Kontaktstiffheit (± 40%). Diese Bereiche werden empirisch festgestellt zu breit und die Politik wird zu konservativ; zu eng und überschreitet die nominelle Simulation.
  • Massenrandomisierung für greifbare Aufgaben: Eine Massenstörung von ±30% reicht für die meisten Aufgaben der greifbaren Körperstörung aus. Für Aufgaben, die an Trägheit (Werfen, dynamische Manipulation) sensibel sind, ist ±20% Masse in Kombination mit ±30% Trägheits-Tensorrandomisierung geeigneter.

Fotorealistische Darstellung

Eine Alternative zu DR ist die Schließung der visuellen Lücke direkt mit photorealistischem Rendering. NVIDIA Replicator (in Isaac Sim), Blender mit Zyklen und benutzerdefinierte NeRF-basierte Renderer können Bilder genügend nahe an real erzeugen, dass die Politik nicht über eine große Verteilung zu verallgemeinern braucht.

  • NVIDIA Isaac Lab / Replikator: Path-traced rendering mit PBR-Materialien. Integration mit Isaac Lab RL-Framework. Rendering-Kosten: 10100x langsamer als Rasterisierung. Am besten für die Erstellung von Bewertungsbildern als für große Trainingssätze.
  • BlenderProc: Python-basierte Blender-Pipeline für die Datensatzgenerierung. Ausgezeichnet für die Generierung gekennzeichneter synthetischer Datensätze für Wahrnehmungsmodelle (Objektdetektion, Posenbewertung).
  • NeRF-basierte Rendering: Die reale Umgebung mit einem NeRF (nerfstudio, Gaußsches Splatting) erfassen und neue Sichtpunkte/Konfigurationen darstellen. Realistisches Aussehen in der realen Welt mit der Flexibilität der Simulation kombiniert.

Was die Wohlfahrt gegen die Arme verändert

Task Category Sim-to-Real-Transfer Why Mitigation If Needed
Free-space arm motion Excellent No contact, kinematics accurate None required
Coarse top-down grasping Good Large contact surfaces, forgiving Light visual DR
Pick-and-place (rigid, known objects) Good Low contact complexity Visual DR + pose randomization
Präzision peg insertion (±2mm) Poor Contact model inaccuracy dominates Real data required
Deformable object manipulation Very poor FEM simulation errors large Mostly real data required
Bimanual coordination Moderate Timing depends on contact Hybrid: sim init + real fine-tune
Cloth/fabric folding Very poor Soft-body sim diverges quickly Real data required

Hybrid-Ansätze, die wirksam sind

Der kostengünstigste Ansatz für die meisten Teams ist eine Hybrid-Anwendung: Simulation für den Teil der Aufgabe, in dem Sim-Transfer funktioniert, und die Sammlung von echten Demonstrationen für die kontaktreichen oder präzise Empfindlichen Teile.

  • **Sim-Vortraining + Real-Feinabstimmung:**Fine-Train-Politik auf 10.000 simulierten Demonstrationen des ungefährigen Aufgabenverhaltens (Ansatz, grobe Anhalte).
  • Sim für den Lehrplan: Simulation zur Erstellung einfacher Trainingsbeispiele am Anfang der Ausbildung (objekt direkt unter Griff, große Toleranz) und zur schrittweisen Erhöhung der Schwierigkeiten.
  • Sim für Datenvergrößerung: Simulation zur Erstellung zusätzlicher Sichtpunkte, Lichtbedingungen und Objekteinrichtungen, die einen echten Demonstrationsdatensatz ergänzen.

Simulationsvergleich

Simulator Physik-Engine Rendering Speed (FPS) Best For
Isaac Lab (NVIDIA) PhysX 5 RTX path-tracing 1,000–10,000 parallel RL at scale, GPU clusters
MuJoCo Custom Basic OpenGL 500–5,000 Research, accurate contact
PyBullet Bullet 3 Basic OpenGL 100–1,000 Easy setup, prototyping
Webots ODE Basic 100–500 Education, ROS integration
Gazebo / gz-sim ODE/Bullet/DART OGRE 50–200 ROS ecosystem integration

Für Teams, die RL-Training durchführen, das Millionen von Umgebungsschritten erfordert, ist Isaac Lab auf einem Multi-GPU-Cluster der aktuelle Standard.

Wenn Sie echte Demonstrationsdaten benötigen, um Ihr Simulationsprogramm zu ergänzen, kann das RCSV [Datendienstleistungsteam]T1) eine gezielte Datenerhebungskampagne für die Teile Ihrer Aufgabe ausrichten, in denen die Simulation fehlschlägt.

Echte Demonstrationsdaten für Sim-to-Real-Lücken

Wenn Simulationen nicht ausreichen, liefert RCSV gezielte Demonstrationsdaten-Sammlung aus der realen Welt, um die Lücken zu füllen.

[Erhalten Sie echte Daten →]