L'écart de réalité
Les politiques qui atteignent 95 % de réussite en simulation chutent souvent à 30 à 50 % dans le monde réel. Cet « écart de réalité » provient de différences visuelles (rendu par rapport aux images réelles), de différences physiques (inexactitudes du modèle de contact) et de modèles de bruit des capteurs. Combler systématiquement cet écart est l’une des compétences pratiques les plus importantes dans l’apprentissage des robots.
Trois stratégies
Randomisation du domaine : entraînez-vous sur de larges distributions de paramètres afin que le monde réel ne soit « qu'un autre échantillon ». Identification du système : mesurez et calibrez soigneusement les paramètres de simulation pour qu'ils correspondent à la réalité. Mise au point : entraînez-vous à la simulation, puis collectez un petit ensemble de données du monde réel (50 à 200 épisodes) et affinez. Les déploiements les plus réussis combinent les trois.
- Randomisation de domaine : idéale pour les politiques visuelles
- Identification du système : idéale pour les tâches riches en contacts
- Ajustement précis en situation réelle : améliore presque toujours les performances
- Recommandé : combiner les trois
Conseils pratiques
Commencez par MuJoCo ou Isaac Sim (les deux ont de bons modèles de contact). Randomisez de manière agressive la position de la caméra, l’éclairage et les textures des objets. Mesurez le frottement et l’amortissement réels des articulations. Validez la simulation en réalité sur une tâche simple avant de tenter des tâches complexes. SVRC fournit des modèles de simulation calibrés pour OpenArm.