Transfert Sim-to-Real : Comment former des robots à la simulation et les déployer dans le monde réel

Pourquoi le Sim-to-Real est difficile

Les simulateurs sont des approximations de la réalité. Quelle que soit la sophistication du moteur physique, il existe des lacunes : la dynamique de contact diffère entre la simulation et les matériaux élastomères réels, le frottement et le jeu des actionneurs sont difficiles à modéliser avec précision, le rendu de la caméra diffère de l'optique réelle et des détails subtils comme la résistance de l'air, la dilatation thermique et le bruit du capteur sont souvent ignorés ou simplifiés. Lorsqu’une politique formée à la simulation est déployée sur du matériel réel, elle rencontre des entrées sensorielles et des réponses physiques qui se situent en dehors de sa distribution de formation – et elle échoue.

La gravité de l’écart entre la simulation et la réalité dépend de la tâche. La locomotion pure sur des surfaces planes a été transférée avec succès du simulateur au réel avec des résultats impressionnants (voir Boston Dynamics, le travail ANYmal de l'ETH Zurich et les expériences Rubik's cube d'OpenAI). Les manipulations fines – en particulier les tâches impliquant un contact avec des objets déformables – restent beaucoup plus difficiles car la physique du contact est à la fois essentielle à la réussite de la tâche et difficile à simuler fidèlement.

Randomisation de domaine

La randomisation de domaine (DR) est la technique la plus largement utilisée pour combler le fossé entre la simulation et le réel. L'idée centrale : si vous vous entraînez sur un large éventail de paramètres de simulation aléatoires (coefficients de friction variables, masses d'objets, gains des actionneurs, conditions d'éclairage et propriétés de la caméra), le monde réel ne devient qu'un autre échantillon de cette distribution. Une politique formée avec une DR large ne peut pas exploiter la physique précise d’une seule configuration de simulateur et est donc obligée de développer des représentations plus robustes.

Une DR efficace nécessite de randomiser les bons paramètres. Tout randomiser uniformément est souvent contre-productif : cela rend le problème d'apprentissage plus difficile sans nécessairement combler les lacunes spécifiques qui sont importantes pour votre tâche. Profilez empiriquement votre écart entre la simulation et le réel : exécutez votre politique sur du matériel réel, identifiez les modes de défaillance, puis ciblez votre randomisation sur les paramètres de simulation les plus susceptibles de provoquer ces défaillances. Pour les tâches de manipulation, la rigidité de contact, la friction et la masse de l'objet sont généralement les axes de randomisation les plus efficaces.

Fidélité physique et choix du simulateur

Depuis 2026, NVIDIA Isaac Sim (construit sur PhysX 5 et désormais intégré à Omniverse) est le premier choix pour la simulation de robots haute fidélité. Son moteur physique accéléré par GPU permet des milliers d'instances de simulation parallèles, rendant l'apprentissage par renforcement réalisable même pour des tâches complexes. La qualité de rendu d'Isaac Sim est également suffisamment élevée pour que les politiques visuelles entraînées sur les images rendues puissent être transférées vers de vraies caméras avec une randomisation de domaine modeste.

MuJoCo reste largement utilisé pour la recherche en raison de sa physique de contact rapide et précise et de son vaste écosystème d'environnements prédéfinis. C'est le choix standard pour la recherche sur les manipulations qui ne nécessite pas de rendu photoréaliste. PyBullet est plus facile à configurer mais d'une fidélité moindre, adapté au prototypage rapide. L'intégration Gazebo/ROS est bien établie, mais la qualité physique est généralement inférieure à celle des simulateurs spécialisés pour la recherche sur la manipulation.

Approches réussies en 2026

Plusieurs approches ont démontré un transfert fiable de la simulation au réel en 2026. La simulation au réel pour la locomotion utilisant des informations privilégiées pendant la formation (apprendre d'une politique d'enseignant qui a accès à l'état physique de la vérité sur le terrain, puis distiller une politique d'étudiant en utilisant uniquement des observations de capteurs) est devenue l'approche standard pour les robots à pattes, atteignant des performances proches de la simulation sur du matériel réel. Pour la manipulation, la combinaison d’une pré-formation par simulation avec un petit nombre de démonstrations réelles – souvent entre 10 et 50 – s’est révélée très efficace : la politique de simulation apprend un bon comportement préalable et les démonstrations réelles l’ajustent pour combler les lacunes spécifiques.

La simulation générative — utilisant de grands modèles génératifs pour créer des données d'entraînement synthétiques réalistes, notamment des rendus photoréalistes et diverses configurations d'objets — est devenue un complément puissant à la simulation basée sur la physique. Des entreprises comme 1X Technologies et Physical Intelligence ont publié des résultats montrant que l’augmentation des données génératives améliore considérablement les performances politiques dans le monde réel.

Conseils pratiques pour votre projet

Commencez par quantifier votre écart entre la simulation et la réalité avant d'investir dans une formation par simulation. Exécutez votre politique formée par simulation sur du matériel réel pendant 10 essais et enregistrez les modes de défaillance. Si les échecs sont principalement visuels (la stratégie ne peut pas percevoir correctement les objets), concentrez-vous sur la fidélité du rendu et la randomisation du domaine visuel. Si les défaillances sont dynamiques (la politique peut percevoir correctement mais prend de mauvaises actions), concentrez-vous sur la modélisation des actionneurs et la physique des contacts. Si les échecs sont mitigés, vous bénéficierez peut-être davantage de la collecte de démonstrations réelles que de l'amélioration de votre simulateur.

Pour la plupart des tâches de manipulation en 2026, SVRC recommande une approche hybride : utilisez la simulation pour générer diverses données de pré-entraînement et une initialisation comportementale approximative, puis collectez 50 à 200 démonstrations réelles à l'aide de notre services de données pour un réglage fin. Cela vous donne la couverture de la simulation avec la fidélité des données du monde réel. Pour que le matériel puisse exécuter des évaluations réelles, parcourez notre catalogue de matériel ou louer un robot pour votre période pilote.