La brecha de realidad
Las políticas que logran un 95% de éxito en simulación a menudo caen al 30-50% en el mundo real. Esta "brecha de realidad" proviene de diferencias visuales (renderizado vs imágenes reales), diferencias físicas (inexactitudes en el modelo de contacto) y patrones de ruido de sensores. Superar esta brecha de manera sistemática es una de las habilidades prácticas más importantes en el aprendizaje de robots.
Tres estrategias
Aleatorización de dominio: entrenar a través de amplias distribuciones de parámetros para que el mundo real sea "solo otra muestra". Identificación de sistemas: medir y calibrar cuidadosamente los parámetros de simulación para que coincidan con la realidad. Ajuste fino: entrenar en simulación, luego recopilar un pequeño conjunto de datos del mundo real (50-200 episodios) y ajustar. La mayoría de los despliegues exitosos combinan las tres.
- Aleatorización de dominio: mejor para políticas visuales
- Identificación de sistemas: mejor para tareas ricas en contacto
- Ajuste fino en el mundo real: casi siempre mejora el rendimiento
- Recomendado: combinar las tres
Consejos Prácticos
Comienza con MuJoCo o Isaac Sim (ambos tienen buenos modelos de contacto). Aleatoriza la posición de la cámara, la iluminación y las texturas de los objetos de manera agresiva. Mide la fricción y el amortiguamiento de las juntas reales. Valida la simulación a la realidad en una tarea simple antes de intentar tareas complejas. SVRC proporciona modelos de simulación calibrados para OpenArm.