현실의 격차
시뮬레이션에서 95% 성공을 달성한 정책은 실제 세계에서는 30~50%로 떨어지는 경우가 많습니다. 이러한 "현실 격차"는 시각적 차이(렌더링과 실제 이미지), 물리적 차이(접촉 모델의 부정확성) 및 센서 노이즈 패턴에서 비롯됩니다. 이러한 격차를 체계적으로 메우는 것은 로봇 학습에서 가장 중요한 실무 기술 중 하나입니다.
세 가지 전략
도메인 무작위화: 실제 세계가 "단지 또 다른 샘플"이 되도록 광범위한 매개변수 분포에 걸쳐 훈련합니다. 시스템 식별: 현실과 일치하도록 시뮬레이션 매개변수를 신중하게 측정하고 보정합니다. 미세 조정: 시뮬레이션으로 훈련한 다음 소규모 실제 데이터 세트(50~200개 에피소드)를 수집하고 미세 조정합니다. 가장 성공적인 배포는 세 가지를 모두 결합합니다.
- 도메인 무작위화: 시각적 정책에 가장 적합
- 시스템 식별: 접촉이 많은 작업에 가장 적합
- 실제 미세 조정: 거의 항상 성능이 향상됩니다.
- 권장사항: 세 가지를 모두 결합하세요.
실용적인 팁
MuJoCo나 Isaac Sim으로 시작하세요(둘 다 좋은 접촉 모델을 가지고 있습니다). 카메라 위치, 조명, 개체 텍스처를 공격적으로 무작위화합니다. 실제 관절 마찰과 감쇠를 측정합니다. 복잡한 작업을 시도하기 전에 간단한 작업에서 시뮬레이션과 실제를 검증하세요. SVRC는 OpenArm에 대해 보정된 시뮬레이션 모델을 제공합니다.