조작을 위한 시프-투-리얼 전송: 2025년에 어떤 것이 작동할 것인가

[← 연구]

시미-리얼 전송이 어디 작동하는지, 아직 실패하고 있는지, 그리고 비용 효율적인 하이브리드 시미+리얼 데이터 전략을 어떻게 구축할 것인지에 대한 정직한 평가.

시미와 실제 사이의 격차

시뮬레이션은 로봇 학습에 유치할 수 있습니다. 그것은 저렴하고 병렬화 가능하며 위험도 없습니다. 그러나 시뮬레이션과 실제 물리학과 인식의 차이 시뮬레이션의 실용적 활용도는 때때로 연구 문헌에서 제안하는 것보다 좁은 시나리오에 제한되어 있습니다.

이 격차는 세 가지 다른 원천을 가지고 있으며, 각 하나는 다른 완화 전략을 필요로 합니다.

• ** 시각 격차:** 시뮬레이션된 이미지는 라스터리 된 텍스처, 합성 조명 및 이상화된 재료 특성을 사용합니다. 실제 이미지는 복잡한 글로벌 조명, 유관 반사, 먼지, 움직임 흐릿함 및 심뮬레이터에서 정확하게 재생하지 못하는 깊이 소음을 가지고 있습니다.
• 역학 격차: 단단한 체 시뮬레이터 (MuJoCo, Isaac Lab, PyBullet) 는 실제 세계 마찰, 준수 및 접촉 역학을 정확하게 파악하지 못하는 단순화된 접촉 모델을 사용합니다. 이 격차는 접촉 부가 많은 조작 작업 ( 삽입, 조립, 변형 가능한 물체 처리) 에서 가장 심각합니다.
• ** 센서 잡음 격차:** 실제 깊이 카메라 (RealSense D435i, ZED 2) 는 구조화된 잡음, 빛나는/ 어두운 표면에서 떨어지는 것, 시뮬레이션에서 재현하기 어려운 시간적 깜빡이는 것을 생성한다. RGB 카메라는 고정 패턴 잡음, 렌즈 왜곡 및 ISP 유물들을 가지고 있다.

도메인 무작위화

도메인 무작위화 (DR) 는 시뮬레이션 환경의 큰 분포에 대한 정책을 훈련함으로써 시각 및 역학 격차를 해결하고 있으며 실제 세계가 이러한 분포에 속한다고 기대합니다. 정책은 단일 시뮬레이션 환경을 기억하는 것보다 무작위 요소를 일반화하는 법을 배워야합니다.

• 비주얼 DR: 객체 텍스처 (일본색 노이즈, 무작위 이미지네트 텍스처), 조명 ( 무작위 위치, 색상, 강도), 배경 (웹 데이터 세트에서 무작위 이미지) 및 카메라 포즈 (명칭 주위의 작은 혼란) 를 무작위화하십시오. 표준 범위: 조명 강도 ±50%, 카메라 위치 ±3cm, 배경: 무작위 10K 이미지.
• 동화 DR: 객체 질량 (±30%의 명칭), 마찰 계수 (±50%), 로봇 관절 완화 (±20%), 접촉 딱딱함 (±40%) 을 무작위로 정한다. 이러한 범위는 경험적으로 결정된다 너무 넓고 정책은 지나치게 보수적이 되고 너무 좁고 명칭 시뮬레이션에 지나치게 지나치게 된다.
• 잡기 작업에 대량 무작위화: 대부분의 딱딱한 몸 잡기 작업에 대량 분화가 ±30%에 충분하다. 무작위 (돌고, 역학적 조작) 에 민감한 작업에 대에서는 ±20%의 질량과 ±30%의 무작위 텐서 무작위화 결합이 더 적합하다.

사진 현실적 인 표현

DR의 대안은 광현실적인 렌더링으로 직접 시각적 격차를 닫는 것입니다. NVIDIA 복제기 (이사ake sim), 사이클을 가진 블렌더 및 사용자 지정 NeRF 기반 렌더러는 큰 배포를 통해 일반화 할 필요가없는 현실에 충분히 가까운 이미지를 생성 할 수 있습니다.

• NVIDIA 아이작 랩 / 복제기: PBR 재료로 경로 추적 렌더링. 아이작 랩 RL 프레임워크와 통합됩니다. 렌더링 비용은: 10100x 라스터라이징보다 느리다. 큰 훈련 세트보다 평가 이미지를 생성하는 데 좋습니다.
• BlenderProc: 데이터 세트 생성을위한 파이썬 기반 블렌더 파이프라인. 인식 모델 (물질 탐지, 포즈 추정) 에 대한 레이블 된 합성 데이터 세트 생성에 탁월하다. 렌더링 속도 때문에 종말에서 종말까지 정책 훈련에 덜 유용합니다.
• NeRF 기반 렌더링: 네어프 스튜디오 (nerfstudio, 가우스 스플래팅) 를 통해 실제 환경을 캡처하고 새로운 시점/구조를 렌더링합니다. 현실적인 실제 세계 외관을 시뮬레이션의 유연성과 결합합니다. 신흥 접근 방식은 아직 대부분의 팀에 생산 준비가되지 않았습니다.

좋은 사람 과 가난한 사람 을 어떻게 변화 시킬 수 있습니까?

Task Category	시뮬레이션-현실 전이	Why	Mitigation If Needed
Free-space arm motion	Excellent	No contact, kinematics accurate	None required
Coarse top-down grasping	Good	Large contact surfaces, forgiving	Light visual DR
Pick-and-place (rigid, known objects)	Good	Low contact complexity	Visual DR + pose randomization
정밀도 peg insertion (±2mm)	Poor	Contact model inaccuracy dominates	Real data required
Deformable object manipulation	Very poor	FEM simulation errors large	Mostly real data required
Bimanual coordination	Moderate	Timing depends on contact	Hybrid: sim init + real fine-tune
Cloth/fabric folding	Very poor	Soft-body sim diverges quickly	Real data required

효과적 인 하이브리드 방법

대부분의 팀에게는 가장 비용 효율적인 접근법은 하이브리드입니다. 시뮬레이션을 사용하여 시뮬레이션 전송이 작동하는 작업 부분과 접촉 부적지하거나 정밀성을 민감한 부분에서 실제 시뮬레이션을 수집합니다.

• 시프 사전 훈련 + 실제 정렬: 대략적인 작업 행동 ( 접근, 대략적인 포착) 의 10,000 개의 시뮬레이션 시범을 미리 훈련하십시오. 정밀 단계의 5001,000 개의 실제 시범을 정렬하십시오. 이 10:1의 시프-실적 비율은 조작 연구에서 가장 널리 검증된 접근법입니다.
• ** 교육과정 시뮬레이션을 사용하여 교육 초기에서 쉬운 교육 예제를 생성합니다 (물질이 직접 잡혀, 관용이 높습니다) 그리고 점차적으로 어려움이 증가합니다. 이 교육과정은 초기 정책 학습을 가속화하여 실적 열을 달성하는 데 필요한 실제 데이터를 줄입니다.
• ** 데이터 증강을 위한 시뮬레이션을 이용해서 실제 디스플레이 데이터 세트를 보완하는 추가적인 시점, 조명 조건 및 객체 구성을 생성합니다. 특히 실제 수집 비용 없이 시각 일반화를 개선하는 데 효과적입니다.

시뮬레이터 비교

Simulator	물리 엔진	Rendering	Speed (FPS)	Best For
Isaac Lab (NVIDIA)	PhysX 5	RTX path-tracing	1,000–10,000 parallel	RL at scale, GPU clusters
MuJoCo	Custom	Basic OpenGL	500–5,000	Research, accurate contact
PyBullet	Bullet 3	Basic OpenGL	100–1,000	Easy setup, prototyping
Webots	ODE	Basic	100–500	Education, ROS integration
Gazebo / gz-sim	ODE/Bullet/DART	OGRE	50–200	ROS ecosystem integration

수백만 개의 환경 단계를 필요로 하는 RL 훈련을 수행하는 팀들에서는, 다중 GPU 클러스터에 있는 아이작 연구소는 현재 표준이다. 학술 연구나 디버깅을 위해, MuJoCo는 접촉 풍부한 조작을 위한 가장 많이 인용된 시뮬레이터로 남아있다.

시뮬레이션 프로그램을 보완하기 위해 실제 시뮬레이션 데이터가 필요한 경우, RCSV [데이터 서비스 팀]T1) 는 시뮬레이션이 실패하는 작업 부분에서 실제 데이터 수집 캠페인을 대상으로 할 수 있습니다.

실제 시뮬레이션 데이터

시뮬레이션이 충분하지 않을 때 RCSV는 빈틈을 채우기 위해 실제 실제 시뮬레이션 데이터 수집을 제공합니다. 우리는 sim-to-real 실패하는 접촉 부양 작업에 전문적입니다.

[실반 데이터를 얻으세요]