미믹젠: 합성 시범 세대
미믹젠을 탐험하세요: 200개의 인간 데모를 50,000개 이상의 합성 디모션으로 변환하세요. NVLabs MimicGen을 설치하고, 250배 규모의 모방 학습을 수행하고, 오늘 디스포시전 정책을 기준으로 설정하세요.
미믹겐에 대한 실무자의 가이드
TL;DR
| Metric | Value |
|---|---|
| Task coverage | 18 manipulation tasks across 4 embodiments |
| Robots | Franka Panda, Sawyer, UR5e, bimanual Panda (robosuite & Isaac Lab) |
| Modalities | Low-dim state, RGB (agent + wrist), object poses, subtask segmentation |
| License | NVIDIA Source Code License |
| Size | 50,000+ synthetic demos generated from ~200 human seeds |
| Built on | robomimic + robosuite + Isaac Lab |
미믹겐은 무엇입니까?
미믹겐은 단순한 데이터 세트만이 아니라 시스템입니다. 아자이 만들카르와 NVIDIA와 UT 오스틴의 협력자들이 CoRL 2023에서 소개한 이 시스템은 모방 학습의 가장 큰 단 하나의 병목점인 인간 텔레오퍼레이션 시간을 해결합니다. 통찰력은 조작 시범을 객체 중심의 하위 작업 세그먼트로 분해할 수 있다는 것입니다. 예를 들어, "접근 컵", "그라스 컵", "리프트 컵", "토토에 있는 장소" 그리고 각 세그먼트는 새로 샘플링된 객체 포즈에 다시 고정되어 시뮬레이션에서 재생될 수 있습니다. 전문가들의 작은 시범 (사업당 약 10개) 를 고려하면 MimicGen은 시뮬레이션 배포 성공에 대한 작은 필터만 가지고 작업당 수백 개의 추가 성공적인 궤도를 생성합니다.
공개된 MimicGen 데이터 세트는 18개의 작업과 4개의 실시예에서 ~50,000개의 합성 시범을 선보이며, 견과류 조립, 커피 준비, 부엌 청소, 그리고 쌍방향
미믹겐은 로보시이트 생태계의 기본 데이터 스케일링 레시피가되었습니다. LIBERO, RoboCasa 및 많은 후속 논문들은 인간 텔레오퍼레이션만으로 지원할 수 있는 것보다 더 많은 벤치마크를 확장하기 위해 미믹겐 스타일의 세대를 사용합니다. 그리고 이 방법은 대규모 GPU 평행 세대를 위해 아이작 연구소에 이식되고 있습니다.
다운로드 및 로딩 방법
공개된 합성 데이터 세트는 표준 로보미믹 형식의 HDF5 파일로, 즉 로보미믹 호환 알고리즘은 변경 없이 훈련할 수 있습니다.
# Install MimicGen and its dependencies
git clone https://github.com/NVlabs/mimicgen.git
cd mimicgen && pip install -e .
# Also install robomimic and robosuite
pip install robomimic robosuite
# Download the pre-generated datasets (~60 GB)
python mimicgen/scripts/download_datasets.py --dataset_type core --tasks all
# Train Diffusion Policy on a MimicGen dataset
python -m robomimic.scripts.train \
--config configs/diffusion_policy.json \
--dataset datasets/mg_square_d1/image_v141.hdf5
# Or generate your own synthetic demos from a seed
python mimicgen/scripts/generate_dataset.py \
--config mimicgen/exps/templates/robosuite/square.json \
--n_trajectories 1000 \
--seed_data datasets/square/ph/low_dim_v141.hdf5
일반적인 사용 사례 및 모델 조화를
- ** 스케일링 모방 학습.** 미믹겐은 추가 인체 텔레오퍼레이션 없이도 시범수치를 50배로 늘리는 가장 빠른 방법입니다.
- ** 분포 정책 증강.** MimicGen 데이터에 대한 분포 정책은 원래의 로보미믹 씨에 대한 분포 정책보다 15-25 점으로 지속적으로 우월합니다.
- **중동 작업 연구.**중동 파ண்டா 작업은 시뮬레이션에서 유일하게 대규모의 양동 작업 모방 데이터 세트 중 하나입니다.
- ** 벤치마크 확장 프로그램.** LIBERO와 RoboCasa 모두 평가 스위트를 확장하기 위해 MimicGen 스타일의 생성 기능을 내부적으로 사용합니다.
벤치마크 & 랭킹보드
미믹겐은 일반적으로 생성 레시피를 고정하여 데이터 스케일 (10, 100, 1K, 10K 데모) 에서 하류 행동 클론 성능을 비교하여 평가된다. CoRL 2023 논문 및 후속은 동일한 평가 프로토콜에서 인간만 기준에 대한 20-30 점의 개선점을 보고한다. [MimicGen 코드 입력 문서를 참조]
기술 깊은 다이빙: 하위 작업 분해
MimicGen의 핵심 알고리즘 아이디어는 시범을 객체 중심의 하위 작업 세그먼트로 갈라놓을 수 있다는 것입니다. 각 세그먼트는 현상의 특정 객체의 자세로 매개 변수를 나타냅니다. 소스 디스플레이를 통해 MimicGen은 각 하위 작업에 대한 활성 객체를 식별하고 최종 효과자 궤도를 그 객체의 프레임으로 변환하고 새로운 장면에서 새로운 샘플링 객체 포즈에 다시 적용합니다. 로보수이트 또는 아이작 랩에서 물리학 재생이 적용된 궤도가 여전히 성공 여부를 확인합니다.
이 트릭은 대부분의 조작 하위 작업이 실제로 객체 중심이기 때문에 효과가 있습니다. 당신이 컵을 잡기 위해 실행하는 움직임은 테이블의 자세가 아닌 컵의 자세에 달려 있습니다. 하위 작업이 손 중심이 될 때 (물질에 관계없이 자신의 손목을 특정 자세로 이동) 또는 여러 물체가 분리되지 않는 방식으로 상호 작용할 때 분해됩니다. 이러한 경우, MimicGen은 사용자 정의 하위 작업 정의를 위한
생성 파이프라인은 어색하게 병렬합니다. 모든 합성 데모는 다른 모든 데모와 독립합니다. 따라서 32 개의 CPU 코어와 함께 한 작업장에서 하루가 다르게 10,000+ 데모로 확장 할 수 있습니다. 더 큰 규모를 위해, 팀은 10-20x의 속도 업을보고하여 GPU 병렬 물리학을 활용하기 위해 MimicGen을 아이작 랩으로 포팅했습니다.
알려진 한계
- ** 시뮬레이션만.** MimicGen은 물리 시뮬레이터 내부에서 디모를 생성합니다. Sim-to-real 전송은 MimicGen 자체에서 처리되지 않으며 별도의 무작위화 또는 도메인 적응 단계를 필요로합니다.
- ** XML 작업이 필요합니다.*** 각 목표 작업은 로봇 사이트 또는 아이작 연구소 장면으로 정의되어야 합니다. 실제 세계 작업만 접근할 수 없습니다.
- 부 작업 세그먼트는 수동입니다. 씨드 데모는 부 작업 경계와 해고되어야 합니다. 이것은 일반적으로 새로운 벤치마크에 따라 30 분기의 작업이지만 자동적이지 않습니다.
- ** 극한 영역 전환에서 실패 모드.** 재 샘플링된 객체 포즈가 씨드 배포로부터 너무 멀리 있을 때, 재 재생이 실패하고 디모가 폐기됩니다. 포즈 배포에서 약 2x 이상의 성공률이 급격히 떨어집니다.
FAQ
** 실제 데이터에 대해 MimicGen을 사용할 수 있습니까?** 직접적으로 아닙니다. 재생 메커니즘은 물리 시뮬레이터를 필요로 합니다. 그러나 MimicGen에서 생성된 sim 데이터를 훈련 전으로 사용할 수 있으며, 작은 실제 데이터 세트에 정렬 할 수 있습니다.
MimicGen은 DAgger 또는 소음 주입으로 행동 복제와 어떻게 비교할 수 있습니까? MimicGen은 다양한 하지만 정책에 동등한 데이터를 더 많이 생산하지만, DAgger는 온라인 전문가가 필요합니다. 오프라인 모방 학습에 있어서, MimicGen은 엄격히 더 데이터 효율적입니다.
미미크겐은 쌍방임 작업과 함께 작동합니까? 네