ミミックジェーン:合成デモ世代
ミミックジェンを探求する: 200人のデモを 50,000以上の合成デモに変換する. NVLabs MimicGenをインストールする, 250xのスケール模倣学習を,今からデフレポリシーを基準にします.
実践者のガイド ミミックジェネルのNVIDIAのデータエンジンで 超時間の利用なしに ~200人の人間の遠隔操作種子を 50,000+の合成軌道に変換します
TL;DR
| Metric | Value |
|---|---|
| Task coverage | 18 manipulation tasks across 4 embodiments |
| Robots | Franka Panda, Sawyer, UR5e, bimanual Panda (robosuite & Isaac Lab) |
| Modalities | Low-dim state, RGB (agent + wrist), object poses, subtask segmentation |
| License | NVIDIA Source Code License |
| Size | 50,000+ synthetic demos generated from ~200 human seeds |
| Built on | robomimic + robosuite + Isaac Lab |
ミミックジェンは何ですか?
ミミックジェンは単なるデータセットではなく,システムです.NVIDIAとUTオースティンでの協力者 Ajay Mandlekarと CoRL 2023で導入され,模倣学習における最大のボトルネックを解決します. 操作の示範は,対象中心のサブタスクセグメントに分解されることがわかります 例えば"接近カップ","グリップカップ","リフトカップ","皿上の場所"
リリースされたミミックジェンのデータセットは 18 つのタスクと 4 つの実施形態で ~ 50,000 件の合成デモを配信しており,ナッツの組み立て,コーヒー準備,キッチン掃除,および双手ハマースイングなどの接触豊富な操作をカバーしています. ミミックゲンデータで訓練された政策は,手で収集された人間のデータに 10倍以上を活用した政策と同じ成功率に達し,計算コストは微不足道です.
ミミックジェンは,ロボスイートエコシステムのためのデフォルトデータスケーリングレシピになりました. LIBERO,RoboCasa,および多くのフォローオン論文は,ヒトの遠隔操作だけでサポートできる以上のベンチマークを拡張するためにミミックジェンのスタイル生成を使用し,大規模なGPU並行生成のためにこの方法がアイザックラボに移植されています.
ダウンロードと読み込み方法
リリースされた合成データセットは,標準のロボミック形式のHDF5ファイルであり,つまりロボミック対応のアルゴリズムが変更なしにそれらを訓練することができる.
# Install MimicGen and its dependencies
git clone https://github.com/NVlabs/mimicgen.git
cd mimicgen && pip install -e .
# Also install robomimic and robosuite
pip install robomimic robosuite
# Download the pre-generated datasets (~60 GB)
python mimicgen/scripts/download_datasets.py --dataset_type core --tasks all
# Train Diffusion Policy on a MimicGen dataset
python -m robomimic.scripts.train \
--config configs/diffusion_policy.json \
--dataset datasets/mg_square_d1/image_v141.hdf5
# Or generate your own synthetic demos from a seed
python mimicgen/scripts/generate_dataset.py \
--config mimicgen/exps/templates/robosuite/square.json \
--n_trajectories 1000 \
--seed_data datasets/square/ph/low_dim_v141.hdf5
共通用例とモデルペアリング
- 模倣学習を拡大する.** ミミックジェンは,人間の追加的な遠隔操作なしで,示例数を50倍にする最も速い方法です.
- 拡散政策の拡大. MimicGenデータにおける拡散政策は,オリジナルのロボミミック種子における拡散政策を15~25ポイントに一貫して上回っています.
- **双手作業研究.**双手作業Pandaは,シミュレーションにおける唯一の大規模双手作業模倣データセットです.
- ベンチマーク拡張子. LIBEROとRoboCasaは両社は,評価スイートをスケールするために,ミミックジェンのスタイル生成を内部に使用しています.
ランキングとランキング
ミミックジェンは通常,生成レシピを固定し,データスケール (10, 100, 1K, 10K デモ) の下流行動クローン性能を比較することによって評価されます. CoRL 2023 論文およびフォローオンは,同じ評価プロトコルで人間のみベースラインに対して 20-30 ポイントの改善を報告しています. MimicGen コード付きの文書, 公式プロジェクトページ,および [Mandlekar et al. 定数番号のCRL 2023紙]
テクニカル・ディープダイビング:サブタスク分解
ミミックジェンの背後にある基本的なアルゴリズムの考えは,示範をオブジェクト中心的なサブタスクセグメントに切り分けることができるということです. それぞれのセグメントは,シーン内の特定のオブジェクトのポーズによってパラメータ化されます. ソースデモをすると,MimicGenは各サブタスクのアクティブオブジェクトを識別し,エンドエフェクター軌道をそのオブジェクトのフレームに変換し,新しいシーンで新しいサンプルオブジェクトポーズに再適用します.ロボスイートまたはアイザックラボで物理を再現すると,適応した軌跡がまだ成功しているか確認します.
このトリックは,操作のサブタスクの多くは物体中心的であるため,テーブルのポーズではなく,カップのポーズに依存する.サブタスクが手中心 (物体を問わず特定のポーズに自分の腕を移動する) または複数の物体が分離できない方法で相互作用するときに分解されます. これらのケースでは,MimicGenは,カスタムサブタスク定義のためのハックを暴露します.
製造パイプラインは恥ずかしながら並行している.すべての合成デモは他のすべてのデモから独立している. そのため,1つの作業ステーションで32のCPUコアを持つ1万以上のデモを1夜間にスケールすることができます.さらに大きなスケールでは,チームはGPU並行物理を活用するためにMimicGenをアイザックラボに移植しています.
既知の制限
- ** シミュレーションのみ.** MimicGenは物理シミュレーター内のデモを生成します. Sim-to-real転送は MimicGen自身によって処理されず,別々のランダム化またはドメイン適応ステップが必要です.
- タスク XML が必要です.* 目標タスクは全て robosuite や Isaac Lab シーンのように定義する必要があります.現実の世界でのタスクのみは,手には届かない.
- サブタスクセグメントは手動です. 種子デモはサブタスクの境界線で注釈する必要があります.これは通常新しいベンチマークごとに30分間のタスクですが,自動的にありません.
- 極度の域シフト下で失敗モード. 試算されたオブジェクトポーズがシード分布からあまりにも遠くにあるとき,再再生が失敗し,デモは廃棄されます.シード範囲の約2倍を超えたポーズ分布で成功率は急激に低下します.
常識問題
** MimiGen を実体データに使用できますか?** 直訳ではありません.再生メカニズムには物理シミュレーターが必要です.しかし,ミミックゲンで生成されたシムデータを訓練前として使用し,その後実体データセットに細かく調整することができます.
**MimicGenはDAggerやノイズ注射による行動クローンとどのように比較されるのですか?**MimicGenは多様な,しかし政策に相当するデータの大きな量を生成しますが,DAggerにはオンライン専門家が必要です.オフラインの模倣学習では,MimicGenは厳密にデータ効率が高まります.
MimicGenは双手作業で動作していますか? はい