記録 シンクロン化 双手 演示

6件のうち4件 · データ収集 · ~3時間

双手データ収集が 単行手より難しい理由を理解し,LeRobot双手データセットフォーマットを学び,キューブハンドオフタスクの 100 回のクリーン同期化デモを記録します

なぜ二手データ収集が難しくなるのか

単腕データ収集では,不良のデモは,腕の軌道を影響する. 50のデモを記録し,5の悪いデモを捨て,45のトレーニングを行います.双手データ収集では,ハンドオフポイントのエラーにより,両腕の軌跡が同時に無効になります.失敗モードは結合されています.

この結合には2つの実用的な意味があります.一つは,双手作業がより大きな差異があり,政策は調整構造を学ぶためにより多くの例を必要とします.二つは,デモごとにより厳格な一貫性が必要です.80%の一貫性のある単腕デモは,かなりうまく行きます. 双手デモで 一方の腕が一貫して 反対側が変化する一方では 政策は調整タイミングについて役に立たないことを教えます

作業場の覆い面の課題も大きい.両腕がフレームに配置され,交差点が最も複雑で,少なくとも1台のカメラによって確実に捕捉されなければならない.起動前にカメラの角度を確認し,交差が作業場カメラの視野の外に発生した場合を調整する.

レロボット二手動データセットフォーマット

DK1とLeRobotの統合により,標準的な単臂フォーマットが双重合州マレイで拡張される.データセットの各時間ステップには:

タイムステップによる2つの手動データセット観測キー:観測.関数_states.左 #形: (6,) 左フォロワー関数角在ラディアン観測.関数_states.右 #形: (6,) 右フォロワー関数角在ラディアン観測.グリッパー.左 #形: (1,) 左グリッパー位置 [0=オープン, 1=閉]観測.グリッパー.右 #形: (1,) 右グリッパー位置観測.im.右グリッパー位置: (H,W, 3) 作業空間上空/カメラ観測.im.w#形: (H,W, 3) 主要腕時計.腕時計.腕時計.腕時計.腕時計.腕時計.腕時計.腕時計.腕時計.腕時計.腕時計.腕時計.腕時計.腕時計.腕時計.腕時計.腕時計.腕時計.腕時計.腕時計.腕時計.腕時計.腕時計.腕時計.腕時計.腕時計.腕時計.腕.腕.腕.腕.腕.腕.腕.腕.腕.腕.腕.腕.腕.腕.腕.腕.腕.腕.腕.腕.腕.腕.腕.腕.腕.腕.腕.腕.腕.腕.腕.腕.腕.腕.腕.腕.腕.腕.腕.腕.腕.腕.腕.腕.腕.腕.腕.腕.腕.腕.腕.腕.腕.腕.腕.腕.腕.腕.腕.腕.腕.腕.腕.腕.腕.腕.腕.腕.腕

単腕の重要な違いは,アクションスペースは14次元 (6+6 結合 + 2 握手) である.ACTはこれをネイティブで処理します.

作業流を記録する

source ~/dk1-env/bin/activate # 録画セッションを開始する キューブハンドオフタスク python -m lerobot.scripts.record \ --robot-path ~/dk1-config.yaml \ --robot-type dk1_bimanual \ --fps 50 \ --root ~/dk1-data sets \ --repo-id cube-handoff-v1 \ --num-episodes 100 \ --warm-time-s 3 \ --episode-s 30 \ --reset-time-s 5 \ # --warm-time-s:記録が起動する前に記録を押す時間 (この位置をキューブに返すために使用する) \ --time cube-s: ビデオの時間軸は20s未満で完了する必要があります.

録音セッション開始前に1015の練習デモを実行して,作業のためのモーターメモリを暖める.最初の510の録音したデモは,あなたの最悪の期待されるでしょう.セッション中にそれらをレビューするのを止めてはいけません.完全な100が録音された後に悪いデモをレビューし,削除します.

双手データに関する品質チェックリスト

レロボットのリプレイビューヤーを使用して,レコーディング後,すべてのデモをレビューする.以下の2つ以上の基準に失敗するデモを廃棄する:

**手配の同時交付時両腕は,意図された交付点から3cm以内に同時に位置する必要があります.一方が他の腕を待っているアシンクロ交付では,ポリスが停止することを教えます が不良に移動します.

始動位置の一貫性各デモでは,キューブが同じ位置から2cm以内に開始する必要があります.Unit1からのテープマークを使用します.始動位置の変異は,基本作業を学ぶ前にポリシーを一般化させる.

クリーンな握り 両腕 次の段階に移る前に,各腕は安定した握りを達成する必要があります. 転移中の滑り込み握り 政策が信頼に適した複製不可能となる軌道を創造します.

ホームポーズ返信 両腕は,各デモの終わりにホームポーズにきれいに返らなければならない. デモが中期に終わると,エピソード境界が曖昧なデータセットを作成する.

◎ ◎ ◎

ワークスペースカメラのカバー 移転瞬間はワークスペースカメラのフレームに見える必要があります ロボットボディが視界を遮っている場合は,継続する前にカメラの角度を調整してください.

一貫したタイミング 演示期間は,デモごとに ±5秒を超えないもので,大きなタイミング差が不一致な実行を示し,アクションスペースのエントロピーが高いデータセットを生成する.

ターゲットデータセットサイズ: 100 デモは2つの手動のACTトレーニングの推奨最小値です.研究結果は,双手作業は,関節調整構造がより複雑で,行動空間が大きいため,比較可能な単腕作業のデータの約2倍を必要とすると示唆しています. ユニット5のトレーニングの後 成功率は40%未満なら ターゲットとなるデモ50枚を集めることが一番です

ユニット4 完成する...

T0でレロボット形式で100回のデモを記録しました.レビューとクリアした後,少なくとも90回のデモが品質チェックリストを通過します.両共同状態アレイは各エピソードで50Hzで存在します.両カメラフィードが存在し,手渡しの瞬間を含む完全なタスクシーケンスを示します. T1を実行し,データセット構造が有効であることを確認しました.

[← 経路概要に戻る]