ロボットデータ収集パイプライン: テレオペレーションからトレーニング準備のデータセット

[←学び]

データのパイプラインは 生産レベルパイプラインのあらゆる段階を 歩いて行きます このガイドは

管道 の 設計 が 重要 な の は なぜ です か

ロボット学習のためのデータ収集は高価です.オペレーター時間とラボ機器の時間では3050ドル/時間で,1000エピソードのデータセットは直接コストで5,00015,000ドルです.設計が悪いパイプラインはこれを複合します.不一致な記録形式は手動変換を強制します.欠けているメタデータはエピソードを使用できない状態になります.品質のフィルタリングは収集されたデータの30~40%が政策を失敗させる.

設計が上手くできたパイプラインは使用の最初の週で自費します この記事では,生体遠隔操作記録から訓練準備好みのデータセットまで,研究レベルのデータを騒音から分離するフィルターとチェックを付いた各段階を記述します.

ステージ1 同期録音

記録段階は,テレ操作中にすべてのセンサーストリームを保証された同期化で捕捉します.

• 何を捕捉する: すべての視野からカメラ画像 (30 Hz最小); 結合状態 位置,速度,トーク (100 Hz); コマンドアクション (結合状態と同じ速率); 装備された場合 フォース/トーク (1001000 Hz); グリッパー状態 (開封/閉閉+電流).
• 同期化: ハードウェアカメラトリガー <1 ms画像同期.すべてのストリームが単一のPTP同期時計にタイムスタンプされます.同期後の同期品質を確認するために,トリガーパルスを別途チャンネルとして記録します.
• **エピソードごとにメタデータ:**オペレーター ID,ロボット ID (多ロボットラボ),タスク名と変数,スタート/エンドタイムスタンプ,環境条件 (照明プリセット,テーブル設定),追跡性のためのユニークなエピソード UUID.
• ** 保存形式:** HDF5 片段データセット 集ごとに1つの HDF5 ファイル,センサーストリームごとに1つの HDF5 グループ.画像のJPEG圧縮 (質量90);数値ストリームでは損失のない float32. 決して書き換えしないでください:新しいファイルに書き込み,原始データを削除する前に検証します.

ステージ2 品質フィルタリング

攻撃的な品質フィルタリングはデータパイプラインにおける最も高い利息の介入の一つである 事件の下 20% を削除することで,しばしば50%以上のデータを追加することで政策の成功率を向上させる.

• 自動成功分類: 失敗を予測するために最終カメラフレームに軽量なCNNを訓練する. 500話を手書きでラベル付け,30分でトレーニングし,92%の精度を達成する.データセットに追加する前にすべての新しいエピソードを実行する.
• 軌道の滑らかなフィルター: 各関節軌道の絶対転移 (位置の3番目の導数) を計算する.90番目の百分点転移の限界を超えたエピソードには操作者の躊躇または修正が含まれます.
• ** 期間外差フィルター:** 各作業では,エピソード期間中間の平均と標準偏差を計算する. 平均の2σ以上のフラッグエピソードは,誤り (長すぎ) または不完全エピソード (短すぎ) から回復試みである.
• 衝突検出フラグ: ロボット安全システムが緊急停止を誘発したエピソードは自動的に除外されるべきです.
• 典型的な拒絶率: 2040%の原生エピソードは自動フィルターによって拒絶されます.これは正常で期待されます.

ステージ3 注記

記号は,よりよい訓練と分析を可能にする構造化されたラベルでエピソードを豊かにします.

• 言語指示: 作業を記述する自然言語文字列.オペレーター間で語彙を標準化する. "VLAモデル (ビジョン言語行動) "で使用され,多作業政策で作業条件付けのために使用されます. 成功スコア (0100): 自動分類器からの連続的な品質スコア,二元成功ラベルを補完します. 学習プログラムに役立つ 高スコアエピソードでのトレーニングを開始する
• 段階分別: 各時間ステップの意味的な段階を標識する:到達/把握/輸送/場所/解放. 段階条件のポリシーと故障モードの段階分析を可能にします.
• **失敗モードラベル (オプション):**失敗したエピソードについては: 把握_失敗 / 落下 / 誤った_オブジェクト / タイムアウト. 総合統計はハードウェア・タスクデザインの改善を指針します.

第4段階 格式変換

異なる訓練枠組みではデータ形式が異なることを期待する.変換段階では標準化された輸出がもたらされます.

• 真実源: HDF5. 始終元の HDF5 ファイルを維持する.変換後,決して削除しないでください.
• RLDS (TensorFlow Data Sets): Octo, RT-X,Open X-Embodiment の 必須 形式. T0 ツール を 活用して 変換する.各 節 は 標準 的 な ステップ 構造 を 持つ TFDS 節 に 変容する.
• **LeRobot (HuggingFace Parquet):**HuggingFaceデータセットエコシステムに互換性のあるパケットベースのフォーマット.LeRobot,ACTフォークトレーニングスクリプト,および多くのコミュニティ実装で使用されています.
• Zarr (ディフュージョンポリシーネイティブ): 訓練中に迅速なランダムアクセスのために,元のディフュージョンポリシーコードベースで使用されたメモリマッピング可能なマレイを保存します.

ステージ5 バージョン化と出産

データのセットの再生可能性は厳格なバージョン化を必要とする.モデルはデータセットバージョンタグからのみ訓練されるべきです.

• エピソード不変性: エピソードが品質フィルタリングを通過し,データセットに追加されると,変更されません.修正により新しいエピソードが作成され,古いエピソードは削除ではなくアーカイブされます.
• ハッシュベースのエピソードID: 原始 HDF5 ファイルの SHA-256 を計算する.エピソードIDとして使用すると,ID がコンテンツをユニークに識別し,あらゆる腐敗が検出可能であることを保証します.
• データセットは: データのセットバージョンごとにすべてのエピソードID,そのメタデータ,分割割り当て (train/val/test) とフィルター基準をリストする JSONファイル.このファイルを gitに確認して,完全な起源を確認してください.
• DVC (Data Version Control): 大型データセットでは,DVCは,どのデータファイルがどの git に対応するかを追跡する.

第6段階 訓練統合

最終段階では,データセットを効率的にモデルトレーニングループに供給します.

• ** 配列型サンプル:** 作業変数,オブジェクトタイプ,オペレーター等を均等に表現するサンプルミニパッチ.モデルが多数クラスに過剰に収まるのを防ぐ.
• オンライン拡張: 保存要件を管理可能なようにするために,前向きパス中にデータ拡張を適用します (事前計算されていない):色の振動 (±15%の明るさ/コントラスト/飽和),ランダム作物 (±10%の画像サイズ),結合状態のガウスノイズ (σ=0.001 rad).
• エピソード重量: 成功を収めたエピソード重量 高品質の成功はトレーニング中にサンプル重量が高くなります.

RCSVデータプラットフォーム は,このパイプラインの第2~第5段階を自動化し,品質レビュー,注釈,フォーマット輸出のためのウェブインターフェースを提供します.

ループを継続する

設定が完了した? ハードウェア,データ,スコアリングのループを閉じる

ブラウザハードウェア → トレーニング完了? スコアを → スケールデータが必要 →