ロボットトレーニングデータとは何ですか、そしてその収集方法は次のとおりです。

ロボットトレーニングデータとは何ですか?

ロボット トレーニング データは、関節の位置、エンドエフェクターのポーズ、カメラ画像、力/トルクの読み取り値、同期されたタイムスタンプ付きストリームでのオペレーター制御入力のキャプチャなど、タスクを実行するロボットの記録されたデモンストレーションで構成されます。 このデータは、模倣学習ポリシーのトレーニング、視覚言語行動 (VLA) モデルの微調整、強化学習の報酬関数の構築に使用されます。 SVRCの データサービス 研究チームと商業チームのエンドツーエンドの収集、注釈、エクスポートを処理します。

データの量よりも質が重要な理由

よくある誤解は、より多くのデモンストレーションを行えば常により良いモデルが生成されるということです。 実際には、データの多様性 (さまざまなオブジェクトの位置、照明条件、オペレーターの戦略) が、純粋なエピソード数よりもはるかに重要です。 騒がしいデモや一貫性のないデモは、政策のパフォーマンスに積極的に悪影響を及ぼします。 SVRC の収集プロトコルは、一貫性チェック、再撮影基準、およびマルチカメラ カバレッジ基準を強制して、すべてのエピソードがデータセットに入る前に定義された品質基準を満たしていることを確認します。

遠隔操作 vs 運動感覚教育 vs スクリプトによる収集

ロボットのデモンストレーションを収集するには、主に 3 つの方法が使用されます。 遠隔操作 — 制御インターフェース ロボットをリアルタイムで操作するため、最も自然で一般化可能なデータが生成されます。 運動感覚教育では、ロボット アームの動作を物理的にガイドし、軌道を記録します。 スクリプト化された収集は、事前定義されたモーション プリミティブを実行して、明確に定義されたサブタスク用の大量のデータを生成します。 ほとんどの実稼働データセットは、タスクの複雑さと必要な多様性に応じて、3 つすべてを組み合わせています。

どのようなハードウェアが必要ですか?

データ収集のセットアップには、少なくとも、ロボット アームまたはモバイル プラットフォーム、1 つ以上の RGB カメラ (手首取り付けおよびオーバーヘッド)、遠隔操作コントローラーまたはグローブ、およびすべてのストリームを同期するログ システムが必要です。 SVRCの リースされたハードウェア パッケージ OpenArm、Mobile ALOHA、その他のプラットフォーム用に事前構成されたデータ収集セットアップが含まれているため、チームはカスタム インフラストラクチャを構築せずに初日から収集を開始できます。

データ形式、注釈、およびエクスポート

収集された生のデータは、通常、同期された観察ストリームとアクション ストリームを持つ HDF5 または zarr ファイルとして保存されます。 注釈レイヤー (タスクのセグメンテーション、成功フラグ、言語指示ラベル) は、後処理中に追加されます。 SVRC は、LeRobot、Lerobot HF データセット、Open X-Embodiment、およびカスタム ポリシー トレーニング パイプラインと互換性のある形式にエクスポートします。 既存のを参照 公開データセット 独自のコレクションを設計する前にデータ構造を理解します。

SVRC を使用してデータ収集プログラムを開始する方法

一番早い方法は、 データサービス タスクの説明、ターゲットのロボット プラットフォーム、希望のエピソード数をチームに伝えます。 SVRC は、収集オペレーター、ハードウェア、パロアルトの管理されたラボ環境、および完全な後処理パイプラインを提供します。 施設で SVRC がリースしたハードウェアを使用したリモート収集も、特定の環境またはオブジェクトを必要とするタスクに対してサポートされます。