データ収集のためのロボットカメラの設定:腕首,上部,ステレオ
データ収集のためのロボットカメラのセットアップガイド:腕と上向きと横向きの配置,解像度,フレームレート,同期,深度カメラ,校正,およびRCSVのマルチカメラ標準.
[ロボットデータ収集ガイド]
機械データ収集におけるカメラの配置は最も重要かつ最も頻繁に未指定された決定の一つである. 訓練中にあなたのポリシーが見る観測は,部署中に見るものと一致しなければならない. カメラの設定を間違えた場合は,信頼性の高いポリシーを訓練できないデータを収集することを意味します.
カメラの配置戦略
ロボットカメラの配置の第一原則は,データ収集に使用されるカメラは,政策部署に使用されるカメラのマウント位置に同一である必要があります.この不一致から回復はできません. 訓練データの一つのエピソードを収集する前に,部署カメラの設定を定義します.
マニプレーション研究における最も一般的な構成は:腕のみ (ロボットの手首に搭載されたカメラが1つ,操作作業場を期待する);オーバーヘッドのみ (固定式オーバーヘッドリグに搭載されたカメラが1つまたは2つ),およびマルチビュー (腕カメラとグローバルワークスペースのコンテキストを提供する外部カメラが1つまたは2つ) です. 多視視構成は,より複雑な記録インフラストラクチャのコストで,政策の実行において,単視を一貫して上回ります.
腕部 カメラ: 利害 と 弊端,そして 最善の 実践
手首カメラは,操作の第一人目視点を提供します.ロボットが,そのエンドエフェクターでほぼ何をしているかを見ることができます.この視点は,グリッパーとオブジェクトの関係が正確に認識されなければならない細かい握り込みおよび挿入作業に非常に情報提供します. 腕カメラは作業空間を通ってグリッパーを自動的に追跡し,操作中に標的オブジェクトが常にフレームに位置することを保証します.
腕時計のカメラの主な制限は,グローバルワークスペースを見ることができないことにある.腕を動かさずに,現在のグリッパー位置から遠く離れた物体を認識することはできません.これは,シーンレベルの理解や双手調整を必要とする作業の有効性を制限します.双手作業システムでは,各腕は独自の腕時計カメラを持ち歩く必要があります. 推奨スペック: 1080p以上の解像度,60fps以上,高速移動中に動きが曖昧にならないためにグローバルシャッター (ロールシャッターではない) と,近距離で握接点の視力を維持するための広角レンズ (90
オーバーヘッドカメラ: 設定とトレードオフ
固定式オーバーヘッドカメラは,操作シーン全体を捕捉する安定した,一貫した作業場景を提供します. 腕の動きに敏感性が低下し,異なる作業場域で複数の連続ステップを必要とする作業により良い文脈を提供します.オーバーヘッドカメラは,複数のロボットステーションで一貫して設置されやすく,これは大規模なデータ収集キャンペーンにとって重要です.
操作接触点での細かい詳細が減少する制限です. テーブルワークスペースを眺める80cmの高さの上空カメラは,小さな物体でグリッパーとオブジェクトの接触幾何学を信頼に適した方法で観測することはできません. この理由から,オーバーヘッドカメラは通常高性能データ収集セットアップで腕カメラと組み合わせられます. オーバーヘッドビューはタスクコンテキストと粗いポジショニングを提供し,腕ビューは微妙な操作詳細を提供します.
解析度,フレームレート,同期化
マニピュレーションデータ収集では,2026年に模倣学習政策のほとんどでは,1カメラあたり480p
マルチカメラ同期化は極めて重要であり,しばしば無視される.カメラがハードウェア同期化されていない場合,データロード中にタイムスタンプの調整を注意深く実装する必要があります.カメラ間のオフセットの33 ms (フレームは30 fps) も腕と上空のビューが一時的に一致する作業の訓練不安定性を導入することができます. Intel RealSense D435とD455シリーズは同期ケーブルを通じてハードウェア同期をサポートし,同期されたマルチカメラセットアップで RCSVの好ましい選択です.
ロボットのためのカメラタイプ:技術的比較
シャッタータイプ: グローバル対ローリング
全球シャッターカメラは,すべてのピクセルを同時に暴露する.フレーム内のすべてのピクセルが同じ瞬間を表す.ローリングシャッターカメラは,ピクセルを並列並列に暴露し,画像全体に時間的な偏差を生む.0.5m/sで動くロボット腕の場合,33msの読み込み時間を持つローリングシャッターはフレーム全体で16mmの歪みを発生させる. この歪みは体系的なもので,垂直の辺は傾き,速く動く物体は抹茶されます.
手首を動かしているカメラでは,グローバルシャッターが強く好まれる.腕首カメラは接近運動中に腕の全速度を経験する.動かない固定型上空カメラでは,シーン動きが遅いため,ローリングシャッターがほとんどの操作作業で受け入れられる. グローバルシャッターのコストプレミアムは相当分辨率で約2~3倍に大きいので,重要で使う (腕首)
センサータイプ: モノ対ステレオ対RGB-D
| Type | Depth | Cost | Weight | Outdoor Use | Best For |
|---|---|---|---|---|---|
| Monocular RGB | No | $50-400 | 20-80g | Yes | Wrist mount (lightweight), IL policies |
| Stereo | Computed | $300-2,000 | 150-350g | Yes | Outdoor mobile manipulation |
| Structured light RGB-D | Active IR | $200-500 | 70-200g | Poor (IR interference) | Indoor fixed mount, grasp planning |
| ToF RGB-D | Active IR (ToF) | $400-1,500 | 100-300g | Moderate | Long-range depth (1-10m) |
特殊なカメラの推奨事項
| Camera | Type | Resolution | Shutter | Price | Best Use |
|---|---|---|---|---|---|
| Intel RealSense D435i | Stereo RGB-D + IMU | 1920x1080 (RGB), 1280x720 (depth) | Rolling (RGB), Global (IR) | $300 | RCSV default: overhead mount, hardware sync support |
| Intel RealSense D405 | Stereo RGB-D | 1280x720 | Global (all sensors) | $230 | Wrist mount (compact: 42x42x23mm) |
| StereoLabs ZED 2 | Stereo + neural depth | 4416x1242 (2x 2208x1242) | Rolling | $450 | Outdoor/mobile manipulation, long-range depth (20m) |
| FLIR Blackfly S | Mono RGB | Up to 5MP | Global (Sony Pregius) | $400-1,200 | High-quality wrist camera, GigE for long cable runs |
| Arducam OV9281 | Mono (grayscale) | 1280x800 | Global | $50 | Budget wrist camera, Raspberry Pi compatible |
座標位置:腕対上頭対第三者
腕の山
操作操作の第一人目視点を提供するロボットエンドエフェクターと共に動くカメラ.この視点は,グリッパーとオブジェクトの関係を正確に認識しなければならない細かい握り込み作業に非常に情報提供します.腕カメラは作業空間を通してグリッパーを自動的にフォローします.
固定する注意事項:カメラをグリッパーにできるだけ近く (5-10cm以上) 保持して振動を引き起こす瞬間腕を最小限に抑えましょう.固い支柱を使用します. 3Dプリント PLA マンションは加速下で柔軟し,模糊な画像を生成します.接続器のケーブル疲労を防ぐために,USBケーブルを腕に沿ったストレージリレレliefを通って導きます. 体重予算: 腕動力への影響を最小限に抑えるために,カメラ + マウント +ケーブルの総体重を100g未満に保つ.
眼対手 (頭/外)
固定型オーバーヘッドカメラは安定した,一貫した作業場景を提供します.テーブル操作のための作業場から60~80cm上の位置に設置します.この高度は,小物件に十分な解像度を維持しながら90度 FOVで作業場を完全に覆うことができます.振動を抑制するゴムマウントを持つアルミニウム挤出枠を使用します.
3人目 (サイドビュー)
縦から30〜45度離れた横視カメラは,純粋に上視で失われた深度情報を提供します.この視点は,上視カメラが高度を区別できない垂直堆積または挿入を伴う作業に特に有用です.RCSVは上視カメラと作業スペースの反対側にある第三者カメラを使用して,視点を最大限に多様化します.
校准手順
腕の目と目の調整
手首を搭載したカメラでは カメラフレームから ロボットのエンドエフェクターフレームに変換する必要があります
- 校正対象を作業場で固定した位置に設置する (チェッカーボードにChArUcoボードを乗せて安定性を確保することを推奨する)
- ロボットを目標が見える場所から15〜20の異なる位置に移動し, ロボットの最終効果ポーズとカメラの目標の視点を各位置に記録する
- カメラから端までエフェクター変換を計算するために,手目カリブレーションソルバー (OpenCV
T0 または T1 ROS2パッケージ) を実行します. - 機械にカメラフレームの既知の点に触ることを指示して検証する 位置誤差は3mm未満である
# ROS2 目の入りのカリブレーション 簡単_handeye ros2 起動 簡単_handeye2 カリブレーション.launch.py \ eye_on_hand:=true \ robot_base_frame:=base_link \ robot_effector_frame:=tool0 \ tracking_base_frame:=カメラ_link \ tracking_marker_frame:=marker_frame
目から手までの校正
固定カメラでは,カメラフレームからロボットベースフレームに変換する必要があります.手順は類似しますが,ロボットは固定カメラではなく,校正標的を保持します.
- 機械のエンドエフェクターに ChArUco ボードを付着する
- ロボットを固定カメラから標的が見える場所から15〜20の位置に移動する
T2 と T3 を実行する - 既知の位置に物体を配置し,カメラで推定されたおよび真相の基地の座標を比較することによって検証する
カメラの調整後 (マウントをぶつけてさえ),腕のハードウェアメンテナンス後,毎月予定されているチェックとして再校正します. 温度拡大,振動,マウントの安定により,カリブラーション漂移が月あたり2~5mmの典型的です.
深度カメラ
深度カメラはRGB画像に加えて,ピクセルあたり距離測定を提供し,明示的なステレオ再構築なしで3Dシーン理解を可能にします.インテル・リアルセンス,マイクロソフト・アゼル・キネクト,およびゼッドカメラはロボットデータ収集で最も一般的に使用される深度センサーです. 深い情報は,物体の高度,形状,または3D位置が [grasp planning] (T9
ディープカメラは重量,コスト,処理負荷を増やします.純粋なRGBカメラで多くの最新の模倣学習結果が達成されます. 政策のアーキテクチャが3D入力から明示的に恩恵を受けるとき,作業が大きな深さの変化 (異なる高度のオブジェクトを積み重ねる) を伴うとき,または変数照明条件において強力なパフォーマンスを必要とするとき (深さはRGBよりも照明に大きく変異する) 深さを使用します.
ROS2 カメラドライバーの設定
操作研究において最も一般的なRealSenseカメラでは,
# RealSense ROS2 wrapper sudo apt install ros-humble-realsense2-camera # Data collectionの推奨設定で起動する_______________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________
画像収集のキー設定:
カリブラとRCSVのマルチカメラ標準
RCSVのデータ収集標準は,固定された3台のカメラ構成を使用しています.腕あたり1台の腕カメラと,駅あたり1台の校正されたオーバーヘッドカメラです.物理カメラマウントは,標準化されたワークステーション設計の一部であり,施設全体に一貫した配置を保証します.すべての校正パラメータは自動的に記録され,データセット輸出に含まれます. RCSVは,独自のデータ収集インフラストラクチャを設置するチームに対して,カメラ設定相談を提供し,プリキャリブレードカメラセットを提供することができます
関連 読書
- [ロボット訓練データガイド]
- [ロボットデータ注釈]
- ローボットガイド
- [マルチモダルのロボットセンサー]
- [Grasp計画調査2025]
- [操縦中の連絡部隊]
- [データサービス]
- コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータの コンピュータ
- [語彙]