ロボット操作のための腕カメラ対固定カメラ: 取引と最良の実践
腕に搭載されたカメラと固定された上部/側カメラをロボット操作のために使用する時 解析度,遮蔽,校正,訓練データへの影響
[←研究]
機械の認識システムにおける 最も高いレバレッジの決定の一つは カメラの配置です.
カメラ の 配置 が 重要 な の は なぜ です か
ロボット学習プロジェクトに失敗したポストモートメンは,政策の失敗の原因として,コントロールではなく認識を一貫して特定している.そして認識の中で,カメラの配置はカメラの品質ではなく,カメラの質が最も影響を与える変数である. 200ドルのRealSense D435iは,操作作業のために1,500ドルの劣等な産業カメラを上回る.
カメラの配置は,政策がどのような視覚情報を受け取るか,腕の遮断が重要な瞬間をブロックするか,時間とともに校正がどれだけ動いているか,および政策が職場のポジションに一般化するか,決定する.データ収集プログラムの開始時に間違えることは,すべてのデータを再収集するか,体系的に低性能な政策を受け入れるか,意味しています.
固定カメラ: 利点
- 安定した校正: 硬く設置されたカメラは,無限期間外部の校正 (ロボットベースに対する位置と方向) を維持し,熱拡大を模組化します.動力校正は必要ありません.設定時におよび物理的な障害の後,再校正します.
- **ケーブル管理なし:**固定カメラは標準USB3またはGigeEケーブルで近くのPCに接続する. ロボット腕を通過するケーブル路由なし,繰り返し腕動きによるケーブル疲労のリスクなし,エンドエフェクターに重量追加なし.
- ** 幅広く見える場:** 作業場から60~80cm上,わずかに後ろに設置されたカメラは,関連シーン全体を捕捉します 対象,グリッパー,腕,環境 作業計画と状態の評価のためのグローバルな文脈を提供します.
- ** 簡単なマルチビュー設定:** 異なる角度 (上頭,側,腕高前) で複数の固定カメラを直接追加できます.各カメラは独立した硬いマウントと独立した校正を持っています.
- グローバルタスクステート推定によりよい: 作業空間全体を理解する必要があるタスク (例えば"現在の配置を考えるとこのオブジェクトをどこに置くべきか?") は,固定カメラのみが提供するグローバルビューから利益を得ます.
固定カメラ:デメリット
- 接近時の腕の遮蔽: 腕が物体に向かって移動するにつれて,腕構造とグリッパはカメラのグリッパと物体インターフェースの視点を遮ります
正確な視覚フィードバックが最も重要な瞬間です.これは精度作業で固定カメラのみ操作システムの主要な故障モードです. - ** 撮影距離の制限:** 60
80cmの固定カメラ距離で,1カメラピクセルは約0.5 1mmの作業空間に対応する.<3mmの精度を必要とする作業では,この解像度は最終接触段階では十分ではない. - 位置依存性能: 対象の外観 (サイズ,照明,視角) は,対象が作業空間を移動するにつれて大きく変化する. ポリシーは,これらのビュー依存の変化に対して一般化することを学ばなければならない.
手首カメラ:利点
- ** 末端効果をフォローする:** 手首カメラは腕の配置に関係なく,グリッパーと近くの物体の一貫した近距離視点を保持します.これは人間の自然なアナログです.
- **手首カメラの観点から,グリッパは現場にあるが,オブジェクトグリッパのインターフェースは常に目に見える (前向きまたは少し下向きのマウントで).固定カメラの故障の主な原因は排除されます.
- **作業場位置に関係なく一貫した外観:**カメラが腕を動いているため,腕カメラのオブジェクト外観は作業場位置 (同じ距離,同じ角度) のすべてでほぼ同一である.これは作業場位置を一般化するために必要なデータの量を劇的に減少させる.
- 接触時に高効果的解像度: 対象から手首カメラ距離10
20cmで,1ピクセルは <0.1mmに対応する.この距離の640×480カメラでさえ,接触段階感知のための精度レベルの視覚情報を提供します.
手首カメラ: 欠点
- 動力調整が必要: 手首カメラの外部の校正 (グリッパーとの関係性での位置) は正確に知られなければなりません.手眼校正 (既知の位置で校正標的を使用する) は,設置時に必要であり,手首マウントの物理的な障害の後にも必要である.これは,再校正ごとに30~60分の設定時間を追加します.
- **ケーブルルーティングの制限:**カメラケーブルは腕から腕に沿ってロボットベースに,その後PCにルーティングする必要があります.腕の動き範囲を全うする間に結合したり,乱れることもしないケーブルルーティングは,実際の技術的な課題です.スプリングリトラクタブルケーブル管理または無線カメラモジュールはこの問題を軽減します.
- 振動と衝撃: 手首を搭載したカメラは,特に高速移動や接触時にロボットモーターから機械的な振動を経験します.これは重要な瞬間で画像を模糊させることができます.短い曝光時間 (≤4 ms) と機械的なダッミングマウントはこれを減少させます.
- 限られたグローバルコンテキスト: 手首カメラはグリッパー周辺の小さな領域しか表示されません.グローバルワークスペース認識を必要とする作業 (多オブジェクト配置,広く分離されたオブジェクトの連続操作) において,腕のみの視力は十分ではありません.
RCSV標準: 3カメラシステム
40以上の操作作業におけるポリシーパフォーマンスデータに基づいて,RCSVの標準カメラ構成は 3カメラシステム:異なる角度から腕の高さで固定された2台のカメラ,および腕に搭載された1台のカメラです.
- カメラ1 (固定,前左): Intel RealSense D435i,手首の高さ (60
70cm表より) に,前面から30 45°角に設置. 作業場全体を深さで捉えます. - **カメラ2 (固定,前右):**同じモデル,対称配置.カメラ1と一緒には,固定視野からほとんどの腕の遮蔽を排除するステレオ深度再構築とダブルカバーを提供します.
- カメラ3 (腕に搭載): OAK-D (OpenCV AI Kit with Depth) またはRealSense D405 (腕に搭載するように設計された,範囲は5
50cmに最適化されている),横向から30°以下で前向きにダウン向きのグリッパーに搭載.
決議 勧告
| Camera Position | Minimum Resolution | Recommended | Notes |
|---|---|---|---|
| Fixed (60–80 cm distance) | 1280×720 @ 30fps | 1920×1080 @ 30fps | Higher res important for far-field precision |
| Wrist (10–20 cm distance) | 640×480 @ 30fps | 848×480 @ 60fps | Higher fps helps with fast gripper motion |
| Overhead (90–120 cm) | 1280×720 @ 30fps | 1920×1080 @ 15fps | Global context; lower fps acceptable |
ハードウェアトリガー同期化
マルチカメラシステムでは,フレーム同期化は極めて重要です.ハードウェア同期がなければ,カメラは互いに相対的に漂う (USBフレームタイムリング差異により),不一致したマルチビュー画像によるトレーニングデータを引き起こす.これはポリシー劣化の原因である.
- ハードウェアトリガー: GPIOトリガーシグナル (ロボットコントローラまたは専用シンクロボックスから) は,すべてのカメラを同時に起動します.RealSense D435i は GPIOを通じてハードウェアトリガーシンクロンをサポートします.ターゲット <1 ms インターカメラジッター.
- **ソフトウェア同期 (fallback):**ハードウェアトリガーが利用できない場合は,NTP同期化を使用してタイムスタンプで一致するフレームを選択します. シンクロの精度は ~10
30 ms 〜30 fpsカメラ (33 ms/フレーム) に受け入れられるが,限界です.
政策パフォーマンス:カメラ設定比較
| Camera Setup | Success Rate (精度（再現性） Assembly) | Success Rate (Pick-and-Place) | Notes |
|---|---|---|---|
| Single fixed (overhead) | 42% | 74% | Severe occlusion during approach |
| Single wrist only | 65% | 68% | Good precision, poor global context |
| Two fixed (stereo) | 58% | 81% | Better occlusion coverage, still limited close-up |
| Fixed + wrist (2-camera) | 78% | 86% | Good balance, standard for research |
| Two fixed + wrist (3-camera) | 84% | 89% | RCSV standard; best overall performance |
3カメラの設定は,精度組み立て作業において,単一の固定カメラよりも19%ポイントの改善をもたらします. アルゴリズム変更や劣等カメラ設定からのデータにより回復する可能性が低い差です.
RCSVの [データ収集プログラム]
カメラの設定 コンサルティングとデータ収集
RCSVは新しいロボットプログラムに カメラの設定コンサルティングを提供し 検証された3カメラのハードウェア同期設定を使用して すべてのデモデータを収集します