操作学習のためのロボットセンサー:カメラ,エンコード,フォース,タクチル
ロボット操作学習に使用されるセンサーのガイド <unk> 結合エンコーダー,カメラ,力/トークセンサー,スペック付きタクチルセンサー
[←学び]
センサーの選択と品質は ロボットが学ぶことができるものを直接決定します このガイドはデータの背後にあるハードウェアをカバーします
センサー が 学べる ため に 重要 な の は なぜ です か
ロボット政策は,入力と同じくらい良い. 政策はセンサーを通して世界を観察し,行動するために必要なすべてのことを推測する必要があります 対象位置,品質把握,接触力,任務が成功したか センサーストリームから. センサー隙間は政策隙間を作り出します.
センサーの3つの特性が最も重要である: 解析度 (どのくらいの詳細が捕捉されるか), 遅延度 (ポリシーがそれを使用するときにデータがどのくらい古いか), 同期化 (すべてのセンサーが同じ瞬間を報告するかどうか). カメラと共同状態間の50msの脱同期化は,高速作業におけるポリシーパフォーマンスを大幅に低下させる可能性があります.
共同エンコード
結合エンコーダーはロボット腕の主要な状態センサーです
絶対エンコーダーはは,現代のコボットで標準です.インクリメンタルエンコーダーは (変更を測定するのみ) ではなく,絶対エンコーダーは,オンになった瞬間から,ロジングルーチンを必要とせずに,真のコイントアングルを報告します.
- ** 解析度:** 通常19ビットで,1回転あたり219=524,288ステップ,またはおよそ0.0007°/ステップを出す.これは操作に十分である.
- サンプル速度は: 結合位置の1 kHz;速度は通常,低パスフィルターで位置を区別することによって計算されます.
- 遅延: 物理角度から報告された値 (通常はEtherCATまたは CAN) に比べて0.5
2 ms. - 学習における役割: 共同エンコードデータにより,ロボットの自感状態が
自身体の構成が であり,カメラ画像とともに常にポリシー入力として含まれます.
RGB カメラ
RGBカメラは,操作のための最も情報豊富なセンサーである.単一の720pカメラは1フレームあたり約100万ピクセルを提供し,それぞれ色と質感をコードする.カメラ観測に基づく政策は,多様なデータで訓練されたときに顕著な一般化を示しています.
- 解析度: 640×480 (VGA) はオブジェクト認識の最小値である. 1280×720 (HD) は標準値である. 1920×1080 (FHD) は小物操作の詳細を追加する.
- フレーム速度は: ゆっくり操作では30fps; 急速な作業やダイナミック・トラッキングでは60fps.
- インターフェース: USB3は便利だが,非決定性遅延がある.GigEビジョン (イーテルネット) は決定性タイミングを提供します.
- シャッタータイプ: 全球シャッターはすべてのピクセルを同時に捕捉します (高速な動きでロール・シャッター歪みがありません).
- 典型的な設定: ロボットステーションあたり3台のカメラ
1台のオーバーヘッド, 1台のサイド/フロント, 1台の腕に搭載.
深度カメラ
深度カメラは,各ピクセルに距離測定を加え,政策に明示的な3D幾何学を与えます.操作研究で最もよく使用されるモデルはIntel RealSense D435 (構造光 /アクティブステレオ) です.
- 範囲: 0.1 m~3 m;最適な精度は 0.3
1.5 m. - フレーム速度は: 848×480深さ解像度で30fps.
- 制限: 構造的な光は,輝く,鏡状,透明な表面 (ガラス,金属,水) において性能が悪い.これらの材料では,触覚センサーまたは力反射により信頼性の高い連絡情報を提供します.
- 使用する時: 混雑したテーブルタップの計画,ゴミ箱の選び,物体の高度を推定する作業が重要である.
フォース/トークセンサー
半軸腕力/トーク (F/T) センサーは,エンドエフェクターが環境に施す力とトークを測定し,環境から受け取る.ロボットの最後のリンクとエンドエフェクターの間に設置されている.
- 測定: Fx, Fy, Fz (三軸の力) と Tx, Ty, Tz (三軸のトーク).
- 典型的な範囲: ±200 N力, ±10 Nmトーク.
- 帯域幅: 1 kHz,リアルタイム接触検出を可能にします.
- アプリケーション: 握り込みの成功を検出する (限界以下の力 →物体が滑った),適合した挿入 (力による検索を用いた穴を塞ぐ),安全な人間とロボット接触 (意外な力が検出された場合停止),表面追跡.
- **政策では:**F/Tの読み込みは,政策入力として直接含めることができる.
タクシールセンサー
タクチルセンサーは,指先のレベルに分布した接触情報を測定します
- GelSight (MIT): 内置カメラ付きの柔らかいジェル指尖.接触はジェルを変形し,カメラは変形をイメージし,高解像度接触幾何学 (指あたり400×300ピクセル) を提供します.
- 容量マレイ: 指表面の容量圧力センサーの格子. GelSightより軽量.解像度が低いが高速 (>1 kHz). 指先で滑り検出に使用される.
- 現在状態: ロボット学習における触覚センサーは活発な研究分野です
ほとんどの生産システムはF/Tセンサーを使用し,残りの部分にはカメラに頼っています.触覚データは価値あるが,データパイプラインに複雑さを追加します.
センサーデータ料金と保存要件
| Sensor | Sample Rate | Data per Second | Data per 2-min エピソード |
|---|---|---|---|
| Joint encoders (7-DOF) | 1000 Hz | ~56 KB/s | ~6.7 MB |
| RGB camera 720p JPEG (×3) | 30 Hz | ~9 MB/s | ~1.1 GB |
| Depth camera 480p (×1) | 30 Hz | ~28 MB/s raw (lossless) | ~3.4 GB raw |
| Force/torque sensor | 1000 Hz | ~48 KB/s | ~5.8 MB |
| Tactile sensor (GelSight ×2) | 30 Hz | ~6 MB/s | ~720 MB |
| Typical total (3 RGB + joints + F/T) | — | ~9 MB/s | ~1.1 GB |
時間同期
すべてのセンサーは共通の時計にタイムスタンプをつけなければならない.同期化がなければ,t=100 msで撮影されたカメラフレームとt=105 msで記録されたコイントステートは訓練中に間違ってペアリングされ,各サンプルに騒音が増加する.
優れた実践:
- ハードウェアトリガー: 制御器からのGPIOパルスにより,すべてのカメラが同時に起動します.これは <1 msの同期を達成し,深刻なデータ収集設定の標準です.
- **ソフトウェアタイムスタンプ:**受信時にシステム時間を記録する.センサーごとに固定遅延の測定オフセットを適用する. 5
20 msの同期化を実現する. - PTP/IEEE 1588: マルチマシンセットアップのためのハードウェアレベルのネットワーク時間プロトコル. 地元のネットワーク上のマシン間で1ms未満の達成.
操作設定の適合性のあるセンサーとアクセサリーを閲覧するには, [RCSV機器商店]