조작 학습을 위한 로봇 센서: 카메라, 코더, 힘, 촉각
로봇 조작 학습에 사용되는 센서 가이드 <unk> 관절 코더, 카메라, 힘/토크 센서, 스펙을 가진 촉각 센서
[← 배우기]
센서 선택과 품질은 로봇 정책이 무엇을 배울 수 있는지 직접적으로 결정합니다. 이 가이드에서는 데이터 뒤에 있는 하드웨어를 다루고 있습니다.
센서 들 이 학습 에 중요 한 이유
로봇 정책은 입력만큼만 좋은 것입니다. 정책은 센서를 통해 세계를 관찰하고 행동하기 위해 필요한 모든 것을 추론해야 합니다.
세 가지 센서 속성은 가장 중요합니다. ** 해상도** (얼마한 세부사항이 캡처됩니다), ** 지연도** (정책이 사용하는 데이터의 나이) 및 ** 동기화** (모든 센서가 같은 순간을 보고하는지 여부). 카메라와 공동 상태 사이의 50 ms 해동기는 빠른 작업에서 정책 성능을 크게 떨어뜨릴 수 있습니다.
공동 코더
관절 코더는 로봇 팔의 주요 상태 센서입니다.
** 절대 코더**는 현대 코봇에서 표준이다. 임차코더 (변화를 측정하는 것) 와 달리 절대 코더는 로밍 루틴이 필요하지 않고 전력 켜기 시점부터 진정한 합동 각을 보고합니다.
- 결정: 일반적으로 19 비트, 각 회전당 219 = 524,288 단계 또는 약 0.0007 ° 단계. 이것은 조작에 충분합니다.
- ** 샘플 속도는:** 1 kHz의 공동 위치; 속도는 일반적으로 낮은 통과 필터로 위치를 구별하여 계산된다.
- 연연기: 물리적인 각에서 자동차 버스 (정상적으로 EtherCAT 또는 CAN) 에 대한 보고된 값에 0.5
2 ms. - ** 학습의 역할:** 공동 코더 데이터로 로봇의 자기 수용 상태가 제공된다
자신의 신체 구성 항상 카메라 이미지와 함께 정책 입력으로 포함된다.
RGB 카메라
RGB 카메라는 조작에 가장 풍부한 정보 센서입니다. 단일 720p 카메라는 한 프레임에 약 1 백만 픽셀을 제공합니다. 각 것이 색상과 텍스처를 암호화합니다. 카메라 관측에 기반한 정책은 다양한 데이터에 훈련되면 주목할만한 일반화를 입증했습니다.
- 상명: 640×480 (VGA) 는 객체 인식의 최저량이다. 1280×720 (HD) 는 표준이다. 1920×1080 (FHD) 는 작은 객체 조작에 대한 세부 사항을 추가한다.
- ** 프레임 속도는:** 느린 조작을 위해 30fps; 빠른 작업이나 동적 추적을 위해 60fps.
- ** 인터페이스:** USB3는 편리하지만 결정적이지 않은 지연을 가지고 있습니다. GigE 비전 (Ethernet) 는 동기화된 멀티 카메라 설정에 선호되는 결정적인 시기를 제공합니다.
- ** 셔터 타입:** 글로벌 셔터는 모든 픽셀을 동시에 캡처한다 (고속 움직임에 롤링 셔터 왜곡이 없다); 빠르게 움직이는 손목 카메라에 있어서 중요합니다.
- ** 전형적인 설정:** 로봇 스테이션당 3개의 카메라
1개의 상부, 1개의 측면/전부, 1개의 손목 장착된 카메라.
깊이 카메라
깊이 카메라는 각 픽셀에 거리를 측정하는 기능을 추가하여 정책에 명시적인 3D 기하학을 제공합니다. 조작 연구에서 가장 일반적으로 사용되는 모델은 Intel RealSense D435 (구성된 빛 / 활성 스테레오) 이다.
- ** 범위:** 0.1m에서 3m까지; 최적의 정확도는 0.3
1.5m이다. - ** 프레임 속도는:** 848×480 깊이 해상도의 30fps.
- ** 제한:** 구조화된 빛은 반짝이는, 반짝이는 또는 투명한 표면 (글라스, 금속, 물) 에서 좋지 않은 성능을 발휘한다. 이러한 재료에 대해서는 촉각 센서 또는 힘 피드백은 보다 신뢰할 수 있는 연락처 정보를 제공합니다.
- ** 사용 시:** 엉뚱한 테이블톱에서 계획, 쓰레기통을 선택, 물체의 높이를 추정하는 것이 중요한 작업.
힘/토크 센서
6축 손목 힘/토크 (F/T) 센서는 최종 효과자 (End-effector) 가 환경에 미치는 힘과 동력을 측정하고 (그리고) 환경으로부터 받는 것을 측정합니다. 로봇의 마지막 링크와 최종 효과자 사이에 설치됩니다.
- ** 측정:** Fx, Fy, Fz (삼 축의 힘) 및 Tx, Ty, Tz (삼 축의 동동력)
- ** 전형적인 범위:** ±200 N 힘, ±10 Nm 토크.
- 밴드 너비: 1 kHz, 실시간 접촉 탐지 기능을 제공합니다.
- ** 응용 프로그램:** 포착 성공 (계약 이하의 힘 → 물체 미끄러짐), 준수된 삽입 (힘으로 인도된 검색을 사용하여
구멍), 안전한 인간-로봇 접촉 (불래의 힘이 감지되면 중지), 표면 추적. - ** 정책:** 정책 입문으로 F/T 가리는 직접 포함될 수 있습니다
촉각 센서
촉각 센서는 손가락 끝 수준에서 분산된 접촉 정보를 측정합니다.
- GelSight (MIT): 내부 카메라로 부드러운 젤 손가락 끝. 접촉은 젤을 변형시키고, 카메라는 변형을 이미지화하여 고해상도 접촉 기하학 (~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
- 용량 배열: 손가락 표면에 있는 용량 압력 센서들의 격자. GelSight보다 가벼운 무게; 해상도 낮지만 빠른 (>1kHz). 손가락 끝에서 슬립 감지에 사용됩니다.
- ** 현재 상태:** 로봇 학습의 촉각 감지은 활발한 연구 분야입니다.
센서 데이터 속도 및 저장 요구 사항
| Sensor | Sample Rate | Data per Second | Data per 2-min 에피소드 |
|---|---|---|---|
| Joint encoders (7-DOF) | 1000 Hz | ~56 KB/s | ~6.7 MB |
| RGB camera 720p JPEG (×3) | 30 Hz | ~9 MB/s | ~1.1 GB |
| Depth camera 480p (×1) | 30 Hz | ~28 MB/s raw (lossless) | ~3.4 GB raw |
| Force/torque sensor | 1000 Hz | ~48 KB/s | ~5.8 MB |
| Tactile sensor (GelSight ×2) | 30 Hz | ~6 MB/s | ~720 MB |
| Typical total (3 RGB + joints + F/T) | — | ~9 MB/s | ~1.1 GB |
시간 동기화
모든 센서는 공통 시계로 시간표가 되어 있어야 합니다. 동기화 없이는 t=100 ms에서 촬영된 카메라 프레임과 t=105 ms에서 기록된 공동 상태는 훈련 중에 잘못 조화되어 각 샘플에 소음을 추가합니다.
우수 실습:
- ** 하드웨어 트리거:** 컨트롤러의 GPIO 파동이 모든 카메라를 동시에 트리거합니다. 이것은 <1 ms 동기화를 달성하고 심각한 데이터 수집 설정의 표준입니다.
- ** 소프트웨어 시간표:** 수신 시 시스템 시간을 기록하고 센서당 측정된 고정 지연성 오프셋을 적용합니다. 5
20 ms 동기화 효과를 얻습니다. 30fps 카메라 정책에 적합하며 고속 작업에 한계가 있습니다. - PTP/IEEE 1588: 멀티 머신 세팅을 위한 하드웨어 수준의 네트워크 시간 프로토콜. 로컬 네트워크의 머신들 사이에서는 <1 ms를 달성한다.
조작 설정을 위한 호환 가능한 센서 및 액세서리를 검색하려면 [RCSV 장비 매장]