로봇 조작에 대한 손목 카메라와 고정된 카메라: 타협 및 최선의 관행
손목에 탑재된 카메라와 고정된 상부/옆부 카메라를 로봇 조작에 사용할 때
[← 연구]
카메라 배치는 로봇 인식 시스템에서 가장 높은 레버리지 결정 중 하나입니다. 실제 성능 데이터와 체계적인 비교가 있습니다.
카메라 배치 이 중요 한 이유
실패한 로봇 학습 프로젝트의 포스트모르테임은 정책 실패의 근본 원인으로 인식이 아닌 통제를 일관되게 식별합니다. 그리고 인식 내에서 카메라 배치
카메라 배치는 정책이 어떤 시각 정보를 수신하는지, 팔 감축이 중요한 순간을 차단하는지, 시간 내에 캘리브레이션이 얼마나 변하는지, 그리고 정책이 작업 공간 포지션에서 일반화되는지를 결정합니다. 데이터 수집 프로그램의 시작에서 잘못되면 모든 데이터를 다시 수집하거나 체계적으로 저조한 정책을 받아들이는 것을 의미합니다.
고정된 카메라: 장점
- ** 안정적인 캘리브레이션:** 딱딱하게 장착된 카메라는 외부 캘리브레이션을 (로봇 기지에 대한 위치 및 방향) 무한히 유지하며, 모듈 열 확장. 역동적인 캘리브레이션이 필요하지 않습니다. 설정을 통해 그리고 물리적 장애가 발생했을 때 재 캘리브레이션을 수행합니다.
- ** 케이블 관리:** 고정된 카메라는 표준 USB 3 또는 GigE 케이블을 통해 인근 PC에 연결된다. 로봇 팔을 통해 케이블 라우팅은 없습니다. 반복된 팔 움직임으로 인해 케이블 피로 위험도 없습니다. 최종 효과에 무게가 추가되지 않습니다.
- ** 광경 넓어:** 작업 공간의 60~80cm 위와 약간 뒤쪽에 설치된 카메라는 전체 관련 장면을 캡처합니다.
- 편한 멀티뷰 설정: 다양한 각 (상, 옆, 손목 높이의 전) 에 있는 여러 고정된 카메라를 추가하는 것이 간단합니다. 각 카메라는 독립적인 딱딱한 장착 및 독립적인 캘리브레이션을 가지고 있습니다.
- 전반 작업 상태 추정에 더 잘: 전체 작업 공간에 대한 이해가 필요한 작업 (예를 들어, "현재의 배열을 고려하면 이 객체를 어디에 배치해야 하는가?") 는 고정된 카메라만이 제공하는 글로벌 시각에서 혜택을 누린다.
고정된 카메라: 단점
- ** 접근 중 팔의 폐쇄:** 팔이 물체로 이동함에 따라 팔 구조와 지갑은 카메라의 지갑-물질 인터페이스의 관점을
정확하게 정확한 시각 피드백이 가장 중요한 순간에 차단합니다. 이것은 정밀 작업에 고정된 카메라만 조작하는 시스템의 주요 실패 모드입니다. - ** 제한된 근접 해상도:** 60
80cm의 고정 카메라 거리에서 1 카메라 픽셀은 대략 0.5 1mm의 작업 공간에 해당한다. <3mm의 정밀도를 필요로 하는 작업에서는 최종 접촉 단계에 이 해상도가 충분하지 않습니다. - ** 위치 의존성 성능:** 객체 외관 ( 사이즈, 조명, 관점) 은 객체가 작업 공간에서 이동함에 따라 크게 변화한다. 정책은 이러한 시각 의존성 변경에 대해 일반화하는 것을 배워야 한다.
손목 카메라: 장점
- ** 최종 효과자 를 따라:** 손목 카메라 는 팔 구성 에 관계 없이 손잡이 및 인근 물체 를 일관 한 대 한 가까이에서 볼 수 있습니다. 이것은 자연 인적 인 아날로그입니다.
- 지리저 객체 점포가 없습니다: 손목 카메라의 관점에서, 지리저는 현장에서 있지만 객체-지리저 인터페이스는 항상 눈에 띄습니다 (앞으로 향하거나 약간 아래쪽으로 각인 마운팅을 통해). 고정 카메라의 실패의 주요 원인은 제거됩니다.
- ** 작업 공간 위치와 상관없이 일관된 외관:** 카메라가 팔과 함께 움직이기 때문에 손목 카메라의 객체 외관은 모든 작업 공간 위치 ( 동일한 거리와 비슷한 각) 에서 거의 동일합니다. 이것은 작업 공간 위치에서 일반화하는 데 필요한 데이터 양을 크게 줄입니다.
- ** 접촉 시 높은 효과적 해상도:** 물체로부터 손목 카메라 거리에서 10
20cm에서 1 픽셀은 <0.1mm에 해당한다. 이 거리에서 있는 640×480 카메라조차도 접촉 단계 감지에 필요한 정밀 수준의 시각 정보를 제공합니다.
손목 카메라: 단점
- 동동적 캘리브레이션 요구: 손목 카메라의 외적 캘리브레이션 (잡잡기와 비교적 위치) 는 정확하게 알려져 있어야 한다. 손-눈 캘리브레이션 (알은 위치에서 캘리브레이션 목표를 사용하여) 는 설치를 할 때 및 손목 마운트의 물리적 장애 후 요구된다. 이것은 재 캘리브레이션당 30~60 분의 설치를 추가한다.
- ** 케이블 라우팅 제한:** 카메라 케이블은 손목에서 팔을 따라 로봇 기지에 로우팅 해야 하며, 그 다음으로 PC로 로우팅 해야 합니다. 팔의 전체 범위에서 움직임을 하지 않는 케이블 라우팅은 실제 엔지니어링 과제입니다. 스프링 후퇴 가능한 케이블 관리 또는 무선 카메라 모듈은 이를 완화합니다.
- ** 진동 및 충격:** 손목 장착된 카메라는 특히 고속 이동이나 접촉 사건 때 로봇 모터로부터 기계적인 진동을 경험한다. 이것은 중요한 순간에 이미지를 흐리게 한다. 짧은 노출 시간 (≤4 ms) 와 기계적 demping 마운팅은 이를 줄일 수 있다.
- ** 제한된 글로벌 컨텍스트:** 손목 카메라는 지갑을 둘러싼 작은 영역만 보여줍니다. 글로벌 작업 공간 인식이 필요한 작업 (다 객체 배치, 크게 분리된 객체와 순서적 조작) 에 손목만으로는 비전이 충분하지 않습니다.
RCSV 표준: 3 카메라 시스템
40개 이상의 조작 작업에 대한 정책 성능 데이터를 기반으로 RCSV의 표준 카메라 구성은 ** 3 카메라 시스템**: 다른 각에서 손목 높이에서 고정된 두 카메라, 그리고 손목 장착된 카메라.
- ** 카메라 1 (상편 좌측:** Intel RealSense D435i, 앞쪽에서 30
45° 각에서 손목 높이 (60 70cm 테이블 위에) 에 설치되어 있습니다. 전체 작업 공간을 깊이로 촬영합니다. - ** 카메라 2 (상착, 앞 오른쪽):** 동일한 모델, 대칭 배치. 카메라 1과 함께 고정 관점에서 대부분의 팔 수축을 제거하는 스테레오 깊이 재구성 및 이중 커버리를 제공합니다.
- ** 카메라 3 (목목 장착):** OAK-D (OpenCV AI Kit with Depth) 또는 RealSense D405 (목목 장착을 위해 설계된, 5
50cm 범위 최적화), 수평 아래 30° 아래로 앞으로 내려가도록 고정된 지갑.
결의 의 권고
| Camera Position | Minimum Resolution | Recommended | Notes |
|---|---|---|---|
| Fixed (60–80 cm distance) | 1280×720 @ 30fps | 1920×1080 @ 30fps | Higher res important for far-field precision |
| Wrist (10–20 cm distance) | 640×480 @ 30fps | 848×480 @ 60fps | Higher fps helps with fast gripper motion |
| Overhead (90–120 cm) | 1280×720 @ 30fps | 1920×1080 @ 15fps | Global context; lower fps acceptable |
하드웨어 트리거 동기화
멀티 카메라 시스템에서는 프레임 동기화가 중요합니다. 하드웨어 동기화 없이는 카메라가 서로 상대적으로 이동합니다. USB 프레임 시기의 변동으로 인해, 일치하지 않는 멀티뷰 이미지와 훈련 데이터가 발생합니다. 이것은 정책 저하의 문서화된 원천입니다.
- ** 하드웨어 트리거:** GPIO 트리거 신호 (로봇 컨트롤러 또는 전용 동기화 상자로부터) 는 모든 카메라를 동시에 발사합니다. RealSense D435i는 GPIO를 통해 하드웨어 트리거 동기화를 지원합니다. 목표 <1 ms 카메라 간 잇터.
- ** 소프트웨어 동기화 (fallback):** 하드웨어 트리거가 사용되지 않으면 NTP 동기화를 사용하여 시간표에 따라 일치하는 프레임을 선택하십시오. ~ 10
30 ms 동기화 정확성을 달성합니다. 30 fps 카메라 (33 ms 한 프레임) 에 허용되지만 소외적입니다.
정책 성능: 카메라 구성 비교
| Camera Setup | Success Rate (정밀도 Assembly) | Success Rate (Pick-and-Place) | Notes |
|---|---|---|---|
| Single fixed (overhead) | 42% | 74% | Severe occlusion during approach |
| Single wrist only | 65% | 68% | Good precision, poor global context |
| Two fixed (stereo) | 58% | 81% | Better occlusion coverage, still limited close-up |
| Fixed + wrist (2-camera) | 78% | 86% | Good balance, standard for research |
| Two fixed + wrist (3-camera) | 84% | 89% | RCSV standard; best overall performance |
3 카메라 구성은 정확성 조립 작업에 있어서 단일 고정 카메라보다 19 퍼센트 점상의 개선점을 제공합니다. 알고리즘 변경 또는 더 낮은 카메라 설정에서 더 많은 데이터가 복구될 가능성이 거의 없습니다.
RCSV의 [데이터 수집 프로그램]
카메라 설정 컨설팅 및 데이터 수집
RCSV는 새로운 로봇 프로그램에서 카메라 구성 컨설팅을 제공하고, 우리의 검증된 3 카메라 하드웨어 동기화 설정을 사용하여 모든 시범 데이터를 수집합니다.