영업팀 문의
Blog(으)로 돌아가기

데이터 수집을 위한 로봇 카메라 설정: 손목, 오버헤드, 스테레오

데이터 수집을 위한 로봇 카메라 설정 안내서: 손목 vs 상부 vs 옆 배치, 해상도, 프레임 속도, 동기화, 깊이 카메라, 캘리브레이션, RCSV의 멀티 카메라 표준.

[로봇 데이터 수집 안내서]

카메라 배치는 로봇 데이터 수집에서 가장 중요하고 가장 자주 미분별된 결정 중 하나입니다. 훈련 중에 귀하의 정책이 보는 관찰은 배포 중에 볼 것들과 일치해야합니다.

카메라 배치 전략

로봇 카메라 배치의 첫 번째 원칙은: 데이터 수집에 사용되는 카메라는 정책 배포에 사용되는 카메라와 같은 설치 위치에 있어야합니다. 이 불합동에서 회복이 없습니다. 손목 카메라 조회에 훈련된 정책은 상공 카메라 조회에 일반화 될 수 없습니다. 그리고 반대로. 훈련 데이터의 한 에피소드를 수집하기 전에 배치 카메라 구성을 정의하십시오.

조작 연구에서 가장 일반적인 구성은: 손목 전용 (로봇의 손목에 장착된 카메라가 조작 작업 공간을 바라보고); 오버헤드 전용 (결정 오버헤드 기기에 장착된 카메라 하나 또는 두 장) 및 멀티뷰 (손목 카메라와 글로벌 작업 공간을 제공하는 외부 카메라 하나 또는 두 장) 이다. 다중뷰 구성은 보다 복잡한 기록 인프라의 비용으로 정책 수행에서 단일뷰를 지속적으로 우월합니다.

손목 카메라: 장점, 단점, 그리고 가장 좋은 방법

손목 카메라는 조작 동작의 첫 번째 인상을 제공합니다. 로봇은 최종 효과자에서 거의 무엇을 하고 있는지 볼 수 있습니다. 이 관점은 지갑과 물체 사이의 관계를 정확하게 인식해야 할 미세한 포착 및 삽입 작업에 매우 유익합니다. 손목 카메라는 또한 작업 공간을 통해 자동으로 지지를 따라가며, 조작 중에 목표물이 항상 프레임에 있는지 확인합니다.

손목 카메라의 주요 한계는 글로벌 작업 공간을 보지 못한다는 것입니다. 손목 카메라는 손목을 움직이지 않고 현행 지리로부터 멀리 떨어진 물체를 감지할 수 없습니다. 이것은 현상 수준 이해 또는 양동적 조정이 필요한 작업에 대한 효과를 제한합니다. 쌍동력 시스템에서는 각 손목 카메라가 자신의 손목 카메라를 가지고 있어야 합니다. 권장 스펙: 1080p 또는 그 이상의 해상도, 60fps 이상, 빠른 움직임 중에 움직임의 흐름을 피하기 위해 글로벌 셔터 (롤링 셔터) 및 포지션 접촉 지점의 가까운 거리에서 관점을 유지하기 위해 광각 렌즈 (90110° FOV).

오버헤드 카메라: 구성 및 트레이드 오프

고정된 오버헤드 카메라는 전체 조작 장면을 캡처하는 안정적이고 일관된 작업 공간 관점을 제공합니다. 그들은 팔 움직임에 덜 민감하며 다양한 작업 공간 지역에서 여러 순서적 단계를 필요로하는 작업에 더 나은 맥락을 제공합니다. 오버헤드 카메라는 여러 로봇 스테이션을 통해 일관되게 설치하는 것이 더 쉽습니다. 이는 대규모 데이터 수집 캠페인에서 중요합니다.

제한은 조작 접촉 지점에서 세부 사항이 줄어들기 때문입니다. 80cm 높이의 오버헤드 카메라가 테이블톱 작업 공간으로 내려다보면 작은 물체에서 지갑-물질 접촉 기하학을 신뢰할 수 없습니다. 이 때문에 오버헤드 카메라는 일반적으로 고성능 데이터 수집 설정에서 손목 카메라와 결합됩니다. 오버헤드 뷰는 작업 컨텍스트와 거친 위치화를 제공합니다. 손목 뷰는 미세한 조작 세부 사항을 제공합니다.

해상도, 프레임 속도, 동기화

조작 데이터 수집을 위해 2026년 대부분의 모방 학습 정책에 30fps의 카메라당 480p720p가 충분하다. 더 높은 해상도 (1080p) 는 미세한 공간적 차별을 필요로 하는 작업에서의 성능을 향상시킵니다. 30fps 이하의 프레임 속도에서는 빠른 작업에서 정책 학습을 악화시키는 시간적 애리아시닝을 도입합니다. 60fps 이상의 프레임 속도는 대부분의 조작 작업에 대한 수익률을 감소시키고 저장 요구 사항을 크게 증가시킵니다.

멀티 카메라 동기화는 중요하고 종종 방치됩니다. 카메라가 하드웨어 동기화되지 않으면 데이터 로딩 중에 시간표 조정이 신중하게 구현되어야합니다. 심지어 33 ms의 카메라 간 오프셋 (Fram 한 프레임 30 fps) 도 손목과 상공 관측이 일시적으로 일관되게 있어야합니다. 인텔 리얼센스 D435 및 D455 시리즈는 동기화 케이블을 통해 하드웨어 동기화를 지원하며 동기화 된 멀티 카메라 설정에 RCSV의 선호 선택입니다.

로봇 기술 에 대한 카메라 유형: 기술 비교

셔터 타입: 글로벌 vs 롤링

글로벌 셔터 카메라는 모든 픽셀을 동시에 노출합니다. 프레임의 모든 픽셀은 시간에 동일한 순간을 나타냅니다. 롤링 셔터 카메라는 픽셀을 줄에 줄로 노출하여 이미지에 시간적 왜곡을 만듭니다. 0.5 m/s로 움직이는 로봇 팔에 대해 33ms 읽기 시간을 가진 롤링 셔터는 프레임 전체에 걸쳐 약 16mm의 왜곡을 생성합니다. 이러한 왜곡은 체계적입니다. 수직 가장자리는 기울어져 있고 빠르게 움직이는 물체는 지각됩니다.

손목 장착 카메라 (손목으로 움직이는) 에 있어서, 전면 시트러는 매우 선호된다. 손목 카메라는 접근 동작 중에 팔의 전체 속도를 경험한다. 움직이지 않는 고정된 상면 카메라에서는, 현상 움직임이 느리기 때문에 대부분의 조작 작업에 있어서 롤링 시트러는 받아들여진다. 글로벌 셔터의 비용 부가가치는 대량화 해상도 2~3배 정도입니다. 따라서 중요한 곳에 사용하세요 (목목) 그리고 다른 곳에 예산을 절약하세요 (공부).

센서 타입: 모노 VS 스테레오 VS RGB-D

Type Depth Cost Weight Outdoor Use Best For
Monocular RGB No $50-400 20-80g Yes Wrist mount (lightweight), IL policies
Stereo Computed $300-2,000 150-350g Yes Outdoor mobile manipulation
Structured light RGB-D Active IR $200-500 70-200g Poor (IR interference) Indoor fixed mount, grasp planning
ToF RGB-D Active IR (ToF) $400-1,500 100-300g Moderate Long-range depth (1-10m)

카메라에 대한 구체적인 권고

Camera Type Resolution Shutter Price Best Use
Intel RealSense D435i Stereo RGB-D + IMU 1920x1080 (RGB), 1280x720 (depth) Rolling (RGB), Global (IR) $300 RCSV default: overhead mount, hardware sync support
Intel RealSense D405 Stereo RGB-D 1280x720 Global (all sensors) $230 Wrist mount (compact: 42x42x23mm)
StereoLabs ZED 2 Stereo + neural depth 4416x1242 (2x 2208x1242) Rolling $450 Outdoor/mobile manipulation, long-range depth (20m)
FLIR Blackfly S Mono RGB Up to 5MP Global (Sony Pregius) $400-1,200 High-quality wrist camera, GigE for long cable runs
Arducam OV9281 Mono (grayscale) 1280x800 Global $50 Budget wrist camera, Raspberry Pi compatible

마운팅 포지션: 손목 vs 오버헤드 vs 세 번째 사람

손목에 눈 (목목목의 산)

카메라는 로봇의 최종 효과와 함께 움직이며 조작 동작의 첫 번째 인상을 제공합니다. 이 관점은 지갑과 객체 사이의 관계를 정확하게 인식해야 할 미세한 잡기 및 삽입 작업에 매우 유익합니다. 손목 카메라 또한 자동으로 작업 공간을 통해 지갑을 따라가습니다.

설치 고려 사항: 카메라를 가능한 한 지갑에 가까이 (5-10cm 이상) 유지하여 진동을 일으키는 순간 팔을 최소화하십시오. 딱딱한 브래킷을 사용하십시오. 3D 인쇄 PLA 마운트는 가속 아래로 휘어 흐릿한 이미지를 생성합니다. 커넥터에서 케이블 피로를 방지하기 위해 팔을 따라 스트레스 리레lief을 통해 USB 케이블을 라우팅하십시오. 무게 예산: 총 카메라 + 마운트 + 케이블 무게를 100g 이하로 유지하여 팔 역학에 미치는 영향을 최소화하십시오.

눈에서 손 (머리/외부)

고정된 상면 카메라는 안정적이고 일관된 작업 공간 관점을 제공합니다. 테이블톱 조작을 위해 작업 공간에서 60-80cm 높이에서 마운트합니다. 이 높이는 작은 물체에서 충분한 해상도를 유지하면서 90° FOV에서 작업 공간을 완전히 커버합니다. 진동을 완화시키는 고무 마운트를 가진 알루미늄 추출 프레임을 사용하십시오.

3인 (사면)

수직에서 30-45도 떨어진 측면 전망 카메라는 순전히 상공 전망에서 손실되는 깊이 정보를 제공합니다. 이 전망점은 특히 상공 카메라가 높이를 구별할 수 없는 수직 스택 또는 삽입을 포함하는 작업에 유용합니다. RCSV는 상공 카메라와 작업 공간의 반대쪽에 세 번째 사람의 카메라를 사용하여 전망점 다양성을 극대화합니다.

기량 측정 절차

손 으로 눈 을 맞추는 기량

손목에 설치된 카메라에 필요한 것은 카메라 프레임에서 로봇의 최종 효과 프레임으로 변환하는 것입니다.

  1. 일터에서 고정된 위치에 있는 기밀 표적을 (ChArUco 보드보다 안정성을 위해 권장되는 체커보드) 설치
  2. 로봇을 목표가 보이는 15-20개의 다른 위치로 이동하여 로봇의 최종 효과자 자세와 카메라의 목표의 각 위치에서의 시각을 기록합니다.
  3. 카메라에서 끝으로 팩터 변환을 계산하기 위해 손-눈 캘리브레이션 용액 (OpenCV T0 또는 T1 ROS2 패키지) 을 실행하십시오.
  4. 카메라 프레임의 알려진 지점을 만지는 것을 명령하여 확인합니다 위치 오류는 3mm 미만일 것입니다

# ROS2 눈과 손의 캘리브레이션 용이_handeye ros2 발사 용이_handeye2 캘리브레이션.launch.py \ eye_on_hand:=true \ robot_base_frame:=base_link \ robot_effector_frame:=tool0 \ tracking_base_frame:=camera_link \ tracking_marker_frame:=marker_frame:=marker_frame

눈 에서 손 에 대한 기량

고정된 카메라에 대해서는 카메라 프레임에서 로봇 기본 프레임으로 변환이 필요합니다. 절차는 비슷하지만 로봇은 고정된 것을 보는 대신 캘리브레이션 목표를 잡고 있습니다.

  1. ChArUco 보드를 로봇의 최종 효과에 붙여넣어
  2. 로봇을 고정된 카메라에서 목표가 보이는 15-20개의 위치로 이동하십시오.
  3. T2을 T3로 실행하세요
  4. 객체를 알려진 위치에 배치하고 카메라에 의해 추정된 좌표와 기초 진실의 좌표를 비교함으로써 검증

카메라를 조정한 후 (마운트를 부딪히더라도), 팔에 하드웨어 유지보수 후, 월간 일정 검사를 통해 재계급한다. 매월 2-5mm의 캘리브레이션 파동은 열 확장, 진동 및 마운트가 정착하기 때문에 전형적입니다.

깊이 카메라

깊이 카메라는 RGB 이미지와 함께 피클당 거리의 측정 기능을 제공하여 명시적인 스테레오 재구성 없이 3D 장면 이해를 가능하게 합니다. 인텔 리얼센스, 마이크로소프트 아저 키넥트, ZED 카메라는 로봇 데이터 수집에서 가장 일반적으로 사용되는 깊이 센서입니다. 깊이 정보는 [그라스프 계획] (T9) 에서 객체 높, 모양 또는 3D 위치가 중요하게 작용하는 작업에 유용하며, 순수한 이미지 입력보다는 포인트 클라우드 입력을 사용하는 정책에 유용합니다.

속 카메라 는 무게, 비용, 처리 로드 를 더 한다. 순수한 RGB 카메라 를 통해 많은 최첨단 모방 학습 결과 를 얻을 수 있으며, 깊이 는 항상 필요 하지 않음을 알려 준다. 정책 아키텍처가 3D 입력에서 명시적으로 혜택을 받거나, 작업이 상당한 깊이 변화를 (다양한 높이의 물체를 쌓아두는) 또는 변하는 조명 조건에서 강력한 성능을 필요로 할 때 깊이 사용 ( 깊이는 RGB보다 더 빛의 변동이 없습니다).

ROS2 카메라 드라이버 설정

리얼센스 카메라 (물리 연구에서 가장 흔한) 에 대해서는 T4 ROS2 패키지가 완전한 드라이버를 제공합니다.

# RealSense ROS2 팩터 sudo apt 설치 로스-허블-리얼센스2 카메라 # 데이터 수집 로스2 권장 설정으로 시작 로스2 로스2 로스2 realsense2 _카메라 rs_launch.py \ 깊이_module.profile:=640x480x30 \ rgb_카메라.profile:=640x480x30 \ enable_sync:=true \ align_depth.enable:=true \ pointcloud.enable:=false # save bandwidth # 하드웨어 동기화 멀티 카메라 설정 # 카메라 1 (master): inter_camera_c_mode:=1 # 2 (노예): inter_camera\_sync_mode\GP: # pinc camera (Pin_camera) 와 연결 케이블 (5)

데이터 수집의 주요 설정: 카메라 내에서 깊이와 RGB 스트림을 동기화 할 수 있도록 T5을 설정하십시오. T6을 설정하여 픽셀 정렬 깊이와 RGB를 얻을 수 있습니다. CPU와 대역폭을 절약하기 위해 포인트 클라우드를 비활성화하십시오. 다 카메라 설정에서는 모든 카메라가 프레임을 같은 순간에 캡처하는 하드웨어 동기화 모드를 사용하십시오.

캘리브레이션 및 RCSV의 멀티 카메라 표준

RCSV의 데이터 수집 표준은 고정된 3 카메라 구성을 사용한다. 팔당 손목 카메라와 역당 한 개의 캘리버드 오버헤드 카메라. 물리 카메라 마운트는 표준화된 작업장 설계의 일부이며, 시설 전반에 걸쳐 일관된 배치를 보장합니다. 모든 캘리버레이션 매개 변수는 자동으로 기록되어 데이터셋 수출에 포함됩니다. 자체 데이터 수집 인프라를 구축하는 팀들을 위해 RCSV는 카메라 설치를 위한 컨설팅을 제공하고 미리 캘리브된 카메라 집합을 제공할 수 있습니다.

관련 독서

  • [로봇 훈련 데이터 가이드]
  • [로봇 데이터 해상]
  • [ALOHA 로봇 안내]
  • [다형 로봇 감지]
  • [Grasp 계획 조사 2025]
  • [연계군 조작]
  • [데이터 서비스]
  • [하드웨어 카탈로그]
  • [사사]