로봇 텔레오퍼레이션 시스템이 어떻게 작동 하는 것

[← 배우기]

데이터 수집 및 원격 조작에 사용되는 현대 로봇 원격 조작 시스템의 엔지니어링에 대한 실용적인 가이드

텔레오퍼레이션 은 무엇 입니까?

로봇 텔레오퍼레이션은 인간 운영자가 물리적인 작업을 수행하기 위해 원격 인터페이스에서 로봇을 제어하는 것을 의미합니다. 로봇 학습에서, 텔레오퍼레이션은 두 가지 목적을 수행합니다. (1) ** 데이터 수집** 학습된 정책을 훈련하기 위해 고품질의 시범 에피소드를 생성하고, (2) ** 라이브 원격 운영** 인간에게 위험하거나 접근할 수없는 환경에서 작업을 수행합니다.

통신사업 데이터의 품질은 하류 정책 성과의 가장 큰 결정 요소입니다. 잡음, 거품 또는 일관성이 없는 시위는 잡음, 거품 및 일관성이 없는 정책을 만들어냅니다. 잘 설계된 통신사업 시스템은 선택적이지 않습니다.

시스템 구성 요소

완전한 원전 운영 시스템은 신뢰할 수 있는 협력해야 하는 다섯 개의 하위 시스템을 가지고 있습니다.

• ** 운영자 인터페이스:** 인간이 로봇을 지휘하기 위해 사용하는 장치. 옵션은 VR 헤드셋 + 손 추적 (감각적이지만 비싸), 리더 팔 (운동자가 물리적으로 움직이는 로봇 팔의 가벼운 복사본) 또는 6-DOF 공간 마우스 / 조이스틱 (소연하지만 표현력 제한) 을 포함한다. 리더 팔은 능숙한 조작 데이터 수집의 금 표준입니다.
• ** 비디오 스트림:** 운영자에게 전송되는 로봇 환경으로부터 하나 이상의 카메라 피드. 전형적인 설정: 손목 장착된 카메라 (물체 중심의 전망) + 외부 개요 카메라. 운영자의 디스플레이는 최소한의 지연으로 피드 표시를 해야 합니다.
• ** 명령 채널:** 높은 주파수 (1001000 Hz) 에서 로봇 컨트롤러에 운영자의 동작 명령 (관동 각 또는 카르테시아적 자세) 를 전송한다. 신뢰성 있고 지연도가 낮은 떨어지는 패킷은 훈련 데이터를 오염시키는 이 운동을 유발한다.
• 안전부시스템: 운영자 및 지역 안전 관찰자에게 접근 가능한 비상 중지 버튼; 명령 스트림이 100 ms 이상 중단되면 로봇을 중지하는 소프트웨어 감시견; 로봇 컨트롤러에서 충돌 탐지.
• ** 데이터 로거:** 훈련에 필요한 모든 스트림을 동기화하여 기록합니다. 카메라 이미지, 관절 상태, 명령 동작, 힘/토크리 판독 및 에피소드 메타데이터. 대부분의 정책에 10 ms 이내에 동기화하는 것은 충분합니다. 미리초 이하 동기화에는 하드웨어 트리거가 필요합니다.

리더-따라자 운동학

리더-따라자 아키텍처는 고품질 데이터 수집을 위한 가장 일반적인 설정입니다. 운영자는 물리적으로 리더 팔을 움직인다 (중력 보완하여 가벼운 느낌을 준다); 후속 팔 (실적 로봇) 은 실시간으로 이러한 움직임을 반영합니다.

제어 루프는 다음과 같이 실행됩니다.

• 단계 1 리더 관절을 읽어보세요: 리더 팔의 관절 코더들은 1000 Hz의 각을 보고합니다.
• 단계 2 앞으로의 운동학: 운동학 모델을 사용하여 관절 각에서 리더 최종 효과자의 카르테스 포즈를 계산한다.
• 단계 3 역동학: 추종자의 좌표 프레임에서 동일한 최종 효과자 포즈를 달성하는 추종자의 관절 각을 해결하십시오.
• 단계 4 추종자에게 보내십시오: 추종자의 팔의 공동 위치 컨트롤러를 명령합니다. 1단계에서 4단계까지의 지연은 원활한 추종을 위해 <5ms가어야 합니다.
• ** 단계 5 로그:** 리더 관절, 추종자 관절, 명령 포즈 및 모든 센서 데이터를 디스크에 기록합니다.

선두 팔의 중력 보상은 매우 중요합니다. 그 없이는, 운영자는 팔을 중력에 대항하여 들고 있어야 하며, 피로와 긴장, 비자연적인 움직임을 유발합니다.

비디오 스트리밍 요구 사항

지연은 좋은 텔레오퍼레이션의 적이다. 운영자가 로봇의 동작을 500 ms 지연으로 볼 때, 그들은 과장 수정하여 오슬레이터, 불안정한 움직임을 만듭니다. 편안한 텔레오퍼레이션의 목표 지연은 150 ms 미 미만의 유리-글라스 (카메라 센서에서 운영자 디스플레이) 이다.

• 상화: 조작 작업에 최소 720p (1280×720); 작은 물체를 감지할 때 1080p가 선호된다.
• ** 프레임 속도는:** 최소 30fps; 60fps는 빠른 작업에서 운영자의 성능을 크게 향상시킵니다.
• ** 프로토콜:** 인터넷에서 원격 운영을 위한 WebRTC는 NAT 통로를 처리하고 네트워크 조건에 적응한다. 로컬 실험실 사용에서, LAN에서 원료 UDP 또는 GStreamer는 낮은 지연 시간을 달성한다.
• ** 압축:** H.264는 표준입니다. H.265는 동일한 비트 속도와 함께 더 나은 품질을 제공하지만 더 높은 코더 지연기를 제공합니다. 데이터 녹음 (스트리밍이 아닌) 위해 손실없는 또는 고품질의 JPEG를 저장하십시오.

지연 예산 분할

Pipeline Stage	Typical 지연시간	Optimization Lever
Camera sensor exposure + readout	10–30 ms	Higher frame rate, global shutter
USB/GigE transfer to host	1–5 ms	GigE preferred over USB3 for determinism
Encoding (H.264 hardware)	5–20 ms	Hardware encoder (NVENC, V4L2)
Network transmission (LAN)	1–2 ms	Wired ethernet, QoS
Network transmission (WAN)	20–200 ms	CDN edge nodes, WebRTC ICE
Decoding on display host	5–15 ms	Hardware decoder
Display refresh latency	8–16 ms	120 Hz display
Total (LAN target)	30–90 ms	—
Total (WAN target)	50–300 ms	—

데이터 기록 형식

각 텔레오퍼레이션 세션은 일련의 에피소드를 생성합니다. 에피소드는 시작부터 끝까지 작업을 계속 시도하는 것입니다.

표준 녹음 형식은 HDF5 파일들을 사용한다.

• ** 이미지:** 30 Hz에서 압축된 JPEG 배열으로 저장됩니다. 720p에서 3 카메라를 사용하는 2 분짜리 에피소드는 압축되지 않은 약 500 MB를 필요로 합니다. JPEG는 이것을 ~ 50 MB로 줄입니다.
• 공동 상태: 100 Hz에서 기록: 모든 관절의 위치, 속도, 노력.
• 행동: 100 Hz에서 명령된 관절 위치 (훈련을 위해, 이것은 목표 출력입니다).
• 언어 명령어: 문자열 필드: "붉은 블록을 들고 쓰레기통에 넣으십시오".
• ** 메타데이터:** 에피소드 ID, 운영자 ID, 로봇 ID, 작업 이름, 시작 시간표, 성공 레이블, 환경 조건 (빛, 테이블 높기).

품질 측정

모든 텔레오퍼레이션 에피소드는 동일하지는 않습니다. 운영자와 세션에서 데이터 품질을 유지하기 위해 이러한 측정치를 추적하십시오.

• 공무원 개개인의 작업 성공률: 일부 사업자는 80% 이상의 성공률을 달성하고, 다른 사업자는 50% 이하입니다.
• ** 궤도 순조리 점수는:** 에피소드 전체에서 절대적 지저분 (위치의 세 번째 파생물) 을 의미합니다. 높은 지저분은 주저, 수정 또는 컨트롤러 불안정을 나타냅니다.
• ** 사업자 간 일관성:** KL 같은 작업에 대한 다른 사업자의 행동 분포 사이의 차이가. 높은 차이가 사업자들이 다른 전략을 사용하고 있음을 의미합니다.