로봇 텔레오퍼레이션: 방법, 하드웨어, 그리고 최선의 방법
로봇 텔레오퍼레이션 <unk> VR 시스템, 리더-따라자 팔, 장갑 텔레오퍼레이션, 지연성 도전 및 데이터 수집 응용 프로그램
[← 가이드]
리모컨 로봇을 제어하는 데 필요한 모든 것 VR 헤드셋에서 리더 팔에 이르기까지, 지연, 데이터 품질, 확장 작업에 대한 실용적인 지침과 함께.
로봇 텔레오퍼레이션 은 무엇 입니까?
로봇 텔레오퍼레이션은 인간 운영자가 로봇을 실시간으로 원격으로 제어하는 것입니다. 운영자는 입력 장치를 통해 연속 또는 거의 연속적인 명령 (지위 목표, 속도 목표 또는 힘 목표) 을 제공합니다. 로봇은 하드웨어 및 제어 시스템이 허용하는 만큼 충실히 그 명령을 실행합니다.
1950년대부터 텔레오퍼레이션이 존재해 왔습니다. 아르곤 국립 연구소에서 방사성 물질을 처리하기 위해 최초의 텔레오퍼레이터는 사용되었습니다. 2020년대에는 응용이 바뀌었습니다. 인간이 로봇을 원격으로 작업 수행할 때, 결과된 센서 데이터와 액션 명령은 동일한 작업을 자율적으로 수행하도록 [이미레이션 학습] (T1
이 두 가지 사용 특성으로 인해
텔레오퍼레이션의 응용
- ** 시범 데이터 수집:** 2026 년의 지배적 응용 프로그램. 운영자는 조작 작업을 수행하기 위해 로봇을 원전으로 작동시켜 행동 복제, ACT, 퍼포시션 정책 또는 VLA 모델을 통해 정책을 훈련하는 데 사용되는 (관측, 행동) 쌍의 데이터 세트를 생성합니다. 전체 파이프 라인을 위해 [데이터 수집 안내]
T2 을 참조하십시오. - ** 원격 검사 및 유지보수:** 인간 존재가 위험하거나 불가능한 위험한 환경 (핵 시설, 깊은 바다, 우주, 재난 지역) 에서 로봇을 운영하는 경우.
- ** 텔레수술:** 다 빈치 외과 시스템은 역사상 가장 상업적으로 성공한 텔레수술 플랫폼으로 7백만 건 이상의 수술을 수행했다. 수술적 텔레수술은 어떤 응용 프로그램에서도 가장 낮은 지연 (<5 ms) 과 가장 높은 정확성을 요구한다.
- ** 원격 조립 및 제조:** 한 위치에서 운영하는 사업자들은 수천 마일 떨어진 공장에서 로봇을 제어합니다. 노동력 부족과 COVID 시대 접촉 없는 운영의 필요에 의해 발생하는 새로운 사용 사례.
텔레오퍼레이션 방법 들 을 비교
VR 헤드셋 텔레오퍼레이션 (메타퀘스트 3)
운영자는 VR 헤드셋을 착용하고 (Meta Quest 3는 현재 표준 $500) 그리고 원하는 최종 효과자 위치를 카르테시아 공간에서 지정하기 위해 손 컨트롤러 또는 손 추적을 사용합니다. 로봇의 역 운동학 해상기는 명령 된 위치에 도달하기 위해 필요한 관절 각을 계산합니다.
어떻게 세부적으로 작동 하는 것 입니까?
Quest 3 스트림 컨트롤러 6-DOF는 IK 서버를 실행하는 작업 스테이션에 72 Hz로 WiFi를 통해 데이터를 (지위 + 방향) 포지션한다. IK 서버 (일반적으로 PyBullet, MuJoCo 또는 사용자 지정 IK 솔루터를 사용하여) 는 최종 효과자 목표를 공동 위치로 변환한다. 이러한 공동 위치들은 로봇의 로보트 모터 컨트롤러로 로보트의 네이티브 통신 프로토콜 (USB, 이더넷, ROS2) 를 통해 전송된다. 운영자는 헤드셋에 로봇의 작업 공간에서 실시간 카메라 피드를 보고, 폐쇄 루프 제어에 시각적 피드백을 제공합니다.
장점
- 가장 낮은 하드웨어 비용 ($500) VR 헤드셋은 유일한 추가 하드웨어입니다
- VR 경험이 있는 사업자에게 직관적인
손 위치에서 로봇 위치로 지도가 자연스러운 - 카르테스 위치 명령을 받아들이는 모든 로봇 팔과 작동합니다
- 단일 운영자 두 개의 컨트롤러를 동시에 사용하는 쌍방향 제어
- 휴대용
헤드셋은 기계적으로 로봇에 연결되지 않아 운영자가 다른 방에있을 수 있습니다
음점
- WiFi 전송 및 IK 계산으로 인해 더 높은 지연시간 (15-40 ms 전체)
- 자기 수용 반응이 없습니다.
- VR로 인한 메스꺼움은 많은 사업자에게는 세션 기간을 60~90분으로 제한합니다.
- 접촉이 풍부한 작업에 대한 정확도가 낮아
힘의 피드백이 없이, 운영자는 삽입 및 조율 작업을 초과합니다 - IK 특이성은 팔이 전체 확장 또는 손목 잠금 구성에 가까운 때
이 움직임을 유발합니다
리더-따라자 의 무기
운영자는 물리적으로 가벼운 "리더" 팔을 들고 움직인다. 더 무거운 "후보" 팔은 실시간으로 리더의 공동 위치를 추적합니다. 이것은 ALOHA, 모바일 ALOHA 및 2026 년 심각한 데이터 수집 설정의 대다수가 사용하는 접근 방식입니다.
어떻게 세부적으로 작동 하는 것 입니까?
리더와 추종자 모두 동일한 서버 패밀리를 사용한다 (예를 들어, 다이내믹셀 XM/XH 시리즈) 공유 USB 버스를 통해 단일 컴퓨터에 연결된다. 컴퓨터는 리더의 공동 위치를 50-200 Hz에서 읽고 추종자에게 위치 목표물로 전송한다. 지도가 공동으로 연결되기 때문에 (IK 계산이 없다) 지연은 운영자에게 투명하게 느껴질 정도로 3-8 ms
리더 팔은 일반적으로 추종자보다 작고 가벼운다 (예를 들어, 위도우X-250 리더와 바이퍼X-300 추종자). 리더에 대한 중력 보상으로, 긴 수집 세션을 허용하여 유지하기가 쉬워집니다. 리더와 추종자 사이의 운동적 유사성은 운영자의 자기 인식이
장점
- 최저 지연시간 (3-8 ms)
운영자는 로봇과 직접 연결된다고 느낄 수 있습니다 - 자기 수용적 피드백
운영자는 리더 팔의 위치를 감지하여 추종자에게 지도를 그리는 - 공동 공간 작업에 대한 최고 데이터 품질
IK 유물, 독자성 문제가 없습니다 - 자연적이고 빠른 사업자의 이동으로 인해 가장 높은 처리량 (시간당 20-35개의 시범)
- 잘 증명된: ACT, 퍼포시션 정책, 그리고 LeRobot 코드베이스들은 모두 리더와 추종자 데이터를 원천적으로 지원합니다
음점
- 추가 하드웨어 비용 (지도자 팔에 3,000~8,000 달러)
- 운영자는 리더 팔과 물리적으로 위치해야 합니다 (거리에서 작동하는 것이 없습니다)
- 리더와 추종자 사이의 운동적 차이 (다른 링크 길이가, 관절 한계가) 는 작업 공간의 부합을 유발합니다.
- 리더 팔은 운영자의 편의성을 위해 중력 보완 조정이 필요합니다
외골격 과 첩기 장갑
운영자는 손가락 관절 각을 추적하고 선택적으로 힘 피드백을 제공하는 손 외골격이나 촉각 장갑을 착용한다. 손가락 위치는 능숙한 로봇 손 (5 손가락, 15+ DOF) 에 따라 지도된다.
장점
- 유능한 조작 작업에 필수적인 방법
- 해피틱 피드백 (고급 장갑) 은 운영자가 포착된 물체를 느낄 수 있도록 합니다.
- 자연적인 손 제어 인터페이스
운영자는 기존의 미세 운동 능력을 이용합니다
음점
- 높은 비용 (연구급 장갑 한 쌍 에 대해 8,000~20,000 달러)
- 신체적으로 까다로운
45~60분 후 작업자의 피로 - 각 사업자의 손 기하학에 필요한 캘리브레이션
- 능숙한 로봇 손 (더 이상 8,000~ 220,000 달러) 와 결합하면만 유용 합니다.
- 느린 처리량 (시간당 8~15번)
조이스틱과 게임패드
운영자는 조이스틱 축을 사용한다. (특히 3DConnexion SpaceMouse 또는 듀얼 아날로그 게임패드) 최종 효과자 속도 또는 공동 속도를 제어하기 위해. 각 조이스틱 축은 한 정도 자유로움을 지도한다.
장점
- 가장 저렴한 옵션 ($30~$300)
- VR 병, 신체적 노력이 없습니다
- 모바일 로봇 탐색 및 카메라 위치에 적합합니다
음점
- 최소 제어 대역폭 6DOF 팔은 대부분의 제어기가 제공하는 것보다 더 많은 축을 필요로 합니다
- 비자연적 인터페이스
운영자는 정신적으로 조이스틱 축을 로봇 축으로 매핑해야 합니다. - 속도 조절 (다른 방법에서의 위치 제어와 비교) 에 의한 혼란스러운 궤도
- 최저 출력 (5~12 시중)
- 데이터 품질은 측정 가능한 수준으로 악화되었습니다.
| Method | 지연시간 | Hardware Cost | Demos/Hour | Data Quality | Best For |
|---|---|---|---|---|---|
| VR Headset | 15-40 ms | $500 | 15-25 | Good | Budget teams, rapid prototyping |
| Leader-Follower | 3-8 ms | $3K-$8K | 20-35 | Highest | Serious data collection |
| Exo Gloves | 5-15 ms | $8K-$20K | 8-15 | High (dexterous) | Dexterous manipulation |
| Joystick | 1-5 ms | $30-$300 | 5-12 | Lower | Navigation, quick prototyping |
지연: 핵심 과제
지연성
지연 예산 분할
전체 텔레오퍼레이션 지연은 여러 파이프라인 단계의 합입니다.
- ** 컴퓨터에 입력 장치:** 1-15 ms USB HID (joystick, SpaceMouse): 1-2 ms WiFi (VR 헤드셋): 5-15 ms 블루투스 (어떤 게임 패드): 10-30 ms
텔레오퍼레이션으로 블루투스를 피하십시오. - 컴퓨팅 (IK, 안전 검사): 1~10 ms. 공동 공간 리더-후보: <1 ms (직접 복사)
- ** 컴퓨터에서 로봇 액추에터:** 2-15 ms. 직선 USB/EtherCAT: 2-5 ms. DDS를 통해 ROS2 주제는: QoS 설정과 네트워크에 따라 5-15 ms.
- ** 액추에이터 반응:** 5~20 ms. 모터 컨트롤러 PID 설정 시간. 작은 움직임에 더 빨리, 큰 명령에 더 느리게.
허용 가능한 지연률
- <10 ms: 즉시 느껴집니다. 수술적 텔레오퍼레이션에 필요합니다. 공유 USB 버스에서 리더-따라자로 달성 가능합니다.
- ** 10-30 ms:** 반응성이 높습니다. 대부분의 조작 작업에 적합합니다. 로컬 와이파이를 통해 VR로 달성 할 수 있습니다.
- 30-100 ms: 눈에 띄는 지연. 운영자는 느리고 의도적인 움직임으로 보상합니다. 데이터 품질은 빠른 작업에 떨어집니다. 여전히 느린 조작과 탐색에 사용할 수 있습니다.
- >100 ms: 운영자의 성능을 크게 저하시킨다. 이동 및 대기 전략이 필요합니다. 원격 검사와 같은 비 시간적 중요한 작업에서만 허용됩니다.
늦은 시간 을 최소화 하는 방법
- 가능한 경우 와이파이 대신 유선 연결 (USB, 이더넷) 을 사용
- 전용 CPU 코어에서 실시간 OS (PREEMPT_RT 커널을 가진 우부ಂಟು) 에서 제어 루프를 실행하십시오
- 공동 위치 노드에서 프로세스 내부 통신을 사용하여 ROS2 미들웨어 오버헤드를 최소화
- 리더와 추종자 링크에 ROS2 주제를 대신 직접 모터 통신 (Dynamixel Protocol 2.0 대량 읽기/쓰기) 을 사용한다
- 파이프라인을 끝에서 끝으로 프로파일
실제 지연을 측정하고 추정하지 않습니다. 단일 잘못된 구성 네트워크 버퍼는 20+ ms을 추가할 수 있습니다
데이터 수집과 실제 배포에 대한 텔레오퍼레이션
텔레오퍼레이션에 대한 요구 사항은 훈련 데이터를 수집하거나 생산적인 작업을 위해 로봇을 운영하는지에 따라 크게 다릅니다.
데이터 수집 텔레오퍼레이션
- ** 우선 순위:** 데이터 품질과 처리량. 모든 에피소드는 깨끗하고 성공적인 시범이어야 합니다.
- 연연 용량: 중간. 10-30 ms는 운영자가 로봇이 직접적으로 볼 수 있는 제어된 실험실 환경에서 있기 때문에 허용된다.
- ** 세션 기간:** 세션당 1-3시간, 하루에 여러 세션. 운영자 편의 및 피로 관리는 매우 중요합니다.
- **실패 처리:**실패하는 시범은 폐기된다.실패한 에피소드의 비용은 운영자의 시간 (30-90초) 에 불과하다.
- ** 네트워크:** 로컬 네트워크만 데이터 수집 텔레오퍼레이션은 인터넷에서 실행되어서는 안 됩니다
배포 텔레오퍼레이션
- ** 우선 순위:** 신뢰성 및 안전. 로봇은 실제 작업을 수행하고 있습니다.
- ** 늦체 용당성:** 낮은. WAN에서 원격 배포를 위해, 50-200 ms의 지연은 일반적이며 예측 제어, 공유 자율성, 이동 및 대기 인터페이스와 함께 관리되어야합니다.
- ** 세션 기간:** 산업적인 텔레오퍼레이션에서 8~12시간 근무. 에르고노믹 작업장, 여러 운영자 중 회전 및 피로 모니터링이 필요합니다.
- 실점 처리: 안전 하락 행동 (정지, 안전 자세로 회귀, 경보 감독) 을 가져야 한다. 로봇은 텔레오퍼레이션 중에 결코 회복 불가능한 상태로 들어가지 말아야 한다.
- ** 네트워크:** 종종 원격 (WAN/인터넷) 이 필요하며, 패킷 손실에 있어서 유리한 해상, 보안 (호호화된 연결, 인증) 을 요구합니다.
RCSV 텔레오퍼레이션 플랫폼
RCSV 데이터 플랫폼 는 대규모 데이터 수집 캠페인에 설계된 통합된 텔레오퍼레이션 시스템을 제공합니다.
- ** 다중 인터페이스 지원:** VR (Meta Quest 3), 리더-따라자 (OpenArm, ViperX), SpaceMouse
- ** 실시간 품질 모니터링:** 에피소드 성공률, 궤도 순조성, 수집 속도, 그리고 운영자 성능 측정치를 보여주는 라이브 패시보드
- ** 자동 데이터 파이프라인:** 에피소드는 HDF5로 기록되고 품질을 확인하고 LeRobot 형식으로 수출됩니다.
- ** 다중 스테이션 조정:** 중앙집중된 데이터 세트 관리로 단일 패시보드에서 1~8개의 수집 스테이션을 관리합니다
- 운영자 관리: 시간 동안 개별 사업자 처리량 및 품질 측정량을 추적합니다. 추가 교육이 필요한 사업자를 식별합니다.
첫 번째 텔레오퍼레이션 세션 을 어떻게 설정 해야 합니까?
이 단계별 가이드에서는 로봇 팔을 가지고 시범 데이터를 수집하기 시작한다고 가정합니다.
단계 1: 텔레오퍼레이션 방법을 선택하세요
대부분의 팀 들 이 시작 하는 경우 리더- 팔로워 는 리더 팔 (3000~8000 달러) 를 감당 할 수 있다면 가장 좋은 선택 이다. 예산이 좁으면 VR (VR) 를 시작 하십시오. 500 달러 (USD) 를 시작 하십시오. 작업 에 능숙 한 조작이 필요하다면 장갑 을 사용 해야 합니다. 작업 요구 사항 에 맞게 위의 비교 를 검토 하십시오.
단계 2: 하드웨어를 설정
로봇 팔을 안정적인 표면에 설치하십시오 (중고기용 테이블, 최소 30kg,
단계 3: 텔레오퍼레이션 소프트웨어를 설치
[OpenArm]
단계 4: 캘리브레이션 및 테스트
테스트 모드에서 텔레오퍼레이션을 실행하세요 (녹음 없이). 확인: 로봇이 명령어를 원활하게 따르고, 카메라 조치가 전체 작업 작업 공간을 커버하고, 지연은 허용되는 것처럼 느껴집니다. 관절 제한은 작업 동작에 방해를 주지 않습니다. 카메라 위치를 조정하고, IK 매개 변수를 조정하고, 응급 중지 기능을 확인합니다.
단계 5: 작업 프로토콜을 정의하십시오
어떤 데이터를 수집하기 전에 다음을 적어 보세요: 작업 목표 (특정, 일관성), 시작 구성 (물질 위치, 팔 자세), 예상 접근 전략, 성공 및 실패 기준. 수집 전에 이 프로토콜을 갖는 것은 운영자와 세션들 간의 일관성을 보장합니다.
단계 6: 작은 테스트 패치를 수집
20-30개의 시범을 기록하세요. 간단한 정책을 훈련하세요 (전설 하이퍼파라미터의 ACT). 실제 로봇에 대한 평가를하세요. 성공률이 50% 이하인 경우, 문제는 거의 확실히 데이터 품질이 문제이고 모델 용량이 아닙니다. 시범을 검토하고 불합치들을 확인하고 프로토콜을 정비하고 다시 수집하세요. 완전한 걸음걸이를 위해 [OpenArm 학습 경로]
스케일링 텔레오퍼레이션 운영
단일 연구소에서 다중역 데이터 수집 운영으로 이동하는 것은 표준화, 품질 관리 및 운영자 관리에 대한 투자가 필요합니다.
역 표준화
모든 수집역은 물리적으로 동일한 데이터를 생성해야 합니다. 이것은 동일한 펌웨어 버전과 동일한 팔 모델, 동일한 위치에있는 동일한 카메라 모델 (카메라 배치에 설치 칩을 사용), 동일한 조명 조건 (운동 초기에는 냉동 된 동일한 소프트웨어 버전) 를 의미합니다.
운영자 훈련 파이프라인
새로운 사업자들은 생산 데이터를 수집하기 전에 4~8시간의 훈련이 필요합니다. 훈련 순서: 1) 자유형 연습 (1시간) 으로 텔레오퍼레이션 인터페이스를 배우십시오. 2) 즉각적인 피드백 (2시간) 으로 특정 작업을 연습하십시오. 3) 품질 기준 (1시간) 에 따라 평가된 30개의 에피소드 가량 배치를 수집하십시오. 4) 한 생산 세션 (2시간) 에 대해 경험이 풍부한 사업자를 그림자하십시오. 기밀배치에서 품질의 임대점을 충족하는 사업자만이 생산 순환에 참여한다.
품질 관리 시스템
3가지 품질 통제 계층을 실시: 1) 실시간: 수집 과정에서 자동화된 검사를 실시한다 (사진 길이의 제한, 관절 제한 위반, 카메라 프레임의 떨어짐). 2) 사상 후: 24시간 이내에 인간 또는 자동화된 검토 (성공 확인, 전략의 일관성). 3) 사전 훈련: 데이터 세트 수준의 분석 (분배 커버리지, 외상 탐지, 사업자 간 일관성). 어떤 계층에도 실패하는 에피소드를 거부합니다. 5%의 거부율은 건전하다. 15% 이상은 프로토콜 또는 운영자 훈련에 대한 시스템 문제점을 나타냅니다.
RCSV로 텔레오퍼레이션을 설정
키가 있는 데이터 수집 역이나 훈련된 운영자들로 관리된 텔레오퍼레이션 서비스가 필요하든 RCSV는 높은 품질의 시범 데이터를 빠르게 수집할 수 있습니다.