왜 두 손으로 조작하는 것이 로봇 학습의 다음 경계지
두 손으로 잠금 해제할 수 없는 작업: 세탁, 케이블 라우팅, 요리, 조립. ALOHA, 모바일 ALOHA, 데이터 부족, 하드웨어 병목
한 팔의 조작은 지역적 최적화로 도달했습니다. 다음 중요한 작업은 세탁, 요리, 케이블 관리, 조립, 노인 관리 모두 두 개의 협동적인 손을 필요로 합니다. 우리가 가지고 있는 데이터, 하드웨어, 정책은 아직 그 세계에 준비가되어 있지 않습니다. 여기 이유가 있습니다.
실리콘밸리 로봇센터 연구팀에서 2026-04-10에 발표되었습니다.
TL;DR. 양손 조작은 단일 팔의 더 어려운 버전이 아닙니다. 그것은 질적으로 다릅니다. 경제적으로 중요 한 작업의 크고 증가하는 집합은 단일 팔의 로봇에게 물리적으로 불가능합니다. 대부분의 세탁, 대부분의 요리, 대부분의 케이블 작업, 대부분의 어린이 및 노인 관리 작업, 그리고 대부분의 산업 조립 작업은 여전히 인간에게 수행됩니다. ALOHA와 모바일 ALOHA는 하드웨어 패턴을 접근성 있게 만들었습니다. 이제 구속적인 제약은 (1) 고품질의 양동력 시범 데이터의 부족, (2) 두 팔의 조정을 명시적으로 모델링하는 정책의 미성숙성, (3) 여전히 양동력을 두 팔로 붙여진 것처럼 취급하는 하드웨어입니다.
1. 단일 팔 조작은 지역 최상위 수준에 도달했습니다
현대 로봇 학습의 첫 번째 물결은 거의 전적으로 단일 팔 기준으로 측정되었습니다. 테이블톱 픽, 삽입, 관절 객체 조작. 이들은 깨끗한 액션 공간, 깨끗한 카메라 설정 및 깨끗한 보상을 허용하기 때문에 다루기 쉽습니다. 몇 백 개의 시범과 함께 한 팔 모방 학습의 한계는 충분히 높아져 이 형태에 맞는 작업에 있어서 팀은 더 이상 학습에 의해 주로 제한되지 않습니다. 로봇의 사용성과 처리량에 의해 제한됩니다.
문제는, 단일 팔의 모형에 맞는 경제적으로 흥미로운 작업의 우주가 겉으로 보기에 비해 작다는 것입니다. 우리가 현실적인 집이나 직장 작업 목록 앞에 단일 팔의 로봇을 놓은 때마다, 대부분의 작업은 첫 10분 이내에 두 손을 필요로 한다는 것을 발견했습니다.
2· 두 손을 필요로 하는 작업
대부분의 사람들이 가장 먼저 생각하는 범주 는 세탁물 이다. 한 셔츠를 접는 데 적어도 한 손 이 기준 지점을 유지 할 필요 가 있고 다른 손 은 천을 조작 한다. 젖은 세탁물 을 세탁기 에서 건조기 로 옮기는 데 있어서 두 손 이 계속적으로 모이는 것 이 포함 된다. 단일 팔 로봇 이 한 तौ와 를 접으려고 시도 한 경우 는 즉시 이 논의를 이해 한다.
요리하는 것은 비슷합니다. 껍질을 벗는 것, 한 손으로 들고 있는 그릇에서 붓는 것, 그릇을 열고 칼을 관리하는 것, 그리고 절단판에 안정적인 손을 사용하는 것 모두 진정한 양동적 조정이 필요합니다. 두 개의 연속적인 단일 팔 단계가 아닙니다. 우리는 [로봇 부엌 보조를 만드는]에 콘크리트 빌드를 탐구합니다.
케이블 관리 및 전자 집합
침대에 있는 사람, 침대에 있는 사람, 침대를 바꾼 사람, 또는 누군가를 옷차림하는 사람 같은 돌봄 작업은 모두 공격적으로 양동적인 작업입니다. 이것은 인형 산업의 노동 부족 논문이 신체 능력의 실제 한계를 충족시키는 응용 공간입니다.
마지막으로, 많은 가정 작업은
3. ALOHA의 조용한 혁명은
2023년 스탠퍼드에서 발표된 ALOHA 플랫폼은 저렴한 3D 프린팅이 하드웨어 해킹에 대해 해킹을 해준 것과 같은 일을 조용히 해냈습니다. 입구 장벽을 제거했습니다. 2개의 저렴한 7DOF 팔, 리더-따라자 텔레오퍼레이션 기기, 깨끗한 ROS 인터페이스의 세트, 그리고 2인 실험실이 1/4의 시간 내에 만들 수 있는 재생 가능한 레시피. ALOHA 이전에는, 양동력 조작 연구는 바크스터 (생명 종료), 프랭카 파다 (~ 60K $+ 온-인) 또는 사용자 지정 구축 (~ 6 개월 엔지니어링) 를 요구했습니다.
우리는 [ALOHA 로봇 가이드] (
이 후의 모바일 ALOHA 작업은 모바일 기반에 동일한 레시피를 확장하여, 쌍방향 텔레오퍼레이션 패턴이 테이블 테프 이외에도 일반화된다는 것을 증명했습니다. 우리의 [Mobile ALOHA 비용 분배]
4. 왜 쌍방향은 단지 "두 팔"일 뿐이 아니라
초기 양 수립 정책 작업에서 흔히 실패하는 방식은 독립된 단일 정책 양성을 훈련시키고 병행하도록 하는 것이었다. 이것은 조율을 필요로 하는 모든 작업에서 즉시 끊어진다. 그 이유는 명시적으로 설명할 가치가 있습니다.
- 행동 공간 결합.* 많은 쌍방임 작업에서, 오른손의 올바른 동작은 왼손의 현재 자세, 접촉 상태 및 속도에 달려 있습니다. 국가의 양쪽을 보지 않는 정책은 지역적으로 합리적이지만 공동으로 잘못된 결정을 내릴 것입니다.
- ** 시간적 조율.** 2차 작업은 두 가지 팔이 함께 작용해야 하는 하위 두 번째 창을 가지고 있습니다. 공유된 행동 헤드 (ACT 및 후계자) 를 가진 행동 쪼개리 정책은 이것을 우아하게 처리하지만 독립적인 제어 루프와 독립된 정책은 그렇지 않습니다.
- ** 접촉 및 힘 공유.*** 두 손이 같은 물체를 들고 있을 때, 둘 중 어느 것도 전투 없이 독립적으로 위치 제어 할 수 없습니다. 정책은 공유 접촉과 종종 힘 분포에 대해 논해야 합니다. 우리의 연락 세력 설명 는 제어 이론 측면을 다루고 있습니다.
- ** 관찰
어.** 오른쪽 카메라의 가장 좋은 뷰는 종종 왼쪽 손과 공유된 객체를 포함하는 것입니다. 손목 카메라만으로는 그것을 잘라내지 않습니다. 타협을 위해 [카메라 설정 안내] T6 을 참조하십시오.
5. 데이터 문제는 보이는 것보다 더 큰 문제입니다
단일 팔 데이터 생태계는 오픈 X-Embodiment, DROID, 브리지데이터 V2 및 공개 데이터 세트의 긴 꼬리를 가지고 있습니다. 쌍방향 데이터 생태계는 ALOHA 스타일의 발매와 대부분 공개되지 않는 몇 개의 기업 데이터 세트를 가지고 있습니다. OpenVLA와 Octo를 가능하게 한 교차 체육 사전 훈련 이야기는 단순히 쌍방향에 아직 존재하지 않습니다.
왜? 왜냐하면 쌍방향 원격 조작은 확장하기 어렵기 때문입니다. 단일 운영자는 로봇을 제어하기 위해 두 손을 자유롭게 필요로 합니다. 이는 단일 팔 데이터 수집을 확장하는 클릭 및 추출 인터페이스를 배제합니다. 리더-따라자 기구는 작동하지만 운영자에게 더 많은 하드웨어를 필요로합니다. VR 기반 접근법은 운영자 측의 에르고노미를 해결하지만 자체적인 기량 및 지연 문제를 도입합니다. [VR 텔레오퍼레이션 회사] (T7
결과로, 쌍방향 데이터 수집은 단팔보다 1시간에 약 2-3배 더 비싸고, 에피소드별 시범 품질은 더 변동적입니다. 우리의 비용 분석은 [robot 데이터 수집 비용이 얼마나 많은지]
6· 하드웨어 병목
이중동력 하드웨어는 3가지 만성적인 문제를 가지고 있다. 첫째는 두 팔이 거의 항상 작업 공간을 공유해야 하며, 둘 사이의 충돌 피는 여전히 1급 제어 문제보다는 ad-hoc 방식으로 처리된다. 둘째는 대부분의 "이중동력" 상업 플랫폼은 실제로 공유된 기반에 묶인 두 팔이므로, 공유된 몸부 Kinematics 또는 공유된 가슴 카메라가 없습니다. 이것은 스펙시트럼에서 괜찮은 것처럼 보이지만 실제 작업에 매우 중요합니다. 몸 전체를 뻗어 두 손으로 물체를 껴안고,
세 번째, 가장 덜 논의되는 것은 최종 효과 입니다. 단일 팔 연구 는 보통 간단한 두 손가락 평행 지갑으로 벗어납니다. 쌍손잡이 작업 은 적어도 한 편 에서 그 보다 더 많은 것 을 필요로 합니다. 가장 뛰어난 로봇 손들을 살펴보면, 그리고 우리의 [잡기 가이드] (
7.. 인간형 연결
모든 심각한 인형 플랫폼은 적어도 경제적 가치가 있는 곳의 측면에서 두 가지 수동 조작 플랫폼과 두 번째 로코모션 플랫폼입니다. Unitree G1, Booster T1, Fourier GR-2, 그림 02, Apptronik Apollo, 1X Neo
8· 두 가지 수서 구조를 명시적으로 모델링하는 정책
정책 측면에서의 연구 경계는 새로운 특성보다는 일급적인 관심사로서 쌍방향 조정을 모델로 하는 건축으로 나아가고 있다. 공유 척추와 두 개의 행동 헤드 있는 액션
이 분야는 다음 해 동안 가장 중요한 연구 발전을 기대하고 있으며, 오픈 VLA가 여전히 가장 좋은 폐쇄적인 노력을 따라잡고 있는 분야입니다. 오늘날 모델을 선택하는 팀들을 위해 우리는 /vla-models/ 에서 실용적인 교류를 기록하고 있습니다. 그리고 [예산에 따른 VLA 교육을 확장하는](
9· 투자 를 선택 하는 연구소 들 에게 실용적 인 조언
- ** 잘 알려진 하드웨어 패턴을 시작하세요.** ALOHA 스타일의 리그 또는 두 가지 수동적인 상업 플랫폼을 사용하세요. 처음부터 하나를 만들려고 하지 마십시오. 연구 내용은 정책과 데이터에 있습니다. 운동학이 아닙니다. [RCSV 스토어]에 하드웨어 옵션을 참조하십시오.
- **전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용전용
- 모델을 만들기 전에 데이터 파이프라인을 구축하세요. 두 가지 매뉴얼 데이터 세트의 품질은 정책 구조보다 더 단단하게 제한됩니다. [데이터 품질 체크리스트]를 사용하세요.
- ** 두 가지 가치 있는 과제를 선택하세요.** 세탁, 케이블 작업, 음식 준비 등은 이중 설명서를 이해관계자들에게 구체적으로 설명합니다.
- 예산적* 2차 연구 비용은 적어도 첫 해 동안 하드웨어 및 사업자에서 한 팔의 약 2배 정도입니다.
- 리징을 고려하세요. 만약 여러분이 기업에 대해 두 차례의 연구를 진행하고 있다면, [RCSV 리징] (
T21 ) 은 여러분이 카피스 결정 없이 1분 동안 실행할 수 있게 해줍니다.
10· 마무리 지명
로봇 분야에서 일반적인 패턴이 있는데, 로봇은 잘못된 것을 측정할 수 있기 때문에 10년 동안 최적화하는데 사용되며, 사람들이 올바른 것을 측정하기 시작하면 흥미로운 발전이 발생합니다. 우리는 한 팔 기준을 최적화하는 데 10년 동안 사용했습니다. 다음 10년대는 이전에 불가능했던 두 손으로 수행되는 작업으로 측정됩니다. ALOHA가 문을 열었습니다. 데이터와 정책은 우리가 얼마나 빨리 그것을 통과하는지 결정합니다.
만약 여러분이 이 공간에서 건설하고 있다면, 우리의 [수권자 안내서] (
** 관련 읽기:** 모바일 ALOHA 설정, ALOHA 가이드, 텔레오퍼레이션 데이터 품질, 그리고 인체 공급망 현실 확인.