로봇 훈련 데이터를 수집하는 방법: 단계별 안내서 (2026)

[← 가이드]

하드웨어 설비 및 원격 조작 방법 선택에서 에피소드 디자인, 품질 관리, 확장 및 훈련 파이프라인에 섭취하는 등 고품질의 로봇 시범 데이터를 수집하는 것에 대해 알아야 할 모든 것

시작 하기 전 에 필요한 것

데이터 수집은 모든 [이미테이션 학습]T10의 기초입니다. 데이터 부족은 훈련 알고리즘이 얼마나 정교했는지에 관계없이 나쁜 정책을 생성합니다. 하나의 에피소드를 녹화하기 전에 다음을 확인하십시오:

하드웨어 체크리스트

** 50 Hz에서 위치 제어:** ViperX-300 S2, Koch v1.1, OpenArm, Franka Emika Panda, 또는 유사한. 팔은 50 Hz 또는 그 이상의 공동 위치 명령을 받아서 같은 속도로 현재 공동 위치를 보고해야합니다.
** 텔레오퍼레이션 인터페이스:** 리더-따라자 팔 (최고의 데이터 품질), VR 컨트롤러 (메타 퀘스트 3, 가장 낮은 비용) 또는 3D 마우스 (스페이스 마우스, 가장 간단한 설정) 아래의 방법 선택 섹션 참조.
** 카메라:** 최소 2개의 카메라 손목 장착된 1개 (인텔 리얼센스 D405 추천) 및 1개의 오버헤드 (리얼센스 D435 또는 로지텍 C920).
** 작업장:** Ubuntu 22.04 또는 24.04 (현대 카드 사용은 데이터 수집에 사용된다)
** 녹음 소프트웨어:** LeRobot 녹음 스택, ALOHA 녹음 스크립트, 또는 사용자 지정 ROS2 데이터 로거. 동기화 합동 데이터 (50 Hz) 및 카메라 프레임 (30 fps) 를 가진 HDF5 파일을 출력해야 합니다.
Task Objects: 데이터 수집 과정에서 조작할 객체. 가능한 경우 복수 일반화를 위해 객체 인스턴스를 변경하고 싶을 것입니다.
** 백업 저장소:** 야간 백업을 위한 외부 SSD 또는 NAS. 한 날 데이터 수집은 2050 GB를 생산합니다. 디스크 장애로 인해 수집 하루를 잃는 것은 비싸다.

텔레오퍼레이션 방법 을 선택 하는 것

당신이 선택한 텔레오퍼레이션 방법은 데이터 품질, 수집 처리량, 운영자 피로에 직접적으로 영향을 미칩니다. 이 결정 트리를 사용하세요:

결정 나무: 과제 정확성

** 미리미터 이하의 정확성 요구 ** (insertion, threading, fine assembly) → ** 리더-후배 팔.** 리더와 후배 사이의 운동적 일치는 최고의 위치 정확성을 제공합니다. 비용: $6,000~$10,000 리더 팔.
** 센티미터 수준의 정확성 충분** (기, 분류, 포장) → **VR 컨트롤러 (메타 퀘스트 3) ** 자연적인 손 움직임, 저렴한 비용 ($500), 더 빠른 운영자 탑승.
6-DOF 최종 효과자 제어 (연결 부적 인 작업, 표면 추종) ** ** 중력 보완을 가진 리더-후보 팔. 운영자는 리더 팔을 통해 저항을 느끼고, 힘에 민감한 시범을 가능하게 한다.
손잡이 조작 (손가락 수준에 잡는 것, 손 안에 회전) → 외골 장갑 (SenseGlove Nova 2 또는 HaptX G1).
** 빠른 프로토타입 제작, 단일 축 작업** → SpaceMouse 또는 키보드. 입구 장벽이 가장 낮습니다. 더 나은 하드웨어에 투자하기 전에 녹음 파이프라인을 검증하기에 적합합니다.

대부분의 팀들이 시작하면 다음과 같은 추천을 합니다. ** 당신이 감당할 수 있다면 리더-따라자 설정을 시작하거나 ** VR 컨트롤러을 사용하면 예산이 제한됩니다. 데이터 품질 차이는 측정할 수 있습니다.

카메라 및 센서 설정

카메라 설정은 데이터 수집 품질에 있어서 가장 과소평가되는 요소 중 하나입니다. 수집과 배포 사이에 5mm로 이동하는 카메라는 정책의 포착 성공률을 20% 이상 떨어뜨릴 수 있습니다.

카메라 종류 와 언제 사용 해야 하는 것

** 손목 카메라 (로봇 최종 효과에 설치):** 조작 포인트의 근접적인 시야를 제공합니다. 정밀 작업 (insertion, fine grasping) 에 필수적입니다. 로봇과 함께 움직이기 때문에 항상 동작을 프레임합니다. 권장: Intel RealSense D405 (콤팩트, 글로벌 셔터, 640x480 30fps). 딱딱한 3D 프린트 브래킷을 사용하여 마운트합니다.
오버헤드 카메라 (정착, 작업 공간으로 내려다보): 글로벌 장면 맥락을 제공합니다. 정책이 작업 공간에서 객체를 현지화하는 데 필요한 선택 장소 작업에 필수적입니다. 테이블 위 120150cm, 작업 공간 중심을 얹습니다. 권장: Intel RealSense D435 또는 Logitech C920.
** 옆 카메라 (기반 높이, 테이블 높이):** 상공에서 차단된 접근 궤도와 포착 프로필을 촬영합니다. 수직 접근 (상층, 위에서 삽입) 의 작업에 유용합니다. 작업자로부터 작업 공간의 반대편에 테이블 높이에서 설치합니다.
** 멀티뷰 설정 (3+ 카메라):** 고품질 수집 표준. ALOHA는 3개의 카메라 스택을 사용한다. 왼쪽 손목, 오른쪽 손목, 상면. 카메라를 추가하면 데이터 볼륨이 선형적으로 증가하지만 전망점 변동에 대한 정책 강도를 향상시킵니다.

설치 및 기량 조정 팁

단단한 알루미늄 배열 또는 철강 브래킷을 사용 하십시오. 슬라이드 할 수 있는 클램프 또는 접착 마운트를 사용 하지 마십시오.
카메라 를 설치 한 후 페인트 펜 이나 그라브링 으로 카메라 위치 를 표시 하십시오. 카메라 가 충돌 시, 카메라 가 움직인 것 을 확인할 수 있습니다.
여러일간의 수집 캠페인 전에 ArUco 보드를 사용하여 카메라 외부를 캘리브라하고, 에피소드 데이터와 함께 캘리브라션을 저장합니다.
카메라를 수동 노출로 설정하고 화이트 균형이 고정되어 있습니다. 자동 노출은 프레임 사이에 밝기가 깜빡이는 것을 유발합니다.
프레임 동기화 확인: 카메라와 공동 데이터의 시간표가 같은 시계를 통해 확인되어야 합니다. 하드웨어 트리거 (RealSense 멀티 카메라 동기화) 또는 공유 NTP 시계를 통해 소프트웨어 동기화를 사용하십시오.

에피소드 디자인

"피소드"는 작업의 시작부터 끝까지 하나의 시범입니다. 당신이 에피소드를 디자인하는 방식은 정책이 에서 배우는 배포를 결정하고 따라서 배치 시 무엇을 할 수 있고 할 수 없다는 것을 결정합니다.

과제를 정의 하는 것

데이터를 수집하기 전에 정확한 작업 규정을 작성하십시오. 다음을 포함합니다.

** 임무 목표:** " 테이블 에서 붉은 거리를 가져다가 파란색 그릇 에 넣으십시오". 어떤 물체, 어디서 시작 되고, 어디서 끝나는지에 대해 구체적으로 알려 주십시오.
** 성공 기준:** "큐브는 그릇 내부에 있고, 지갑은 열려 있고, 팔은 본 위치로 돌아왔다".
** 허용 된 전략:** "상층에서 아래쪽으로 파악하는 방법으로 큐브에 접근한다". 또는 명시적으로: "모든 파악 접근 방식은 허용된다".
** 에피소드 길이는:** 최대 에피소드 길이를 정의합니다. 전형적인 테이블 피크 장소: 515초. 에피소드 중장 길이가 2배 이상이면, 뭔가 잘못되었다는 경우, 그것을 버립니다.

국가 배포를 시작

시작 상태 분포는 정책의 배포 강도를 결정합니다. 모든 시범이 객체와 같은 위치에서 시작되면 객체가 3cm 왼쪽으로 갈 때 정책이 실패합니다.

단계 1 (첫 50 개의 디모): 작은 시작 상태 분포를 사용하십시오. 중앙 지점에서 5cm 반경 내에 물체의 위치를 변경하십시오. 이것은 운영자가 기술을 쌓는 동안 일관된 시범을 보장합니다.
** 2단계 (디모 51200):** 전용 임용 배포량으로 확장. 전체 접근 가능한 작업 공간에 걸쳐 객체 위치가 달라집니다. 필요한 경우 객체 지향이 달라집니다.
** 3단계 (디모 200+):** 주의를 끄는 장치, 객체 변종, 조명 변동 및 배경 변경을 추가합니다. 이 단계는 일반화를 목표로합니다.

리셋 프로토콜

에피소드 사이에서는 해당 장면을 유효한 시작 상태로 재설정해야 합니다.

로봇을 가정 구성으로 되돌려 놓습니다 (예정된 공동 위치).
작업 객체를 시작 상태 분포 내에서 새로운 위치에 배치하십시오.
현상이 작업 스펙에 맞는지 확인하세요 (시시되는 객체, 점막이 없습니다, 지갑이 열려 있습니다).
장면이 정해진 1초 동안 기다립니다 (물질의 잔류 움직임이 없습니다).
녹화 시작해

슬로피 리셋은 나쁜 에피소드의 1위원입니다. 가능한 한 최소 의 리셋을 자동화하고 로봇이 본 위치로 돌아오는 것을 자동화합니다.

첫 10 편의 에피소드를 녹음

첫 10 편은 훈련 데이터를 수집하는 것이 아니라 파이프라인을 검증하는 것입니다. 이 과정을 따라가세요:

단계 로 진행

** 녹음 스크립트를 시작하세요.** HDF5 출력이 올바른 디렉토리로 작성되었는지 확인하세요. 녹음 중에 파일 크기가 증가하는지 확인하세요 (데이터 흐름을 나타냅니다).
**운동자를 위치.**운동자는 직선에서 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선으로 직선
기록 에피소드 1. 과제를 원활하게 수행하십시오. 서두르지 마십시오. 부드럽고 의도적인 움직임은 빠르고 거칠고 있는 것보다 더 나은 정책을 만들어냅니다. 일반적인 속도: 50~70%는 당신이 할 수있는 가장 빠른 것입니다.
** 녹음을 중단하고 에피소드를 확인하세요.** HDF5 파일을 열고 확인하세요:

공동 위치 데이터 (T3) 는 예상되는 시간 단계 (피소드 기간·초 x 50 Hz) 를 가지고 있다.
카메라 이미지는 (T4) 예상된 프레임 수를 (시간 x 30fps) 가지고 있습니다.
행동 데이터 (T5) 는 공동 위치 차원과 일치한다.
이미지를 재생하고, 공동 데이터와 동기화된다고 확인하세요.

** 210 에피소드를 기록하십시오. ** 약간 다른 시작 위치. 각 에피소드 후, 녹음된 이미지들을 빠르게 시각적으로 확인하십시오.
** 훈련 테스트를 실행하세요.** 이 10 에피소드를 훈련 스크립트에 입력하세요. 좋은 정책을 기대하지 않습니다.

각 에피소드 에 대한 품질 관리

각 에피소드는 훈련 데이터 세트에 추가되기 전에 이 8 점 품질 체크리스트를 통과해야 합니다. 검토는 에피소드당 30~60 초를 걸립니다. 그리고 몇 주 후에 나쁜 정책을 디버깅하는 것을 방지합니다.

8점 에피소드 QA 체크리스트

** 작업이 성공적으로 완료되었습니까?** 에피소드는 성공 기준에 따라 작업 목표가 달성된 것으로 끝납니다. 복구 데이터를 특별히 수집하지 않는 한 부분적으로 완료된 작업을 폐기하십시오.
운동자 의 의 의 > 2 초? 작업 중 긴 일시 중지 은 정책 을 혼란 스럽히는 "정착" 데이터 포인트 를 생성 한다.
** 부드러운 궤도?** 공동 위치 데이터를 재생하세요. 갑작스러운 점프 (텔레오퍼레이션 장애), 진동 ( 컨트롤러 불안정성) 또는 비자연적인 속도 변화 등을 찾아보세요.
** 카메라 이미지는 명확합니까?** 동작 흐릿함, 조작 포인트의 폐쇄 및 올바른 노출을 확인하십시오. 손목 카메라 이미지는 잡기 동안 흐릿하다면, 그 에피소드는 시각 정책 학습에 쓸모 없습니다.
정확한 시작 상태? 에피소드가 의도된 시작 상태 배포에서 시작되는 것을 확인합니다. 이상한 구성에서 시작되는 에피소드는 배포되지 않은 데이터를 도입합니다.
한계 내에서 에피소드 기간 기간은 평균의 2가지 표준차각 안에 있어야 한다. 비정상적으로 짧은 에피소드는 미완성 작업을 나타낼 수 있다. 비정상적으로 긴 에피소드는 운영자의 어려움을 나타낼 수 있다.
** 데이터 무결성?** HDF5 파일은 손상되지 않았습니다. 예상되는 모든 데이터 필드들이 존재합니다. 시간표는 단조적으로 증가하고 있습니다. 공동 데이터에는 NaN 값이 없습니다.
일반적 전략? 제한적인 전략을 사용 하는 경우 (ACT에서 권장되는 경우), 해당 에피소드가 지정된 접근 방식을 따르는 것을 확인하세요. 작은 데이터 세트에서 혼합된 전략은 평균 모드 실패를 유발합니다.

일반적인 데이터 수집 오류

1. 세션 사이 카메라 위치가 불일관

** 무슨 일이 일어나는지:** 월요일 100개의 에피소드를 수집하고, 청소를 하면서 오버헤드 카메라를 부딪히게 됩니다. 화요일 100개의 에피소드는 약간 다른 관점을 가지고 있습니다. 혼합된 데이터 세트는 양 관점에서 나쁘게 작동하는 정책을 훈련시킵니다.

** 수정:** 카메라를 단단히 장착하세요. 카메라 위치를 사진으로 찍으세요. 각 세션 시작에 카메라 외부를 참조 ArUco 보드 캘리브레이션에 대한 확인하세요. 캘리브레이션이 변경된 경우, 수집하기 전에 다시 장착하세요.

2· 사업자 피로력 데이터 품질 저하

** 무슨 일이 일어나는지:** 하루의 첫 50 에피소드는 부드럽고 정확합니다. 에피소드 150에 의해 운영자는 피곤합니다.

정치: 45분마다 10분 간헐을 시행한다. 수집 세션을 하루에 4시간으로 제한한다. 시간 동안 품질 측정 (사진 기간, 궤도 순조함) 을 추적하고 품질이 악화되면 수집을 중단한다.

3. 좁은 시작 상태 분포

** 무슨 일이 일어나는지:** 모든 시범은 거의 같은 위치에서 시작됩니다. 정책은 그 위치에서 90%의 성공을 달성하지만 다른 위치에서 10%의 성공을 달성합니다.

** 수정:** 수집 중에 객체 위치를 체계적으로 무작위로 설정하십시오. 그리드 패턴을 사용하십시오. 작업 공간을 4x4 그리드로 나눌 수 있으며 각 그리드 셀에서 시작되는 최소 3 개의 에피소드를 수집합니다. 데이터 세트 메트릭으로 시작 상태 커버리를 추적하십시오.

4. 스케일링 전에 녹음 파이프라인을 검증하지 않는

** 무슨 일이 일어나는지:** 당신은 일주일 동안 500개의 에피소드를 수집하고, 그 다음 50 Hz 대신 25 Hz로 작업 데이터가 기록된 것을 발견합니다. 구성 오류로 인해 전체 데이터 세트가 목표 정책에 사용할 수 없습니다.

** 수정:** 항상 10개의 테스트 에피소드를 먼저 확인하세요. 그 10개의 에피소드에서 완전한 훈련 파이프라인을 실행하세요. 대규모 수집에 투자하기 전에 데이터 크기, 주파수 및 형식의 호환성을 확인하세요.

5. 작은 데이터 세트에 혼합된 전략

** 무슨 일이 일어나는지:** 세 개의 사업자는 각각 다른 포착 접근 방식을 사용합니다. 총 150개의 에피소드 (50개 접근 방식) 로만, 단일 접근 방식은 충분한 데이터를 가지고 있지 않습니다. ACT는 접근 방식을 평균하고 유효하지 않은 중간 궤도를 생성합니다.

** 수정:** 300 에피소드 이하의 데이터 집합에 대해서는 하나의 전략에 따라 표준화하십시오. 운영자를 동일한 접근 방식을 사용하도록 훈련하십시오. 더 큰 데이터 집합 (300+) 에 대해서는 여러 전략이 좋습니다.

6. 조명 변이를 무시하는 것

** 무슨 일이 일어나는지:** 모든 데이터는 일관된 실험실 조명 아래 수집됩니다. 이 정책은 약간 다른 조명 상태 (오후 햇빛, 다른 상공 빛) 에서 배치되면 실패합니다.

** 수정:** 2단계와 3단계 수집 중에 의도적으로 조명을 변경하십시오. 일부 에피소드 동안 상등을 끄십시오. 다른 각에서 책상등을 추가하십시오. 닫거나 여는 창문 밸브. 이것은 시각 코더가 조명을 변화시키지 않는 특징을 배우도록 강요합니다.

50개에서 500개 에피소드까지 확장

규모의 데이터 수집은 조직적 도전을 도입하는데, 소규모로 존재하지 않는다. 이 전환을 관리하는 방법은 다음과 같습니다.

운영자 훈련

원래 12보다 더 많은 새로운 운영자를 추가할 때:

새로운 사업자들이 시작하기 전에 10개의 예제 에피소드를 보도록 하세요.
데이터 세트에 대한 계산을 하기 전에 QA를 통과하는 20개의 연습 에피소드를 요구합니다.
첫 번째 세션에 새로운 운영자와 경험이 풍부한 운영자를 결합하십시오.
트래크 매체 품질 측정: 평균 에피소드 기간, 궤도 순조성 점수, QA 거부율.

시위 기획

대규모 컬렉션 (500개 이상의 에피소드):

일일 23개의 운영자가 3시간의 교차로 일일 30분 간 교차를 하고 있다.
각 시 turno는 약 4060 에피소드를 생성한다 (부턴 설정 및 QA를 포함하여 에피소드당 34 분).
매일의 끝에서 품질 측정치를 검토하고 그 해소를 표시하는 한 사람을 "데이터 리드"로 지정하십시오.
예산: RCSV 요금에서, 전문 사업자는 QA를 포함한 검증된 에피소드당 1525달러에 회수한다. 내부 수집 비용은 다를 수 있지만, 일반적으로 사업자의 시간 및 대비를 계산할 때 에피소드당 815달러를 운행한다.

품질 저하 검출

대규모 수집 과정에서 매일 이러한 측정값을 모니터링하십시오.

** 평균 에피소드 기간:** 안정적으로 유지되어야 합니다 (±10%). 증가하는 기간은 운영자 피로 또는 작업의 어려움이 증가하는 것을 나타냅니다.
QA 거부율: 15% 이하로 유지되어야 합니다. 20% 이상으로 상승하면 수집을 중단하고 조사합니다.
** 궤도 순조리:** 각 에피소드의 크 (위치의 세 번째 추리) 를 계산한다.
Start-state 커버링: 2D 열 지도에서 플롯 시작 위치를 확인합니다. 의도된 배포 전체에 걸쳐 균일한 커버링을 확인합니다.

데이터 저장 및 조직

폴더 구조

project-name/
  raw/
    2026-04-12/
      episode_001.hdf5
      episode_002.hdf5
      ...
    2026-04-13/
      episode_101.hdf5
      ...
  validated/
    episode_001.hdf5    # passed QA
    episode_002.hdf5
    ...
  rejected/
    episode_045.hdf5    # failed QA, kept for reference
    ...
  metadata/
    collection_log.csv  # operator, date, start_state, duration, QA status
    camera_calibration_2026-04-12.json
    task_specification.md
  training/
    train/              # 85-90% of validated episodes
    val/                # 10-15% of validated episodes

대회 이름

에피소드 파일: T6 (예를 들어, T7).
HDF5 파일 속성에는 메타데이터를 포함하십시오: 운영자 ID, 수집 날짜, 시작 상태 설명, QA 상태, 작업 이름.
에피소드 번호를 다시 사용하지 마세요. 45번 에피소드를 삭제하면 다음 에피소드는 여전히 46번이고, 45번이 아닙니다.

백업 전략

매일: 원료/ 디렉토리를 외부 SSD 또는 NAS에 동기화하십시오.
주간: 검증된 디렉토리를 클라우드 스토리지 (AWS S3, Google Cloud Storage) 에 업로드하십시오.
각 수집 캠페인 후: 버전 된 아카이브 (예를 들어, T8) 를 생성하고 팀의 공유 저장소에 업로드하십시오.
HDF5 파일을 항상 수정하지 마십시오. 데이터를 수정해야 할 경우 (예: 작물 에피소드, 시간표 수정) 새로운 파일을 만들고 원본을 원본으로 유지하십시오.

훈련 파이프라인에 업로드

레로봇 섭취

ACT 또는 방전 정책으로 훈련하기 위해 HDF5 데이터 세트를 LeRobot 형식으로 변환하려면:

# Convert HDF5 episodes to LeRobot Parquet format
python -m lerobot.scripts.convert_dataset \
  --raw-dir ./validated/ \
  --repo-id my-org/my-task-v1 \
  --raw-format hdf5_aloha

# Verify the converted dataset
python -m lerobot.scripts.visualize_dataset \
  --repo-id my-org/my-task-v1 \
  --episode-index 0

HDF5 구조 검증

변환하기 전에 HDF5 파일의 예상 구조를 확인하십시오.

# Quick verification script
import h5py
import numpy as np

with h5py.File('episode_0001.hdf5', 'r') as f:
    # Check required fields
    assert 'observations' in f
    assert 'action' in f

    qpos = f['observations/qpos'][:]
    images = f['observations/images/cam_high'][:]
    actions = f['action'][:]

    print(f"Joint data: {qpos.shape}")    # expect (T, num_joints)
    print(f"Images: {images.shape}")       # expect (T_img, H, W, 3)
    print(f"Actions: {actions.shape}")     # expect (T, num_joints)

    # Check for NaN values
    assert not np.any(np.isnan(qpos)), "NaN in joint data!"
    assert not np.any(np.isnan(actions)), "NaN in actions!"

    # Check timestamp monotonicity
    if 'timestamps' in f:
        ts = f['timestamps'][:]
        assert np.all(np.diff(ts) > 0), "Non-monotonic timestamps!"

HDF5, RLDS 및 LeRobot 형식 사이의 자세한 형식 사양 및 변환을 위해 [데이터 형식 안내서]T13 참조하십시오.

자료 수집 에 도움 이 필요 합니까?

RCSV는 데이터 수집 프로세스 전체를 관리합니다. 훈련된 운영자, 가산화 하드웨어, 에피소드 QA 및 목표 형식으로 전달합니다. 우리는 30 이상의 작업 유형에서 50,000 개 이상의 조작 에피소드를 수집했습니다.

[데이터 수집 서비스를 참조]