로봇 데이터 수집 파이프라인: 텔레오퍼레이션에서 훈련 준비된 데이터 세트
로봇 데이터 수집 파이프라인의 끝에서 끝까지 <unk> 기록, 품질 필터링, 해설, 형식 변환, 버전 제작 및 훈련.
[← 배우기]
잘 설계되지 않은 데이터 파이프라인은 사용 불가능한 에피소드에 수집 예산의 40%를 낭비합니다. 이 가이드에서는 생산 수준 파이프라인의 모든 단계를 거친다.
파이프 라인 설계 는 왜 중요 합니까?
로봇 학습에 대한 데이터 수집은 비용이 많이 들어요. 운영자 시간 및 연구 장비에 대한 시간당 $30~$50에서 1,000 에피소드 데이터 세트가 직접 비용만 $5,000~$15,000에 달합니다. 설계가 좋지 않은 파이프라인은 이것을 합쳐줍니다. 일관성이없는 녹음 형식은 수동 변환을 강요합니다. 부족한 메타 데이터는 에피소드를 사용할 수 없게 만듭니다. 품질 필터링은 수집된 데이터의 30~40%를 실패로 훈련시킵니다.
잘 설계된 파이프 라인은 사용 첫 주 동안 자체적으로 보상됩니다. 이 문서에서는 원료 원전 작업 기록에서 훈련 준비 된 데이터 세트에 이르기까지 각 단계를 설명합니다.
1단계 동기화 녹음
녹음 단계에서는 모든 센서 스트림을 통신 작업 중에 보장된 동기화로 캡처합니다.
- 무엇을 촬영해야 하는가: 카메라 영상 모든 조회 (30 Hz 최소); 관절 상태
위치, 속도, 토크 (100 Hz); 명령 동작 (관절 상태와 동일한 속도는); 장착된 경우 힘/토크 (100 1000 Hz); 지갑 상태 (오픈/ 폐쇄 + 전류). - ** 동기화:** <1 ms 이미지 동기화에 대한 하드웨어 카메라 트리거. 모든 스트림은 하나의 PTP 동기화 시계로 시간표가 되어 있습니다. 동기화 품질을 확인하기 위해 트리거 인파를 별도의 채널로 기록합니다.
- ** 에피소드별 메타데이터:** 운영자 ID, 로봇 ID (다 로봇 연구소), 작업 이름 및 변형, 시작/말 시간표, 환경 조건 (전시 설정된 조명, 테이블 구성), 추적성을 위한 고유 에피소드 UUID.
- ** 저장 형식:** HDF5 쪼개진 데이터 세트
에피소드당 한 HDF5 파일, 센서 스트림당 한 HDF5 그룹. 이미지 (품질 90) 의 JPEG 압축; 수치 스트림의 손실없는 float32 . 절대 과다 작성: 새로운 파일로 작성하고 원료 데이터를 삭제하기 전에 검증하십시오.
2단계 품질 필터링
모든 에피소드 에 대한 훈련은 가치가 없습니다. 공격적인 품질 필터링은 데이터 파이프라인에서 가장 높은 레버리지 개입 중 하나입니다.
- ** 자동 성공 분류:** 성공/실패를 예측하기 위해 최종 카메라 프레임에 가벼운 CNN를 훈련시켜라. 500 에피소드를 손으로 라벨링하고 30분 안에 훈련하여 92%의 정확성을 달성한다. 데이터 세트에 추가하기 전에 모든 새로운 에피소드를 실행한다.
- ** 궤도 매끄러움 필터:** 각 관절 궤도에서 절대적인
(위치 제3 추리) 를 계산한다. 90번째 분자 문턱 이상의 에피소드는 아마 조작자 의 의 의 의 또는 수정 수동 검토 또는 폐기 표시를 포함한다. - ** 기간 배타 필터:** 각 작업에 대해 에피소드 기간의 평균 및 표준차를 계산하십시오. 평균
에서 2σ 이상의 플래그 에피소드는 실수 (가장 길) 또는 불완전 에피소드 (가장 짧) 에서 복구 시도가 될 가능성이 높습니다. - ** 충돌 감지 표지:** 로봇 안전 시스템이 긴급 정지기를 일으킨 에피소드는 자동으로 배제되어야 합니다.
- ** 전형적인 거부율:** 20
40%의 원본 에피소드는 자동화된 필터로 거부됩니다. 이것은 정상적이고 예상됩니다.
3단계 해고
해설은 더 나은 훈련과 분석을 가능하게 하는 구조화된 레이블로 에피소드를 풍요롭게 한다.
- ** 언어 명령어:** 과제를 설명하는 자연어 문자열. 운영자 간 어휘를 표준화: "VLA 모델 (Vision-Language-Action) 에서 사용되고, 다중 과제 정책에서 작업 조건화. - ** 성공 점수 (0
100):** 자동 분류기에서 지속적인 품질 점수, 바이너리 성공 레이블을 보완합니다. 교육과정 학습에 유용합니다. - 단계 세그먼트: 각 시간 단계의 의미적 단계를 표시: 도달 / 포착 / 운송 / 장소 / 방출. 단계 조건 정책과 실패 모드의 단계별 분석을 가능하게 합니다.
- **실종 모드 레이블 (선택):**실종 에피소드:
_실종 / drop / wrong_object / timeout.
단계 4 형식 변환
다양한 교육 프레임워크는 다른 데이터 형식을 기대합니다. 변환 단계는 표준화된 수출을 생산합니다.
- ** 진실의 원천: HDF5.** 항상 원래 HDF5 파일을 유지하십시오. 변환 후 절대로 삭제하지 마십시오.
- RLDS (TensorFlow Datasets): Octo, RT-X, Open X-Embodiment에 필요한 형식.
T0 도구를 사용하여 변환합니다. 각 에피소드는 표준화된 단계 구조를 가진 TFDS 에피소드로됩니다. - LeRobot (HuggingFace Parquet): HuggingFace 데이터 세트 생태계와 호환되는 파켓 기반 형식. LeRobot, ACT-포크 훈련 스크립트 및 많은 커뮤니티 구현에서 사용됩니다.
- Zarr (Difusion Policy native): 원래의 Diffusion Policy 코드베이스에서 훈련 중에 빠른 무작위 접근을 위해 사용된 메모리 매핑 가능한 매트리 저장소.
5단계 버전 및 출처
데이터셋 재생 가능성은 엄격한 버전 제작이 필요합니다. 모델은 데이터셋 버전 태그에서만 훈련되어야 합니다. "이 폴더의 파일에서 지금"이 아닙니다.
- ** 에피소드 변함:** 에피소드가 품질 필터링을 통과하고 데이터 세트에 추가되면, 그것은 결코 수정되지 않습니다. 수정은 새로운 에피소드를 생성하고, 오래된 에피소드는 삭제되지 않고 보관됩니다.
- ** 해시 기반 에피소드 ID:** 원료 HDF5 파일의 SHA-256를 계산하십시오. 에피소드 ID로 사용하면
에피소드 ID가 콘텐츠를 독특하게 식별하고 모든 손상이 감지될 수 있음을 보장합니다. - ** 데이터셋의 표시:** 데이터셋 버전에 따라 모든 에피소드 ID, 메타데이터, 분할 할당 (트레인/발/테스트) 및 필터 기준을 나열하는 JSON 파일. 전체 출처를 위해 이 파일을 git로 확인합니다.
- DVC (데이터 버전 제어): 큰 데이터 집합에 있어서 DVC는 git의 컴백에 해당하는 데이터 파일들을 추적한다.
6단계 훈련 통합
마지막 단계는 데이터 세트를 모델 훈련 루프에 효율적으로 공급합니다.
- 분층 샘플링: 작업 변종, 객체 유형 및 운영체들의 동등한 표현을 가진 샘플 미니 배치를 통해 모델이 과반 클래스에 과도하게 부착되는 것을 방지합니다.
- ** 온라인 증강:** 저장 요구사항을 관리할 수 있도록 데이터 증강을 앞면 통과 (전기 계산되지 않은) 동안 적용한다. 색채
(±15% 밝기/대립/충분), 무작위 작전 (±10% 이미지 크기의), 합동 상태에서 가우스 소음 (σ=0.001 rad). - ** 에피소드 중량:** 성공 점수별로 체중 에피소드
높은 품질의 성공 은 훈련 도중 더 높은 샘플링 중량을 받는다.
[RCSV 데이터 플랫폼]
계속 ループ
하드웨어, 데이터, 점수를 연결하는 루프를 닫아