로봇 훈련 자료가 좋은 것 은 무엇 입니까?
로봇 훈련 데이터 품질을 위한 실용적인 프레임워크: 다양성, 일관성, 완전성, 정확성, 균형, 형식 등 6가지 차원 - 그리고 10점 체크리스트
[← 블로그]
200개의 훌륭한 시범은 평균적인 2,000개보다 항상 더 좋은 결과를 낳습니다. 그 차이가 모든 팀이 추적해야 할 품질의 6가지 측정 가능한 차원으로 줄었습니다.
로봇 정책 의 쓰레기 내 쓰레기 내 문제
모방 학습은 분포 일치 문제입니다. 훈련된 정책은 훈련 데이터에 대한 행동 분포를 대략적으로 나타냅니다. 그 분포는 실패한 포착, 거칠기 운동, 모순없는 전략 및 모호한 성공 기준을 포함하면 정책은 충실히 모든 것을 재현하는 법을 배우게됩니다. 언어 모델 훈련과 달리, 개별적인 노이즈한 예는 수십억 개의 다른 예로 매끄럽게됩니다. [robot demonstration data sets]
500개의 신중하게 통제된 시범의 데이터 세트가 5,000개의 통제되지 않은 시범의 데이터 세트를 보다 더 나은 정책을 만들어낼 것입니다. 이것은 야망적인 주장이 아닙니다. 이것은 연구 그룹, 작업 유형 및 정책 아키텍처에서 일관된 경험적 발견입니다. 설명은 간단합니다. 깨끗하고 다양하고 일관된 데이터 세트는 정책에 무엇을 배울 것인지에 대한 명확한 신호를 제공합니다. 험난하고 편향적이고 일관성이 없는 데이터 세트는 정책에 혼란스러운 신호를 줍니다. 이는 상반된 행동들을 평균적으로 해결함으로써 어떤 것에 비해 강력한 성능보다는 모든 것에 대해 중간 성능을 생산합니다.
아래의 프레임워크는 고품질의 로봇 시범 데이터를 중간 데이터로부터 구별하는 여섯 가지 차원을 식별합니다. 각 차원은 측정 가능한 메트릭과 실용적인 임대점을 가지고 있습니다.
차원 1: 다양성
다양성은 가장 중요한 품질 차원이기 때문에 직접적으로 결정한다 [정책이 얼마나 잘 일반화되는지] (
** 객체 다양성:** 각 대상 객체 범주에서 적어도 10-20개의 다른 사례를 포함하고, 크기와 색상, 재료 및 브랜드에 따라 다양합니다. 당신의 임무가 컵을 모으는 경우, 세라믹 컵, 종이 컵, 플라스틱 여행 컵, 유리 컵, 금속 컵으로 시범을 수집하십시오. 각 사례는 정책에 범주의 시각적 및 물리적 특성에 대해 다른 것을 가르칩니다.
** 위치 다양성:** 최소 30 x 40cm의 격자 를 사용하여 전체 접근 가능한 작업 공간 에서 다양한 객체 시작 위치 를 포함 합니다. 각기 다른 방향 을 포함 합니다. 수직, 기울기, 90도 로 회전 합니다. 훈련 중 작업 공간의 중심에 있는 객체를만 볼 경우, 배포 시 가장자리에 실패 합니다.
광의 다양성: 적어도 3가지의 다른 조명 조건에서 수집합니다. 따뜻한 상공 광선, 창문에서 추운 낮빛, 혼합 또는 방향 조명. 조명은 현상의 모든 물체와 표면의 외관을 변화시키기 때문에 배치 실패의 가장 일반적인 원인 중 하나입니다.
운동자 다양성: 최소 3개의 다른 운영자를 사용하여 각각의 운영자는 거의 동일한 비중을 차지한다. 각 운영자는 작업에 대해 다르게 접근한다. 각종 접근 각도, 포착 포인트, 속도 및 복구 전략. 이 다양성은 정책이 하나의 개인의 특유의 특성을 배우는 것이 아니라 작업 구조를 배우도록 강요하기 때문에 가치가 있다.
차원 2: 일관성
일관성이란 모든 에피소드에서 작업 정의, 성공 기준 및 재설정 절차가 동일하다는 것을 의미합니다. 일관성 없는 것은 정책이 해결할 수 없는 모호함을 가져옵니다.
** 성공 기준은 이진적이고 명확해야 한다.** 선택 및 장소 작업에 있어서 성공은 에피소드의 끝에서 정의된 용납 범위 내에서 객체가 목표 위치에 있다는 것을 의미합니다. "충분히 가까운"는 기준이 아닙니다. 성공 기준을 수집 프로토콜에 적어 모든 운영자가 동일한 방식으로 적용하는지 확인하십시오.
회복 절차는 표준화되어야 합니다. 에피소드 사이에는 객체들은 정의된 무작위화 프로토콜에 따라 새로운 시작 위치에 배치되어야 하며, 작업 공간은 이전 실험의 잔해나 이동으로부터 깨끗하게 해야 하며 로봇은 일관된 시작 구성으로 돌아야합니다. 슬러피 리셋은 체계적인 편향을 도입합니다. 특정 위치 근처에 축적되는 객체입니다. 왜냐하면 운영자가 기본적으로 그것들을 거기에 배치하기 때문에,
**운전자 가정 은 필수적 이다.**운전자 의 시범 과시 는 데이터 세트에 대한 계산 을 하기 전 에, 그는 텔레 운영 인터페이스 를 배우기 위해 2-4 시간 동안 가정 세션 을 완료 해야 하며, 성공 기준 을 내재 하고, 일관된 접근 전략 을 개발 해야 한다. 비정형 사업자는 정책 수행에 적극적으로 해를 끼치는 시위를 합니다.
3 차원: 완전성
모든 에피소드는 모든 센서 스트림이 동기화되어 있고 데이터가 없어진 후 최종 출시까지 모든 작업을 캡처해야 합니다. 완전하지 않은 에피소드는 훈련 신호를 미묘한 방법으로 손상시킵니다.
실종된 모다리티가 없습니다. 만약 당신의 컬렉션 설정을 통해 두 개의 카메라, 공동 코더, 그리고 전력 동전 센서가 포함된다면, 모든 에피소드는 네 개의 스트림을 모두 가지고 있어야 합니다. 카메라 피드를 떨어뜨린 단일 에피소드는 실종된 카메라가 0이라는 정책을 가르치고, 시각 처리 파이프라인을 혼란스럽게 합니다.
** 동기화된 시간표.** 모든 센서 스트림은 제어 기간 내에 시간 정렬되어야 합니다 (일반적으로 5~20 ms). 정렬되지 않은 스트림은 로봇이 보는 것과 하는 것 사이에 일관성이 없는 지도를 만듭니다. T 시간에서의 동작은 T 시간에서 관찰과 결합되어 T 미이너스 50 ms에서 체계적으로 이동된 훈련 신호를 생성합니다. 각 에피소드에서 타임 스탬프 조화를 확인함으로써 동기화를 자동으로 확인합니다.
전용 에피소드 기록. 기록이 늦기 때문에 (그라운드 촬영이 시작되었기 때문에) 또는 작업이 완료되기 전에 종료되는 에피소드는 (이러한 기록이 일찍 중단되었기 때문에) 대부분의 정책 훈련 파이프라인에서 사용할 수 없습니다. 작업이 시작되기 전에 기록을 시작하도록 수집 시스템을 구성하고 로봇이 시작 설정으로 돌아간 후에 중지하십시오.
차원 4: 정확성
정확성은 시범의 정확성과 그에 첨부된 메타데이터 모두에 해당한다.
** 예제 정확성:** 본격적인 학습 훈련 세트에 완전히 성공한 에피소드만 포함되어야 합니다. 실패한 예제들을 포함하면 성능 효과는 극적이죠. 훈련 세트에 10%까지 실패한 예제를 추가하면 정책 성공률은 20-30% 감소합니다. 메커니즘은 분명합니다. 정책은 "거짓은 잡을 것"이나 "반편으로 떨어지는 것"이 수용 가능한 최종 상태라는 것을 알게 됩니다. 엄격하게 필터링합니다.
** 궤도 품질:** 시범은 부드럽고 의도적이고 효율적이어야 합니다. 조작자 오류, 컨트롤러 지연 또는 업무 공간의 열악한 에르고노미가 유발하는 엉뚱한 궤도들은 정책이 엉뚱하게 될 것을 가르칩니다.
** 설명 정확성:** 성공/실패 라벨, 언어 명령어 라벨, 작업 단계 세그먼트 및 객체 아이덴티티 태그가 올바르게 있어야합니다. 잘못된 설명은 훈련 신호를 손상시킵니다. 언어 명령어는 실제 작업 행동에 대한 검사를해야합니다 ("붉은 잔을 선택하십시오"는 운영자가 파란색 그릇을 선택한 에피소드에서 태그되어서는 안됩니다). 자동화된 검증 도구는 해설과 관찰 사이의 부합을 표시해야 합니다.
5 차원: 균형
균형 잡힌 데이터 세트는 약 모든 조건에 걸쳐 동등한 표현을 가지고 있습니다. 불균형은 정책이 과잉 표현된 조건에 적합하고 미흡한 표현된 조건에 미치지 못하게 만듭니다.
** 객체 균형:** 만약 당신이 15개의 객체 인스턴스를 가지고 있지만 60%의 디모네스트는 3가지를 사용한다면, 정책은 그 3개의 객체들을 잘 배우고 나머지 12개의 객체들을 나쁘게 학습한다.
** 위치 균형:** 대부분의 시범은 작업 공간의 중심에 있는 객체로 시작되면, 작업 공간의 가장자리에 정책이 약해질 것입니다. 공간의 커버리를 보장하는 정의된 격자 또는 무작위 스키마를 사용하십시오.
** 어려움 균형:** 시범 시범의 약 10-15%는 의도적으로 도전적인 시나리오를 다루어야 합니다. 접근 가능한 범위의 가장자리에 있는 물체, 엉뚱한 작업 공간, 비정상적인 방향, 거의 실패한 복구. 이러한 가장자리 사례는 비례적으로 더 많은 데이터를 필요로 하지 않고도 탄력성을 크게 향상시킵니다. 가장자리 사례의 비대표성은 예상치 못한 배포 실패의 가장 흔한 원인 중 하나입니다.
차원 6: 형식
데이터 형식은 데이터 세트가 훈련 파이프라인과 얼마나 쉽게 통합되는지, 얼마나 효율적으로 저장하고 전송될 수 있는지, 그리고 그것이 지역사회 표준과 호환되는지를 결정합니다.
** 확립된 형식을 사용.** HDF5 또는 Zarr를 원료 에피소드 저장에 사용한다. 공유 및 커뮤니티 호환성 (sharing and community compatibility) 을 위해 [LeRobot HuggingFace format] (
완전 메타데이터를 포함합니다. 각 에피소드는 다음을 포함해야 합니다: 작업 설명, 성공/실패 라벨, 언어 명령어, 로봇 플랫폼 식별자, 카메라 내적 및 외부적, 수집 날짜, 운영자 식별자 및 환경 조건이 다양 (빛 설정, 테이블 표면, 객체 인스턴스 ID). 이 메타 데이터는 필터링, 계층 분석 및 특정 조건에 맞게 목표적인 재교육을 가능하게 한다.
자동적으로 형식을 확인. 작성 시점에 각 에피소드에서 스케마 검증을 실행하십시오. 에피소드 3,847에서 데이터 로더가 충돌하는 이유를 수시간을 들여다보는 엔지니어가 훈련 중에 발견하는 것보다 수집하는 과정에서 형식 오류를 발견하는 것은 훨씬 저렴합니다.
7 차원: 실패 포함
이 차원은 직관적 이 아닙니다. 좋은 데이터 집합은 실패 시사들의 통제된 비율을 포함합니다. 4 차원 (정확성) 은 기본 훈련 집합에서 실패를 배제하는 것을 요구하지만, 별도의 라벨 된 실패 시사 집합은 강력한 정책 훈련에 중요한 기능을 수행합니다.
** 왜 실패가 중요합니까.** 성공적인 시범에 전폭적으로 훈련된 정책은 실패가 어떤 모습인지 전혀 표현하지 않습니다. 임진왜란을 일으키는 동안 실패로 몰려가는 상태를 만나면 상황을 인식하거나 회복할 수 있는 훈련 신호는 없습니다. 5-10%의 표기된 오류 시범을 포함 (데이터 세트 메타데이터에서 오류로 명확하게 표시) 하는 것은 여러 훈련 기술을 가능하게 합니다.
- 반대적 학습: 정책에 성공한 궤도를 실패 궤도에서 구별하도록 훈련시켜 보다 강력한 의사 결정 경계를 만들어냅니다.
- ** 복구 행동 학습:** 운영자가 거의 실패 상태 (물질이 떨어지고, 잡지 못함) 를 발견하고 회복하는 시범을 포함합니다. 이러한 "회복 시범"는 정책에 잘못된 일이 발생했을 때 어떻게 해야 하는지 가르치는 것이 아니라, 문제가 올바르게 진행될 때 어떻게 해야 하는지 가르치는 것입니다.
- 실패 탐지: 성공/실패 데이터에 훈련된 별도의 분류기는 실행 시간 모니터링으로 작동할 수 있으며 정책이 실패 상태에 들어간 경우 인적 개입을 유발합니다.
실실 데이터를 수집하는 방법. 의도적으로 시범을 망치 말고, 수집 중에 발생하는 자연적인 오류를 보존하십시오 (모든 사업자는 특히 세션 초기에 10-30%의 실패율을 가지고 있습니다). 이 표기에는 "실점 모드" 라벨을 붙여넣어 놓습니다. "교통 중에 잡지 못했고, "실점 배치", "거림으로 충돌했다". 이 표기에는 정책의 약점들에 대한 목표적 분석이 가능하고 재 수집 우선 순위를 안내합니다.
** 추천 비율:** 초등 교육 세트에서 85-90%의 성공적 시범, 5-10%의 회복 시범 (성공한 회복과 거의 실패) 및 5%의 순수한 실패 시범 (시적으로 실패한 결과) 회복 시위는 가장 가치 있는 에피소드 하나에 해당하는 것입니다. 왜냐하면 그들은 정책에 대해 가르치고 있기 때문입니다.
데이터 품질 점수를 위한 라브리크
| Dimension | Score 1 (Poor) | Score 3 (Adequate) | Score 5 (Excellent) |
|---|---|---|---|
| Diversity | 1-2 objects, 1 lighting, 1 operator | 5-10 objects, 2 lightings, 2 operators | 15+ objects, 3+ lightings, 3+ operators |
| Consistency | No written criteria, ad-hoc resets | Written criteria, manual reset verification | Written criteria, automated reset verification, operator calibration |
| Completeness | Missing modalities in >5% of episodes | All modalities present, sync within 50ms | All modalities present, sync within 10ms, auto-validated |
| Accuracy | No filtering; includes failed demos | Binary success filter, basic smoothness check | Automated success classifier, jerk filtering, annotation validation |
| Balance | >5:1 ratio between most/least represented | 3:1 max ratio, basic spatial coverage | 2:1 max ratio, grid-based coverage, 10-15% edge cases |
| Format | Custom format, missing metadata | HDF5/Zarr, basic metadata | LeRobot/RLDS compatible, full metadata, auto-validated at write |
| Failure Inclusion | All failures discarded | Failures preserved but unlabeled | Labeled failures + recovery demos at 5-10% ratio |
각 차원 1-5을 점수하십시오. 7개 차원 모두에서 평균 4+ 점수를 가진 데이터 세트는 생산 품질입니다. 수집을 확장하기 전에 어떤 차원에서도 3 점수를 해결해야합니다. 어떤 차원에서도 1-2 점수는 정책 훈련에 적극적으로 해를 끼칩니다. 더 많은 데이터를 수집하기 전에 그것을 수정하십시오.
로봇 데이터 수집에서 일반적인 반 패턴
이러한 오류들은 RCSV가 정책 훈련에 제출된 데이터 세트에서 가장 자주 발견한다. 각각의 오류는 정책 실패의 직접적인 원인입니다.
- ** "학과 졸업생 특별".** 한 사업자, 한 조명 상태, 물체들은 항상 같은 출발 위치에서, 한 오후 동안 수집된 자료.
- ** "품질보다 양" 함정.** 5,000개의 시범은 품질 필터링 없이 가능한 한 빨리 수집되었습니다. 30%는 실패한 포착, 20%는 피곤한 사업자로부터의 거품 궤도를 가지고 있으며, 10%는 시간표 동기화 문제를 가지고 있습니다. 결과 정책은 모든 행동의 평균을 학습합니다. 모든 것에 중견적입니다. 수정: 먼저 필터, 그리고 규모.
- ** "디모 저장" 오류.** 단일 정책 훈련 전에 2,000 개의 시범을 수집하고. 그 다음 데이터에는 체계적인 문제가 있다는 것을 발견합니다 (실반 카메라 각, 모달이 부족, 일관성이 없는 성공 기준) 이 전체 데이터 세트의 재 수집을 요구합니다. 수정: 확장하기 전에 파이프 라인을 검증하기 위해 50-100 개의 디모에 대한 테스트 정책을 일찍 훈련하십시오.
- ** "단순한 것"의 편향.** 운영자들은 보다 빠르고 부드러운 시범을 만들어 내는 데 있어서 자연스럽게 쉬운 시작 위치와 객체 지향을 향해 중력을 기울인다. 데이터 세트는 쉬운 조건에서 과잉 표현되고, 정책이 배포 시 발생할 가장자리 경우에는 과잉 표현이 되지 않습니다. 수정: 명확하게 어려운 조건을 포함하는 구조화된 무작위로 처리 프로토콜.
- ** "성명 실패" 문제.** 데이터 수집은 몇 주 동안 계속되고 있지만, 카메라 캘리브레이션은 3 일째로 변동했고, 자동화된 품질 모니터링이 없었기 때문에 아무도 알아차리지 않았습니다. 3 일 이후 모든 데이터는 체계적으로 잘못된 외부 변환을 가지고 있습니다. 수정: 작성 시 각 에피소드의 자동화된 품질 검사를 합니다.
- ** "프로그램 변환 악몽".** 사용자 지정 형식으로 수집된 데이터, 훈련에 HDF5로 변환됩니다. 변환 스크립트는 10 번마다 떨어지는 미묘한 버그를 가지고 있습니다. 정책은 손상된 데이터에 대한 훈련을하고 배포에 실패합니다. 수정: 처음부터 기존의 형식을 사용하여 각 에피소드에서 스케마를 검증합니다.
RCSV 품질보증 파이프라인 세부 사항
RCSV QA 파이프라인은 수집 시점에 모든 에피소드를 실행합니다. 대량 후 처리 단계로 실행되지 않습니다. 이것은 시범 작업이 완료된 후 몇 초 이내에 품질 문제가 발견된다는 것을 의미합니다.
파이프라인 단계:
- ** 스케마 검증 (0.1s).** 모든 필요한 데이터 스트림이 존재하고 데이터 타입이 올바르고 에피소드 메타데이터가 완료된 것을 확인합니다.
- ** 시간표 동기화 검사 (0.2s).** 모든 센서 스트림들 사이에 쌍방향 시간표 조화를 계산합니다. 어떤 스트림이 10ms 이상 (사업별로 구성될 수 있는) 로 오차 조화를 일으킨 경우 거부합니다.
- ** 성공 분류 (0.5s).** 학습된 분류자 (이러한 작업에서 이전에 표기된 에피소드들에 훈련된) 는 성공/실패를 예측한다. 경계선 예측 (신뢰 0.4-0.7) 은 인간 검토를 위해 표시된다.
- ** 궤도 매끄러움 점수 (0.3s).**
메트릭 (공동 위치의 세 번째 추리물) 을 계산하고, 운영자 캘리브레이션 과정에서 설정된 각 작업 기준에 비교한다. 70번째 퍼센틸 이하의 에피소드는 표시된다. - ** 커버레이지 분석 (0.5s).** 에피소드를 시각적 특징 공간에 삽입하고 (전부터 훈련된 시각 코더를 사용하여) 기존 데이터 세트에 비해 다양성을 확인합니다. 새로운 에피소드가 기존 에피소드와 너무 비슷하다면 (코시노스 거리 문턱 아래) 과 과잉으로 표시됩니다.
- ** 메타데이터 완전성 확인 (0.1s).** 모든 필요한 해석 필드가 채우지 확인: 작업 설명, 언어 명령, 운영자 ID, 환경 조건.
QA의 전체 지연시간: 에피소드당 2초 이하. 운영자는 각각의 시연을 완료한 즉시 녹색/ 노란색/ 빨간색 지표를 볼 수 있어 수집 흐름을 중단하지 않고 실시간 품질 피드백을 가능하게 한다.
10점 데이터 품질 확인 목록
- 대상 범주별 최소 10개의 다른 객체 인스턴스
- 적어도 3 개의 조명 조건이 나타났습니다.
- 거의 같은 에피소드를 제공하는 최소 3 명의 사업자
- 모든 에피소드에서 일관되게 적용되는 기록적인 성공 기준
- 문서화되고 따르는 표준화된 리셋 프로토콜
- 모든 센서 스트림이 모든 에피소드에서 존재하고 동기화됩니다
- 접근에서 완료까지의 전체 에피소드 캡처
- 국경 사례에 대한 인간 검토와 함께 바이너리 성공 분류
- 각 작업 기준에 의해 필터링된 궤도 순도
- 정해진 형식으로 저장된 데이터 (HDF5/Zarr/LeRobot)
만약 여러분의 데이터 세트가 10점 모두 통과한다면, 그것은 신뢰할 수 있는 정책을 훈련시키는 데 적합한 생산 품질의 데이터입니다. 만약 어떤 점에서는 실패한다면, 더 많은 데이터를 수집하기 전에 그 차원을 수정하세요. 같은 품질 문제를 가진 더 많은 데이터가 더 많은 동일한 문제를 생성합니다.
관리된 수집에서 RCSV가 품질을 보장하는 방법
[RCSV 데이터 서비스]
에피소드별 품질 점수를 가진 품질 인증된 데이터를 받습니다. 모든 축에 걸쳐 다양성을 보여주는 종합적인 커버리지 통계를 받습니다. 그리고 6개 차원 각각에 대한 데이터 세트의 성능을 기록하는 품질 보고서를 받습니다. 이 인증은 데이터들이 표준을 충족시키는 것을 확신할 수 있게 훈련시킬 수 있다는 것을 의미합니다. 훈련 기간 3주 동안 품질 문제를 발견하는 대신.
RCSV는 자체 수집 인프라를 구축하는 팀들을 위해 외부에서 수집된 데이터 세트들에 대한 품질 감사도 제공합니다. 우리는 동일한 품질 파이프라인을 귀하의 데이터에 적용하고 어떤 차원이 개선되어야 하는지 확인하는 상세한 보고서를 제공합니다.
관련 독서
- 로봇 데이터 수집 비용
- [OpenArm 설정 안내서]
T7 ) -- 첫 번째 데이터 수집 캠페인을 위한 하드웨어를 설정 - LeRobot 가이드 -- 품질 인증된 데이터 세트에 대한 교육 정책
- [제로샷과 몇 번의 샷 로봇 정책] (T9
) - 데이터 품질이 몇 번의 샷을 정밀 조정하는 효율에 어떻게 영향을 미치는지 - robot 데이터 개인 정보 보호 및 보안
- [로봇 데이터 시장의 미래] (
T11 ) -- 신흥 데이터 시장의 질 표준을 형성하는 - RCSV 데이터 서비스 -- 자동화된 QA 파이프라인으로 품질 인증된 데이터 수집
품질 인증을 받은 로봇 시범 을 얻으세요
RCSV의 품질 파이프라인은 모든 6가지 차원을 다 포함하고 있습니다. 그래서 데이터의 표준을 충족시킬 수 있다는 확신을 가지고 훈련할 수 있습니다.
[데이터 서비스를 탐구]