기록 된 동기화 된 두 편의 시연

6개 중 4개 단위 · 데이터 수집 · ~ 3시간

왜 두 손으로 수집하는 데이터가 단일 팔보다 더 어렵는지 이해하고, LeRobot 두 손으로 수집하는 데이터 세트 형식을 배우고, 큐브 전달 작업의 100 개의 순수한 동기화 시범을 기록하십시오.

왜 두 편의 데이터 수집이 더 어려운지

단일 팔 데이터 수집에서, 나쁜 시범은 한 팔의 궤도에 영향을 미칩니다. 50 개의 시범을 기록하고 5 개의 나쁜 시범을 폐기하고 45번을 훈련합니다. 양동력 데이터 수집에서, 전달 포인트에서 오류가 동시에 두 팔의 시범 궤도를 무효화합니다. 실패 모드는 결합됩니다.

이 결합은 두 가지 실용적인 의미를 가지고 있습니다. 첫째, 두 가지 작업이 더 큰 차이는 있기 때문에 50 대신 더 많은 시범이 필요합니다. 그리고 정책은 조정 구조를 배우기 위해 더 많은 사례가 필요합니다. 둘째, 시범마다 더 엄격한 일관성이 필요합니다. 80% 일관성을 가진 단일 팔 시범은 합리적으로 잘 작동합니다. 한 팔이 일관하고 다른 팔이 변하는 양동적인 데모는 정책에 대한 조정 시점에 대해 쓸모없는 것을 가르칩니다.

작업 공간의 커버링 도전은 더 크다: 두 팔이 프레임에 있어야 하며, 가장 복잡한 순간 은 적어도 한 카메라에 의해 안정적으로 캡처되어야 합니다. 시작하기 전에 카메라 각을 확인하고 작업 공간 카메라의 시야 영역 밖에서 이 발생하는 경우 조정하십시오.

레로봇 Bimanual 데이터셋 형식

LeRobot과 DK1 통합은 두 개의 공동 상태 배열으로 표준 단일 팔 형식을 확장합니다. 데이터 세트의 각 시간 단계에는 다음과 같은 내용이 포함되어 있습니다.

단일 팔과 다른 핵심 차이점은: 액션 공간은 14차원 (6+6 관절 + 2 지갑) 이다. ACT는 이것을 네이티브로 처리합니다.

작업 흐름을 기록

소스 ~/dk1-env/bin/activate # 녹음 세션 시작 큐브 전달 작업 python -m lerobot.scripts.record \ --robot-path ~/dk1-config.yaml \ --robot-type dk1_bimanual \ --fps 50 \ --root ~/dk1-datasets \ --repo-id cube-handoff-v1 \ --num-episodes 100 \ --warm-time-s 3 \ --episode-s 30 \ --reset-time-s 5 \ # --warm-time-s: 캡처 시작하기 전에 기록을 누르는 시간이 (이 위치로 큐브를 반환하기 위해 사용) \ --time cube-s: 큐브 전달 긴장은 20s 이하에서 완료되어야 합니다.

녹음 세션 시작 전에 1015 연습 데모를 실행하여 작업에 대한 모터 메모리를 따뜻하게하십시오. 첫 510 녹음 데모는 예상되는 최악의 데모가 될 것입니다. 세션 중에 그들을 검토하는 데 멈추지 마십시오. 전체 100이 녹음 된 후 나쁜 데모를 검토하고 제거하십시오.

양행 데이터 품질 체크리스트

레로봇의 리플레이 시청자를 사용하여 녹음 후 모든 데모를 검토하십시오. 다음 기준 중 두 가지 또는 더 많은 것을 실패하는 데모를 폐기하십시오.

**팔이 전달되는 시시네크 ** 두 팔은 동시에 의도된 전달 지점으로부터 3cm 이내에 있어야 합니다. 한 팔이 다른 팔을 기다리는 시시네크 전달은 정책에 pause를 가르칩니다.

** 일관된 시작 위치** 큐브는 모든 데모에 동일한 위치에서 2cm 이내에 시작해야 합니다. 1.부단에서 테이프 마크를 사용하십시오. 시작 위치의 변이는 기본 작업을 배우기 전에 정책을 일반화하도록 강요합니다.

정화 된 잡기 양 팔 다음 단계로 이동하기 전에 각 팔은 안정적인 잡기를 달성해야 합니다. 이동 중에서 슬라이딩 잡기는 정책이 신뢰할 수 있는 복제 불가능한 궤도를 만듭니다.

** 홈 포즈 복귀** 두 팔은 각각의 데모의 끝에서 홈 포즈로 깨끗하게 복귀해야 합니다. 중간 동작을 끝내는 데모는 에피소드 경계가 모호한 데이터 세트를 만듭니다.

◎

** 작업 공간 카메라 커버링** 작업 공간 카메라 프레임에서 전달 시기가 가시되어야 합니다. 로봇 체체가 시선을 차단하면 계속하기 전에 카메라 각을 조정하십시오.

일관된 시간 에피소드 기간은 디모마다 ±5초 이상 차이가 나지 않아야 한다. 큰 시간차이는 일관된 실행을 나타내고, 액션 공간 엔트로피가 높은 데이터 세트를 생성한다.

** 목표 데이터 세트 크기는:** 100 개의 디모는 양동 ACT 훈련에 권장되는 최소입니다. 연구 결과는 양동 작업은 비교적 단일 작업의 데이터의 약 2배가 필요하다고 제안합니다. 왜냐하면 공동 조정 구조가 더 복잡하고 행동 공간이 더 크기 때문입니다. 5단계 훈련 후 성공률이 40% 이하인 경우, 다른 50개의 목표형 데모를 수집하는 것이 첫 번째 시도입니다.

4단체 완료...

레로봇 형식에서 T0에서 100개의 레코드된 시범을 가지고 있습니다. 검토 및 컷링 후, 적어도 90개의 시범이 품질 체크리스트를 통과합니다. 두 개의 공동 상태 배열은 각 에피소드마다 50Hz에서 존재합니다. 두 카메라 피드는 존재하며, 전달 시기를 포함하여 전체 작업 순서를 보여줍니다. 당신은 T1을 실행하고 데이터 세트의 구조가 유효하다는 것을 확인했습니다.

[← 경로 개요로 돌아가]