로봇 연결 또는 개방형 시뮬레이션

실제 로봇을 사용하는 경우 지금 연결하고 기록 명령을 실행하기 전에 시스템에서 인식되는지 확인하세요. 시뮬레이션 작업 중이라면 기록 명령을 사용하여 가상 로봇을 구동할 수 있습니다. gym_pusht 또는 gym_aloha 원격 운용 소스로 키보드나 스크립트 정책을 사용하는 환경.

# Real robot — verify connection (replace so100 with your robot type) python -m lerobot.scripts.control_robot \ --로봇 경로 lerobot/configs/robot/so100.yaml \ --제어 모드 원격 조작 \ --teleop-time-s 5 # Simulation — no hardware needed python -m lerobot.scripts.control_robot \ --robot-path lerobot/configs/robot/so100_sim.yaml \ --제어 모드 원격 조작 \ --teleop-time-s 5

터미널 출력에서 ​​스트리밍되는 관절 상태와 (실제 로봇의 경우) 입력에 응답하는 팔을 볼 수 있습니다. 그렇지 않은 경우 계속하기 전에 연결 문제를 해결하십시오. 연결이 끊긴 로봇으로 녹화하면 자동으로 손상된 데이터가 생성됩니다.

녹음 명령

핵심 녹음 명령입니다. 설정에 맞게 플래그를 조정하세요.

python -m lerobot.scripts.control_robot \ --로봇 경로 lerobot/configs/robot/so100.yaml \ --제어 모드 레코드 \ --dataset.repo-id $HF_USER/pick-place-v1 \ --dataset.num-episodes 50 \ --dataset.single-task "빨간색 큐브를 집어 그릇에 넣으세요" \ --dataset.fps 30 \ --dataset.push-to-hub 1 \ --디스플레이 카메라 1 # $HF_USER is your HuggingFace username (set via: export HF_USER=your_username) # --dataset.push-to-hub 1 uploads automatically after each episode # --display-cameras 1 shows live camera feeds during recording
시뮬레이션 기록: 바꾸다 --robot-path 귀하의 SIM 구성으로. 추가하다 --env-name gym_pusht/PushT-v0 그리고 --policy-path lerobot/act_pusht_keypoints 기준 데이터 세트에 대한 스크립트된(사람이 아닌) 데모를 기록합니다.

얼마나 많은 시위가 있었나요?

올바른 숫자는 설정에 따라 다릅니다.

  • 시뮬레이션: 기본 정책에는 스크립트로 작성된 에피소드 50개면 충분합니다. 환경은 결정적이므로 분산이 낮고 ACT가 수렴하는 데 50이면 충분합니다.
  • 실제 로봇, 간단한 작업: 50~80명의 인간 시위. 데모가 일관적이라면 고정된 물체 위치의 픽 앤 플레이스는 이 범위의 낮은 끝에서 잘 훈련될 수 있습니다.
  • 실제 로봇, 가변 작업: 100~200개의 시위. 물체 위치가 다양하거나 작업에 여러 하위 단계가 필요한 경우 더 많은 적용 범위가 필요합니다.

이 경로의 경우 대상 최소 50개 시연. 품질이 양보다 중요합니다. 50개의 일관된 시연이 매번 150개의 엉성한 시연보다 더 나은 성과를 냅니다.

모범 사례

일관된 작업 공간 설정

각 에피소드 전에 개체를 동일한 위치로 재설정합니다. 테이블에 테이프를 사용하여 시작 위치를 표시합니다. 정책은 데모의 포지션 분포를 통해 학습합니다. 모두 같은 위치에 있으면 해당 위치에 맞게 정책이 조정됩니다.

전체, 완전한 에피소드

모든 에피소드는 동일한 집 자세에서 시작하여 작업이 완전히 완료되는 것으로 끝나야 합니다. 작업 도중에 녹음을 중단하지 마세요. 그리퍼가 중간에 움켜쥐는 불완전한 에피소드는 모델에 깨진 동작을 가르칩니다.

의도적이고 부드러운 모션

최대 속도의 40~60%로 이동합니다. 부드러울 만큼 느리고, 불안하지 않을 만큼 빠릅니다. 모델은 데모를 통해 타이밍을 학습합니다. 즉, 불규칙한 속도는 불규칙한 정책을 생성합니다.

부분적이거나 중단된 데모

개체를 떨어뜨리거나 작업 공간과 충돌하거나 오류가 발생하는 경우 Ctrl+C 에피소드를 중단합니다. 에피소드가 삭제됩니다. 중단된 에피소드를 푸시하지 마십시오. 데이터 세트가 손상됩니다.

일관성 없는 전략

전략을 혼합하지 마십시오. 일부 데모에서는 왼쪽에서, 다른 데모에서는 오른쪽에서 파악하지 마십시오. 하나의 접근 방식을 선택하여 모든 에피소드에 사용하세요. ACT의 CVAE는 단일 "스타일"을 학습합니다. 불일치로 인해 평균이 발생하고 어느 전략도 안정적으로 생성되지 않습니다.

HuggingFace 허브로 푸시

설정하지 않은 경우 --dataset.push-to-hub 1 녹음하는 동안 세션 후에 수동으로 푸시합니다.

# Push your completed dataset to HuggingFace Hub python -m lerobot.scripts.push_dataset_to_hub \ --dataset-dir ~/lerobot-datasets/pick-place-v1 \ --repo-id $HF_USER/pick-place-v1 # Verify it is live at: # https://huggingface.co/datasets/$HF_USER/pick-place-v1
데이터 세트 가시성: HuggingFace Hub에서는 새로운 데이터 세트가 기본적으로 공개됩니다. 작업 공간이나 작업이 민감한 경우 다음을 추가하세요. --private 1 푸시 명령에. 공개 데이터세트는 로봇공학 커뮤니티에 기여하며 SVRC 데이터세트 라이브러리.

단원 3 완료 시기...

HuggingFace Hub의 LeRobot 데이터세트에는 중단되지 않은 완전한 데모가 50개 이상 있습니다. 다음을 사용하여 데이터세트를 로드할 수 있습니다. LeRobotDataset("your-username/pick-place-v1") 예상 에피소드 수를 확인하세요. 다음을 사용하여 최소 5개의 에피소드를 시각화했습니다. lerobot.scripts.visualize_dataset 관절 궤적이 매끄럽게 보이고 그리퍼 상태 변화가 깨끗한지 확인했습니다. 이제 Unit 4에서 훈련할 준비가 되었습니다.