데이터 수집

녹음을 위한 하드웨어 연결

데이터 수집에는 기본 팔 제어보다 더 많은 하드웨어가 필요합니다. 이 섹션에서는 르로봇을 시작하기 전에 무엇을 연결하고 어디에 연결해야 하는지 설명합니다.

단계별 녹음 작업 흐름

각 녹음 세션에 대해 다음 단계를 따르세요. 각 단계는 마지막 단계를 기반으로 구축됩니다. 단계를 건너뛰지 마세요.

sudo ip link set up can0
source /opt/ros/humble/setup.bash
source ~/openarm_ws/install/setup.bash
ros2 launch openarm_ros2 openarm.launch.py use_fake_hardware:=false can_interface:=can0

python3 -m openarm_can.scripts.home --interface can0

# Quick camera check (press Q to exit)
python3 -c "
import cv2
for i in range(4):
    cap = cv2.VideoCapture(i)
    if cap.isOpened():
        print(f'Camera {i}: OK')
    cap.release()
"

source ~/.venvs/openarm/bin/activate
python -m lerobot.scripts.control_robot \
  --robot.type=openarm \
  --control.type=record \
  --control.fps=30 \
  --control.repo_id=your-username/openarm-pick-place-v1 \
  --control.num_episodes=50 \
  --control.single_task="Pick up the red cube and place it in the bin" \
  --control.warmup_time_s=5 \
  --control.reset_time_s=10

python -m lerobot.scripts.visualize_dataset \
  --repo_id=your-username/openarm-pick-place-v1 \
  --episode_index=0

huggingface-cli login
python -m lerobot.scripts.push_dataset_to_hub \
  --repo_id=your-username/openarm-pick-place-v1

LeRobot 데이터세트 형식

LeRobot은 테이블 형식 데이터용 Parquet 파일과 이미지 스트림용 MP4/PNG 파일을 사용하여 HuggingFace 데이터세트 형식으로 데이터세트를 저장합니다. 각 에피소드는 타임스탬프가 표시된 일련의 관찰 및 작업입니다.

디렉토리 구조

your-username/openarm-pick-place-v1/
├── meta/
│   ├── info.json          # Dataset metadata, fps, shapes
│   ├── episodes.jsonl     # Per-episode metadata (task, length, outcome)
│   └── stats.json         # Min/max/mean/std for all fields
├── data/
│   └── chunk-000/
│       ├── episode_000000.parquet
│       ├── episode_000001.parquet
│       └── ...
└── videos/
    └── chunk-000/
        ├── observation.images.wrist_cam/
        │   ├── episode_000000.mp4
        │   └── ...
        └── observation.images.overhead_cam/
            └── ...

에피소드 데이터 스키마

데이터로서의 실패 에피소드

OpenArm은 성공뿐만 아니라 실패한 시도도 안전하게 기록하도록 설계되었습니다. 오류 궤적(미끄러짐, 잘못 파악, 충돌, 복구 시도)은 강력한 정책 일반화에 중요한 일급 데이터입니다. 실패 에피소드를 자동으로 삭제하지 마세요. 대신에 success 필드를 에피소드 메타데이터에 입력하고 학습 프레임워크에서 이를 사용할지 여부를 결정하도록 합니다.

수집된 데이터에 대한 품질 체크리스트

각 녹음 세션이 끝난 후 허브로 푸시하기 전에 이 체크리스트를 실행하세요. 품질이 낮은 데이터는 에피소드 수가 적은 것보다 정책 성과를 더 악화시킵니다.

데이터 세트에서 정책 교육

데이터 세트가 품질 체크리스트를 통과하면 LeRobot을 사용하여 ACT 또는 확산 정책을 직접 교육할 수 있습니다.

기차 ACT

python -m lerobot.scripts.train \
  --policy.type=act \
  --dataset.repo_id=your-username/openarm-pick-place-v1 \
  --policy.chunk_size=100 \
  --training.num_epochs=5000 \
  --output_dir=outputs/act-pick-place

열차 확산 정책

python -m lerobot.scripts.train \
  --policy.type=diffusion \
  --dataset.repo_id=your-username/openarm-pick-place-v1 \
  --training.num_epochs=8000 \
  --output_dir=outputs/diffusion-pick-place