Coleta de Dados

Conexões de Hardware para Gravação

A coleta de dados requer mais hardware do que o controle básico do braço. Esta seção cobre o que conectar e onde antes de começar o LeRobot.

Fluxo de Trabalho de Gravação Passo a Passo

Siga estas etapas para cada sessão de gravação. Cada etapa se baseia na anterior — não pule etapas.

sudo ip link set up can0
source /opt/ros/humble/setup.bash
source ~/openarm_ws/install/setup.bash
ros2 launch openarm_ros2 openarm.launch.py use_fake_hardware:=false can_interface:=can0

python3 -m openarm_can.scripts.home --interface can0

# Quick camera check (press Q to exit)
python3 -c "
import cv2
for i in range(4):
    cap = cv2.VideoCapture(i)
    if cap.isOpened():
        print(f'Camera {i}: OK')
    cap.release()
"

source ~/.venvs/openarm/bin/activate
python -m lerobot.scripts.control_robot \
  --robot.type=openarm \
  --control.type=record \
  --control.fps=30 \
  --control.repo_id=your-username/openarm-pick-place-v1 \
  --control.num_episodes=50 \
  --control.single_task="Pick up the red cube and place it in the bin" \
  --control.warmup_time_s=5 \
  --control.reset_time_s=10

python -m lerobot.scripts.visualize_dataset \
  --repo_id=your-username/openarm-pick-place-v1 \
  --episode_index=0

huggingface-cli login
python -m lerobot.scripts.push_dataset_to_hub \
  --repo_id=your-username/openarm-pick-place-v1

Formato de Conjunto de Dados LeRobot

O LeRobot armazena conjuntos de dados no formato de conjunto de dados HuggingFace usando arquivos Parquet para dados tabulares e arquivos MP4/PNG para fluxos de imagem. Cada episódio é uma sequência de observações e ações com timestamp.

Estrutura de diretórios

your-username/openarm-pick-place-v1/
├── meta/
│   ├── info.json          # Dataset metadata, fps, shapes
│   ├── episodes.jsonl     # Per-episode metadata (task, length, outcome)
│   └── stats.json         # Min/max/mean/std for all fields
├── data/
│   └── chunk-000/
│       ├── episode_000000.parquet
│       ├── episode_000001.parquet
│       └── ...
└── videos/
    └── chunk-000/
        ├── observation.images.wrist_cam/
        │   ├── episode_000000.mp4
        │   └── ...
        └── observation.images.overhead_cam/
            └── ...

Esquema de dados do episódio

Episódios de falha como dados

O OpenArm é projetado para registrar com segurança tentativas falhadas, não apenas sucessos. Trajetórias de falha — deslizamento, erro de apreensão, colisão, tentativas de recuperação — são dados de primeira classe críticos para a generalização robusta da política. Não exclua episódios de falha automaticamente. Em vez disso, anote-os com o success campo nos metadados do episódio e deixe a estrutura de treinamento decidir se deve usá-los.

Lista de Verificação de Qualidade para Dados Coletados

Passe por esta lista de verificação após cada sessão de gravação e antes de enviar para o Hub. Dados de baixa qualidade prejudicam o desempenho da política mais do que uma contagem baixa de episódios.

Treinando uma Política a partir do Seu Conjunto de Dados

Uma vez que seu conjunto de dados passe na lista de verificação de qualidade, você pode treinar a Política ACT ou de Difusão diretamente com o LeRobot.

Treinar ACT

python -m lerobot.scripts.train \
  --policy.type=act \
  --dataset.repo_id=your-username/openarm-pick-place-v1 \
  --policy.chunk_size=100 \
  --training.num_epochs=5000 \
  --output_dir=outputs/act-pick-place

Treinar Política de Difusão

python -m lerobot.scripts.train \
  --policy.type=diffusion \
  --dataset.repo_id=your-username/openarm-pick-place-v1 \
  --training.num_epochs=8000 \
  --output_dir=outputs/diffusion-pick-place