Recolección de Datos

Conexiones de Hardware para Grabación

La recolección de datos requiere más hardware que el control básico del brazo. Esta sección cubre qué conectar y dónde antes de comenzar LeRobot.

Flujo de trabajo de grabación paso a paso

Siga estos pasos para cada sesión de grabación. Cada paso se basa en el anterior; no omita pasos.

sudo ip link set up can0
source /opt/ros/humble/setup.bash
source ~/openarm_ws/install/setup.bash
ros2 launch openarm_ros2 openarm.launch.py use_fake_hardware:=false can_interface:=can0

python3 -m openarm_can.scripts.home --interface can0

# Quick camera check (press Q to exit)
python3 -c "
import cv2
for i in range(4):
    cap = cv2.VideoCapture(i)
    if cap.isOpened():
        print(f'Camera {i}: OK')
    cap.release()
"

source ~/.venvs/openarm/bin/activate
python -m lerobot.scripts.control_robot \
  --robot.type=openarm \
  --control.type=record \
  --control.fps=30 \
  --control.repo_id=your-username/openarm-pick-place-v1 \
  --control.num_episodes=50 \
  --control.single_task="Pick up the red cube and place it in the bin" \
  --control.warmup_time_s=5 \
  --control.reset_time_s=10

python -m lerobot.scripts.visualize_dataset \
  --repo_id=your-username/openarm-pick-place-v1 \
  --episode_index=0

huggingface-cli login
python -m lerobot.scripts.push_dataset_to_hub \
  --repo_id=your-username/openarm-pick-place-v1

Formato de conjunto de datos LeRobot

LeRobot almacena conjuntos de datos en el formato de conjunto de datos de HuggingFace utilizando archivos Parquet para datos tabulares y archivos MP4/PNG para flujos de imágenes. Cada episodio es una secuencia de observaciones y acciones con marcas de tiempo.

Estructura de directorios

your-username/openarm-pick-place-v1/
├── meta/
│   ├── info.json          # Dataset metadata, fps, shapes
│   ├── episodes.jsonl     # Per-episode metadata (task, length, outcome)
│   └── stats.json         # Min/max/mean/std for all fields
├── data/
│   └── chunk-000/
│       ├── episode_000000.parquet
│       ├── episode_000001.parquet
│       └── ...
└── videos/
    └── chunk-000/
        ├── observation.images.wrist_cam/
        │   ├── episode_000000.mp4
        │   └── ...
        └── observation.images.overhead_cam/
            └── ...

Esquema de datos del episodio

Episodios de fallo como datos

OpenArm está diseñado para registrar de manera segura los intentos fallidos, no solo los éxitos. Las trayectorias de fallo —deslizamiento, agarre incorrecto, colisión, intentos de recuperación— son datos de primera clase críticos para la generalización robusta de políticas. No elimines episodios de fallo automáticamente. En su lugar, anótalos con el success campo en los metadatos del episodio y deja que el marco de entrenamiento decida si usarlos.

Lista de verificación de calidad para los datos recopilados

Revisa esta lista de verificación después de cada sesión de grabación y antes de subir a la Hub. Los datos de mala calidad perjudican el rendimiento de la política más que un bajo conteo de episodios.

Entrenando una Política a partir de tu Conjunto de Datos

Una vez que tu conjunto de datos pase la lista de verificación de calidad, puedes entrenar ACT o Política de Difusión directamente con LeRobot.

Entrenar ACT

python -m lerobot.scripts.train \
  --policy.type=act \
  --dataset.repo_id=your-username/openarm-pick-place-v1 \
  --policy.chunk_size=100 \
  --training.num_epochs=5000 \
  --output_dir=outputs/act-pick-place

Entrenar Política de Difusión

python -m lerobot.scripts.train \
  --policy.type=diffusion \
  --dataset.repo_id=your-username/openarm-pick-place-v1 \
  --training.num_epochs=8000 \
  --output_dir=outputs/diffusion-pick-place