Collecte de données

Connexions matérielles pour l'enregistrement

La collecte de données nécessite plus de matériel que le contrôle de base des armements. Cette section explique quoi connecter et où avant de démarrer LeRobot.

Flux de travail d'enregistrement étape par étape

Suivez ces étapes pour chaque session d'enregistrement. Chaque étape s’appuie sur la précédente – ne sautez pas d’étapes.

sudo ip link set up can0
source /opt/ros/humble/setup.bash
source ~/openarm_ws/install/setup.bash
ros2 launch openarm_ros2 openarm.launch.py use_fake_hardware:=false can_interface:=can0

python3 -m openarm_can.scripts.home --interface can0

# Quick camera check (press Q to exit)
python3 -c "
import cv2
for i in range(4):
    cap = cv2.VideoCapture(i)
    if cap.isOpened():
        print(f'Camera {i}: OK')
    cap.release()
"

source ~/.venvs/openarm/bin/activate
python -m lerobot.scripts.control_robot \
  --robot.type=openarm \
  --control.type=record \
  --control.fps=30 \
  --control.repo_id=your-username/openarm-pick-place-v1 \
  --control.num_episodes=50 \
  --control.single_task="Pick up the red cube and place it in the bin" \
  --control.warmup_time_s=5 \
  --control.reset_time_s=10

python -m lerobot.scripts.visualize_dataset \
  --repo_id=your-username/openarm-pick-place-v1 \
  --episode_index=0

huggingface-cli login
python -m lerobot.scripts.push_dataset_to_hub \
  --repo_id=your-username/openarm-pick-place-v1

Format du jeu de données LeRobot

LeRobot stocke les ensembles de données au format d'ensemble de données HuggingFace à l'aide de fichiers Parquet pour les données tabulaires et de fichiers MP4/PNG pour les flux d'images. Chaque épisode est une séquence d’observations et d’actions horodatées.

Structure du répertoire

your-username/openarm-pick-place-v1/
├── meta/
│   ├── info.json          # Dataset metadata, fps, shapes
│   ├── episodes.jsonl     # Per-episode metadata (task, length, outcome)
│   └── stats.json         # Min/max/mean/std for all fields
├── data/
│   └── chunk-000/
│       ├── episode_000000.parquet
│       ├── episode_000001.parquet
│       └── ...
└── videos/
    └── chunk-000/
        ├── observation.images.wrist_cam/
        │   ├── episode_000000.mp4
        │   └── ...
        └── observation.images.overhead_cam/
            └── ...

Schéma de données d'épisode

Épisodes de défaillance sous forme de données

OpenArm est conçu pour enregistrer en toute sécurité les tentatives infructueuses, et pas seulement les réussites. Les trajectoires d’échec (dérapage, mauvaise saisie, collision, tentatives de récupération) sont des données de premier ordre essentielles à une généralisation solide des politiques. Ne supprimez pas automatiquement les épisodes de défaillance. Annotez-les plutôt avec le success champ dans les métadonnées de l'épisode et laissez le cadre de formation décider s'il doit les utiliser.

Liste de contrôle de qualité pour les données collectées

Parcourez cette liste de contrôle après chaque session d'enregistrement et avant de passer au Hub. Des données de mauvaise qualité nuisent davantage à la performance politique qu’un faible nombre d’épisodes.

Formation d'une politique à partir de votre ensemble de données

Une fois que votre ensemble de données passe la liste de contrôle qualité, vous pouvez entraîner ACT ou Diffusion Policy directement avec LeRobot.

Ancien ACT

python -m lerobot.scripts.train \
  --policy.type=act \
  --dataset.repo_id=your-username/openarm-pick-place-v1 \
  --policy.chunk_size=100 \
  --training.num_epochs=5000 \
  --output_dir=outputs/act-pick-place

Politique de diffusion des trains

python -m lerobot.scripts.train \
  --policy.type=diffusion \
  --dataset.repo_id=your-username/openarm-pick-place-v1 \
  --training.num_epochs=8000 \
  --output_dir=outputs/diffusion-pick-place