Datenerfassung

Hardware-Anschlüsse für die Aufnahme

Die Datenerfassung erfordert mehr Hardware als die einfache Armsteuerung. In diesem Abschnitt erfahren Sie, was Sie wo anschließen müssen, bevor Sie LeRobot starten.

Schritt-für-Schritt-Aufzeichnungsworkflow

Befolgen Sie diese Schritte für jede Aufnahmesitzung. Jeder Schritt baut auf dem letzten auf – überspringen Sie keine Schritte.

sudo ip link set up can0
source /opt/ros/humble/setup.bash
source ~/openarm_ws/install/setup.bash
ros2 launch openarm_ros2 openarm.launch.py use_fake_hardware:=false can_interface:=can0

python3 -m openarm_can.scripts.home --interface can0

# Quick camera check (press Q to exit)
python3 -c "
import cv2
for i in range(4):
    cap = cv2.VideoCapture(i)
    if cap.isOpened():
        print(f'Camera {i}: OK')
    cap.release()
"

source ~/.venvs/openarm/bin/activate
python -m lerobot.scripts.control_robot \
  --robot.type=openarm \
  --control.type=record \
  --control.fps=30 \
  --control.repo_id=your-username/openarm-pick-place-v1 \
  --control.num_episodes=50 \
  --control.single_task="Pick up the red cube and place it in the bin" \
  --control.warmup_time_s=5 \
  --control.reset_time_s=10

python -m lerobot.scripts.visualize_dataset \
  --repo_id=your-username/openarm-pick-place-v1 \
  --episode_index=0

huggingface-cli login
python -m lerobot.scripts.push_dataset_to_hub \
  --repo_id=your-username/openarm-pick-place-v1

LeRobot-Datensatzformat

LeRobot speichert Datensätze im HuggingFace-Datensatzformat unter Verwendung von Parquet-Dateien für tabellarische Daten und MP4/PNG-Dateien für Bildstreams. Jede Episode ist eine Abfolge zeitgestempelter Beobachtungen und Aktionen.

Verzeichnisstruktur

your-username/openarm-pick-place-v1/
├── meta/
│   ├── info.json          # Dataset metadata, fps, shapes
│   ├── episodes.jsonl     # Per-episode metadata (task, length, outcome)
│   └── stats.json         # Min/max/mean/std for all fields
├── data/
│   └── chunk-000/
│       ├── episode_000000.parquet
│       ├── episode_000001.parquet
│       └── ...
└── videos/
    └── chunk-000/
        ├── observation.images.wrist_cam/
        │   ├── episode_000000.mp4
        │   └── ...
        └── observation.images.overhead_cam/
            └── ...

Episodendatenschema

Fehlerepisoden als Daten

OpenArm ist darauf ausgelegt, Fehlversuche und nicht nur Erfolge sicher aufzuzeichnen. Fehlerverläufe – Ausrutscher, Missverständnisse, Kollisionen, Wiederherstellungsversuche – sind erstklassige Daten, die für eine robuste Verallgemeinerung von Richtlinien von entscheidender Bedeutung sind. Fehlerepisoden nicht automatisch löschen. Kommentieren Sie sie stattdessen mit dem success Feld in Episodenmetadaten ein und lassen Sie das Trainings-Framework entscheiden, ob diese verwendet werden sollen.

Qualitätscheckliste für gesammelte Daten

Gehen Sie diese Checkliste nach jeder Aufnahmesitzung und vor der Übertragung an den Hub durch. Schlechte Datenqualität schadet der politischen Leistung mehr als eine niedrige Episodenzahl.

Trainieren einer Richtlinie aus Ihrem Datensatz

Sobald Ihr Datensatz die Qualitätscheckliste besteht, können Sie ACT oder Diffusion Policy direkt mit LeRobot trainieren.

Trainiere ACT

python -m lerobot.scripts.train \
  --policy.type=act \
  --dataset.repo_id=your-username/openarm-pick-place-v1 \
  --policy.chunk_size=100 \
  --training.num_epochs=5000 \
  --output_dir=outputs/act-pick-place

Zugverbreitungspolitik

python -m lerobot.scripts.train \
  --policy.type=diffusion \
  --dataset.repo_id=your-username/openarm-pick-place-v1 \
  --training.num_epochs=8000 \
  --output_dir=outputs/diffusion-pick-place