Bimanuelle Datenerfassung

Sicherheitscheck vor der Sitzung

Räumen Sie den gemeinsamen Arbeitsbereich zwischen beiden Armen frei (1,5 m × 1 m). Stellen Sie sicher, dass beide Arme den gemeinsamen Arbeitsbereich ohne Kollision erreichen. Testen Sie den Not-Aus-Schalter vor der Aufnahme. Sehen Sicherheitsseite.

Verbinden und überprüfen Sie beide Arme

# Verify serial ports are available
ls /dev/ttyACM*
# Expected: /dev/ttyACM0 (leader) and /dev/ttyACM1 (follower)

# Quick connection test
python -m lerobot.scripts.control_robot \
  --robot.type=bi_dk1_follower \
  --robot.config=~/.lerobot/robots/dk1_bimanual.yaml \
  --control.type=none

Überprüfen Sie Kamera-Feeds

Beide Kameras müssen streamen, bevor LeRobot gestartet wird. Eine fehlende Kamera führt stillschweigend zu Episoden mit Nullbildern.

python3 -c "
import cv2
for i in [0, 2]:
    cap = cv2.VideoCapture(i)
    if cap.isOpened():
        ret, frame = cap.read()
        print(f'Camera {i}: OK ({frame.shape[1]}x{frame.shape[0]})')
    else:
        print(f'Camera {i}: FAILED')
    cap.release()
"

Bewegen Sie die Arme in die Ausgangsposition

Bewegen Sie den Führungsarm manuell in die Teleop-Ausgangsposition. Der Mitnehmerarm wird dies widerspiegeln. Halten Sie den Führungsarm zwei bis drei Sekunden lang ruhig, um die Synchronisierung zu bestätigen, bevor die Aufwärmphase beginnt.

Richten Sie die Aufgabenszene ein

Platzieren Sie Gegenstände in einheitlichen Ausgangspositionen für beide Arme. Fotografieren Sie die Ausgangskonfiguration. Markieren Sie bei bimanuellen Aufgaben die genauen Positionen mit Klebeband – die Szenenkonsistenz ist noch wichtiger, da beide Armbewegungen kompatibel sein müssen.

Starten Sie die bimanuelle LeRobot-Aufzeichnung

source ~/.venvs/dk1/bin/activate
python -m lerobot.scripts.control_robot \
  --robot.type=bi_dk1_follower \
  --robot.config=~/.lerobot/robots/dk1_bimanual.yaml \
  --control.type=record \
  --control.fps=30 \
  --control.repo_id=your-username/dk1-bimanual-pick-place-v1 \
  --control.num_episodes=50 \
  --control.single_task="Pick up block with left arm, place in bin with right arm" \
  --control.warmup_time_s=5 \
  --control.reset_time_s=15

Verwenden Sie eine längere reset_time_s für bimanuelle Aufgaben – das Zurücksetzen von zwei Armen und der Szene dauert länger als bei einarmigen Einstellungen.

Überprüfen und wiederholen Sie Episoden

Nach jeder Folge von 10 Episoden können Sie sie noch einmal abspielen und überprüfen, bevor Sie fortfahren. Achten Sie auf die Armkoordination – Verzögerungen zwischen dem linken und dem rechten Arm machen sich als Zittern in den Bewegungen des Followers bemerkbar.

python -m lerobot.scripts.visualize_dataset \
  --repo_id=your-username/dk1-bimanual-pick-place-v1 \
  --episode_index=0

Drücken Sie auf HuggingFace Hub

huggingface-cli login
python -m lerobot.scripts.push_dataset_to_hub \
  --repo_id=your-username/dk1-bimanual-pick-place-v1