איסוף נתונים

חיבורי חומרה להקלטה

איסוף נתונים דורש יותר חומרה מאשר בקרת זרוע בסיסית. סעיף זה מכסה מה להתחבר ולאן לפני שתפעיל את LeRobot.

תהליך הקלטה שלב אחר שלב

בצע את השלבים הבאים עבור כל הפעלת הקלטה. כל שלב מתבסס על השלב האחרון - אל תדלג על שלבים.

sudo ip link set up can0
source /opt/ros/humble/setup.bash
source ~/openarm_ws/install/setup.bash
ros2 launch openarm_ros2 openarm.launch.py use_fake_hardware:=false can_interface:=can0

python3 -m openarm_can.scripts.home --interface can0

# Quick camera check (press Q to exit)
python3 -c "
import cv2
for i in range(4):
    cap = cv2.VideoCapture(i)
    if cap.isOpened():
        print(f'Camera {i}: OK')
    cap.release()
"

source ~/.venvs/openarm/bin/activate
python -m lerobot.scripts.control_robot \
  --robot.type=openarm \
  --control.type=record \
  --control.fps=30 \
  --control.repo_id=your-username/openarm-pick-place-v1 \
  --control.num_episodes=50 \
  --control.single_task="Pick up the red cube and place it in the bin" \
  --control.warmup_time_s=5 \
  --control.reset_time_s=10

python -m lerobot.scripts.visualize_dataset \
  --repo_id=your-username/openarm-pick-place-v1 \
  --episode_index=0

huggingface-cli login
python -m lerobot.scripts.push_dataset_to_hub \
  --repo_id=your-username/openarm-pick-place-v1

פורמט ערכת נתונים של LeRobot

LeRobot מאחסן מערכי נתונים בפורמט הנתונים של HuggingFace באמצעות קבצי Parquet עבור נתונים טבלאיים וקבצי MP4/PNG עבור זרמי תמונות. כל פרק הוא רצף של תצפיות ופעולות עם חותמת זמן.

מבנה ספריות

your-username/openarm-pick-place-v1/
├── meta/
│   ├── info.json          # Dataset metadata, fps, shapes
│   ├── episodes.jsonl     # Per-episode metadata (task, length, outcome)
│   └── stats.json         # Min/max/mean/std for all fields
├── data/
│   └── chunk-000/
│       ├── episode_000000.parquet
│       ├── episode_000001.parquet
│       └── ...
└── videos/
    └── chunk-000/
        ├── observation.images.wrist_cam/
        │   ├── episode_000000.mp4
        │   └── ...
        └── observation.images.overhead_cam/
            └── ...

סכימת נתוני פרק

פרקי כשל כנתונים

OpenArm נועד להקליט בבטחה ניסיונות כושלים, לא רק הצלחות. מסלולי כשל - החלקה, אי אחיזה, התנגשות, ניסיונות התאוששות - הם נתונים מהשורה הראשונה קריטיים להכללת מדיניות חזקה. אל תמחק פרקי כשל באופן אוטומטי. במקום זאת, ציין אותם ב- success שדה במטא נתונים של פרק ולתת למסגרת ההדרכה להחליט אם להשתמש בהם.

רשימת רשימת איכות לנתונים שנאספו

רוץ על רשימת הבדיקה הזו לאחר כל מפגש הקלטה ולפני דחיפה ל-Hub. נתונים באיכות ירודה פוגעים בביצועי המדיניות יותר מאשר מספר פרקים נמוך.

הכשרת מדיניות מתוך מערך הנתונים שלך

לאחר שהמערכה שלך תעבור את רשימת הבדיקה האיכותית, תוכל לאמן ACT או Diffusion Policy ישירות עם LeRobot.

רכבת ACT

python -m lerobot.scripts.train \
  --policy.type=act \
  --dataset.repo_id=your-username/openarm-pick-place-v1 \
  --policy.chunk_size=100 \
  --training.num_epochs=5000 \
  --output_dir=outputs/act-pick-place

מדיניות פיזור רכבות

python -m lerobot.scripts.train \
  --policy.type=diffusion \
  --dataset.repo_id=your-username/openarm-pick-place-v1 \
  --training.num_epochs=8000 \
  --output_dir=outputs/diffusion-pick-place