جمع البيانات

اتصالات الأجهزة للتسجيل

يتطلب جمع البيانات أجهزة أكثر من التحكم الأساسي في الذراع. يغطي هذا القسم ما يجب توصيله وأين يجب أن تبدأ تشغيل LeRobot.

سير عمل التسجيل خطوة بخطوة

اتبع هذه الخطوات لكل جلسة تسجيل. كل خطوة مبنية على الأخيرة — لا تتجاوز الخطوات.

sudo ip link set up can0
source /opt/ros/humble/setup.bash
source ~/openarm_ws/install/setup.bash
ros2 launch openarm_ros2 openarm.launch.py use_fake_hardware:=false can_interface:=can0

python3 -m openarm_can.scripts.home --interface can0

# Quick camera check (press Q to exit)
python3 -c "
import cv2
for i in range(4):
    cap = cv2.VideoCapture(i)
    if cap.isOpened():
        print(f'Camera {i}: OK')
    cap.release()
"

source ~/.venvs/openarm/bin/activate
python -m lerobot.scripts.control_robot \
  --robot.type=openarm \
  --control.type=record \
  --control.fps=30 \
  --control.repo_id=your-username/openarm-pick-place-v1 \
  --control.num_episodes=50 \
  --control.single_task="Pick up the red cube and place it in the bin" \
  --control.warmup_time_s=5 \
  --control.reset_time_s=10

python -m lerobot.scripts.visualize_dataset \
  --repo_id=your-username/openarm-pick-place-v1 \
  --episode_index=0

huggingface-cli login
python -m lerobot.scripts.push_dataset_to_hub \
  --repo_id=your-username/openarm-pick-place-v1

تنسيق مجموعة بيانات LeRobot

يقوم LeRobot بتخزين مجموعات البيانات بتنسيق مجموعة بيانات HuggingFace باستخدام ملفات Parquet للبيانات الجدولية وملفات MP4/PNG لتدفقات الصور. كل حلقة عبارة عن سلسلة من الملاحظات والإجراءات ذات الطابع الزمني.

هيكل الدليل

your-username/openarm-pick-place-v1/
├── meta/
│   ├── info.json          # Dataset metadata, fps, shapes
│   ├── episodes.jsonl     # Per-episode metadata (task, length, outcome)
│   └── stats.json         # Min/max/mean/std for all fields
├── data/
│   └── chunk-000/
│       ├── episode_000000.parquet
│       ├── episode_000001.parquet
│       └── ...
└── videos/
    └── chunk-000/
        ├── observation.images.wrist_cam/
        │   ├── episode_000000.mp4
        │   └── ...
        └── observation.images.overhead_cam/
            └── ...

مخطط بيانات الحلقة

حلقات الفشل كبيانات

تم تصميم OpenArm لتسجيل المحاولات الفاشلة بأمان، وليس النجاحات فقط. تعد مسارات الفشل - الانزلاق، وسوء الفهم، والاصطدام، ومحاولات التعافي - بيانات من الدرجة الأولى بالغة الأهمية لتعميم السياسات بشكل قوي. لا تقم بحذف حلقات الفشل تلقائيًا. بدلاً من ذلك، قم بتعليقها باستخدام success الحقل في البيانات الوصفية للحلقة واترك لإطار التدريب أن يقرر ما إذا كان سيتم استخدامها أم لا.

قائمة مراجعة الجودة للبيانات المجمعة

قم بإجراء قائمة التحقق هذه بعد كل جلسة تسجيل وقبل الدفع إلى المركز. إن البيانات ذات الجودة الرديئة تضر بأداء السياسة أكثر من انخفاض عدد الحلقات.

تدريب سياسة من مجموعة البيانات الخاصة بك

بمجرد اجتياز مجموعة البيانات الخاصة بك لقائمة التحقق من الجودة، يمكنك تدريب ACT أو سياسة النشر مباشرة مع LeRobot.

تدريب أكت

python -m lerobot.scripts.train \
  --policy.type=act \
  --dataset.repo_id=your-username/openarm-pick-place-v1 \
  --policy.chunk_size=100 \
  --training.num_epochs=5000 \
  --output_dir=outputs/act-pick-place

سياسة نشر القطار

python -m lerobot.scripts.train \
  --policy.type=diffusion \
  --dataset.repo_id=your-username/openarm-pick-place-v1 \
  --training.num_epochs=8000 \
  --output_dir=outputs/diffusion-pick-place