Сбор данных

Аппаратные подключения для записи

Для сбора данных требуется больше оборудования, чем простое управление рукой. В этом разделе описано, что и куда подключать перед запуском LeRobot.

Пошаговый процесс записи

Выполните следующие действия для каждого сеанса записи. Каждый шаг основывается на предыдущем — не пропускайте шаги.

sudo ip link set up can0
source /opt/ros/humble/setup.bash
source ~/openarm_ws/install/setup.bash
ros2 launch openarm_ros2 openarm.launch.py use_fake_hardware:=false can_interface:=can0

python3 -m openarm_can.scripts.home --interface can0

# Quick camera check (press Q to exit)
python3 -c "
import cv2
for i in range(4):
    cap = cv2.VideoCapture(i)
    if cap.isOpened():
        print(f'Camera {i}: OK')
    cap.release()
"

source ~/.venvs/openarm/bin/activate
python -m lerobot.scripts.control_robot \
  --robot.type=openarm \
  --control.type=record \
  --control.fps=30 \
  --control.repo_id=your-username/openarm-pick-place-v1 \
  --control.num_episodes=50 \
  --control.single_task="Pick up the red cube and place it in the bin" \
  --control.warmup_time_s=5 \
  --control.reset_time_s=10

python -m lerobot.scripts.visualize_dataset \
  --repo_id=your-username/openarm-pick-place-v1 \
  --episode_index=0

huggingface-cli login
python -m lerobot.scripts.push_dataset_to_hub \
  --repo_id=your-username/openarm-pick-place-v1

Формат набора данных LeRobot

LeRobot хранит наборы данных в формате набора данных HuggingFace, используя файлы Parquet для табличных данных и файлы MP4/PNG для потоков изображений. Каждый эпизод представляет собой последовательность наблюдений и действий с отметками времени.

Структура каталогов

your-username/openarm-pick-place-v1/
├── meta/
│   ├── info.json          # Dataset metadata, fps, shapes
│   ├── episodes.jsonl     # Per-episode metadata (task, length, outcome)
│   └── stats.json         # Min/max/mean/std for all fields
├── data/
│   └── chunk-000/
│       ├── episode_000000.parquet
│       ├── episode_000001.parquet
│       └── ...
└── videos/
    └── chunk-000/
        ├── observation.images.wrist_cam/
        │   ├── episode_000000.mp4
        │   └── ...
        └── observation.images.overhead_cam/
            └── ...

Схема данных эпизода

Эпизоды отказов как данные

OpenArm предназначен для безопасной записи неудачных попыток, а не только успешных. Траектории неудач — проскальзывание, неправильное понимание, коллизия, попытки восстановления — являются первоклассными данными, критически важными для надежного обобщения политики. Не удаляйте эпизоды сбоя автоматически. Вместо этого добавьте к ним аннотацию success поле в метаданных эпизода и позвольте системе обучения решить, следует ли их использовать.

Контрольный список качества собранных данных

Проходите этот контрольный список после каждого сеанса записи и перед отправкой в ​​Hub. Данные низкого качества вредят эффективности политики больше, чем низкое количество эпизодов.

Обучение политики на основе вашего набора данных

Как только ваш набор данных пройдет контрольный список качества, вы сможете обучать ACT или Diffusion Policy непосредственно с помощью LeRobot.

Поезд АСТ

python -m lerobot.scripts.train \
  --policy.type=act \
  --dataset.repo_id=your-username/openarm-pick-place-v1 \
  --policy.chunk_size=100 \
  --training.num_epochs=5000 \
  --output_dir=outputs/act-pick-place

Политика распространения поездов

python -m lerobot.scripts.train \
  --policy.type=diffusion \
  --dataset.repo_id=your-username/openarm-pick-place-v1 \
  --training.num_epochs=8000 \
  --output_dir=outputs/diffusion-pick-place