データ収集

録音用のハードウェア接続

データ収集には、基本的なアーム制御よりも多くのハードウェアが必要です。 このセクションでは、LeRobot を起動する前に、何をどこに接続するかについて説明します。

ステップバイステップの記録ワークフロー

記録セッションごとに次の手順に従います。 各ステップは最後のステップに基づいて構築されます。ステップを飛ばさないでください。

sudo ip link set up can0
source /opt/ros/humble/setup.bash
source ~/openarm_ws/install/setup.bash
ros2 launch openarm_ros2 openarm.launch.py use_fake_hardware:=false can_interface:=can0

python3 -m openarm_can.scripts.home --interface can0

# Quick camera check (press Q to exit)
python3 -c "
import cv2
for i in range(4):
    cap = cv2.VideoCapture(i)
    if cap.isOpened():
        print(f'Camera {i}: OK')
    cap.release()
"

source ~/.venvs/openarm/bin/activate
python -m lerobot.scripts.control_robot \
  --robot.type=openarm \
  --control.type=record \
  --control.fps=30 \
  --control.repo_id=your-username/openarm-pick-place-v1 \
  --control.num_episodes=50 \
  --control.single_task="Pick up the red cube and place it in the bin" \
  --control.warmup_time_s=5 \
  --control.reset_time_s=10

python -m lerobot.scripts.visualize_dataset \
  --repo_id=your-username/openarm-pick-place-v1 \
  --episode_index=0

huggingface-cli login
python -m lerobot.scripts.push_dataset_to_hub \
  --repo_id=your-username/openarm-pick-place-v1

LeRobot データセット形式

LeRobot は、表形式データには Parquet ファイルを、画像ストリームには MP4/PNG ファイルを使用して、データセットを HuggingFace データセット形式で保存します。 各エピソードは、タイムスタンプが付けられた一連の観察とアクションです。

ディレクトリ構造

your-username/openarm-pick-place-v1/
├── meta/
│   ├── info.json          # Dataset metadata, fps, shapes
│   ├── episodes.jsonl     # Per-episode metadata (task, length, outcome)
│   └── stats.json         # Min/max/mean/std for all fields
├── data/
│   └── chunk-000/
│       ├── episode_000000.parquet
│       ├── episode_000001.parquet
│       └── ...
└── videos/
    └── chunk-000/
        ├── observation.images.wrist_cam/
        │   ├── episode_000000.mp4
        │   └── ...
        └── observation.images.overhead_cam/
            └── ...

エピソードデータスキーマ

データとしての失敗エピソード

OpenArm は、成功だけでなく、失敗した試行も安全に記録するように設計されています。 失敗の軌跡 (滑り、掴み間違い、衝突、回復の試み) は、堅牢なポリシーの一般化にとって重要な第一級のデータです。 失敗エピソードを自動的に削除しないでください。 代わりに、それらに注釈を付けます。 success エピソード メタデータのフィールドを設定し、トレーニング フレームワークにそれらを使用するかどうかを決定させます。

収集されたデータの品質チェックリスト

各記録セッションの後、ハブにプッシュする前に、このチェックリストを実行してください。 低品質のデータは、エピソード数の少なさよりも政策のパフォーマンスに悪影響を及ぼします。

データセットからポリシーをトレーニングする

データセットが品質チェックリストに合格したら、LeRobot を使用して ACT または拡散ポリシーを直接トレーニングできます。

ACTを訓練する

python -m lerobot.scripts.train \
  --policy.type=act \
  --dataset.repo_id=your-username/openarm-pick-place-v1 \
  --policy.chunk_size=100 \
  --training.num_epochs=5000 \
  --output_dir=outputs/act-pick-place

鉄道普及政策

python -m lerobot.scripts.train \
  --policy.type=diffusion \
  --dataset.repo_id=your-username/openarm-pick-place-v1 \
  --training.num_epochs=8000 \
  --output_dir=outputs/diffusion-pick-place