数据收集

5个单位中的4个 ·数据收集 · ~ 2 小时

通过LeRobot记录50个或更多成功的演示集. 设置摄像头,定义任务,运行录音工作流程,并应用高质量的过. 目标:一个清洁的50集的数据集准备好进行训练.

摄像头设置

模仿学习需要至少一个摄像头.

• 上下摄像头 安装在摄像头臂或天花板上6080厘米以上的工作空间. 清楚捕捉对象的位置和抓住器状态. 640×480 @ 30 fps是足够的; 1280×720优先.
• **手臂摄像头 (可选) ** 安装在终端效应器附近. 提供接触和抓取任务的精细视图. 智能真实Sense D405或相等.

# Test camera streams before recording
python3 -c "
import cv2
cap = cv2.VideoCapture(0)  # /dev/video0
ret, frame = cap.read()
print('Camera OK:', frame.shape if ret else 'FAILED')
cap.release()
"

记录工作流程

使用LeRobot记录脚本.它可以在一个命令中处理多摄像头同步,联合状态记录和HuggingFace Hub上传:

python -m lerobot.scripts.control_robot \
  --robot.type=linker_bot_o6 \
  --control.type=record \
  --control.fps=30 \
  --control.repo_id=your-username/o6-pick-place \
  --control.tags='[o6,pick-place,tabletop]' \
  --control.warmup_time_s=5 \
  --control.episode_time_s=30 \
  --control.reset_time_s=10 \
  --control.num_episodes=60

每个节目工作流程:

1. 热点时间 (5秒) 设置场景 (将对象置于起始位置).
2. 使用您的远程操作方法完成任务.
3. 恢复时间 (10秒) 回家,重新设置物体,为下一集做准备.
4. 重复所有60个计划的集.

雷罗伯特数据集格式

每个集都作为一个"Parquet"文件,

# Dataset structure (per episode)
{
  "observation.state":      [T, 12],  # joint positions [6] + velocities [6]
  "action":                 [T, 6],   # commanded joint positions
  "observation.images.top": [T, H, W, 3],  # top camera frames (uint8 RGB)
  "observation.images.wrist": [T, H, W, 3], # wrist camera (if configured)
  "timestamp":              [T],      # seconds from episode start
  "episode_index":          scalar,
  "frame_index":            [T],
  "task":                   str       # task description
}

任务定义技巧

• ** 开始简单.** "拿起红立方体,把它放到垃圾桶里"是个好第一项任务.
• 始始位置一致. 每个集中的物体都在同一位置 (±1厘米).高变量需要更多数据.
• 完成任务从端到端. 每个集都应该从一个清晰的开始状态到一个清晰的目标状态.不要记录部分完成.
• ** 顺利的运动.** 尽可能避免拙的,纠正的运动.

质量过协议

在录音之后,在训练前,检查和过:

• 观看每集播放:
• 标记任务没有完成的端到端的事件,以便删除.
• 检查是否丢掉了摄像头框架 (在播放中出现的视觉语).
• 确认联合状态数据是连续的 连续框架之间没有很大的间断.
• 检查对象的起始位置在保持的事件中一致.
• 过后,确认您剩余的≥50个事件.
• 在继续之前,将数据集转移到第二个位置.

转载到 HuggingFace Hub

# Push to Hub (requires huggingface-cli login)
huggingface-cli login
python -m lerobot.scripts.push_dataset_to_hub \
  --repo-id your-username/o6-pick-place

通过上传到Hub,您的数据集可用于团队合作,可重复的培训运行,以及在 [roboticscenter.ai/datasets]T5共享机器人数据集登记库的贡献.

第四单元完成时...

您在LeRobot数据集中有50个或更多的高质量的示范集.所有集都通过了质量检查清单.摄像头流是完整的,联合状态数据是连续的.数据集备份并可选地推向HuggingFace Hub.您已经确定了您的任务描述字符串,并确认它在所有集中一致.

[← 回到路径概述]