如何收集机器人训练数据
通过电操作<unk>硬件设置,雷罗波特记录,RLDS格式,质量评分和数据集准备收集高质量的机器人训练数据的完整指南.
通过远程操作
间接
1.硬件 2.安装 3.配置 4.电话设置 5.记录 6.审查 7. RLDS转换 8.上传 9.质量检查 10.为VLA做准备
条件
- 机器人手臂 (OpenArm,SO-100,Aloha,Koch,UR5或类似)
- 至少有一台RGB相机 (最好安装在手腕上) +一个外部相机
- 电操作输入设备 (领袖臂,SpaceMouse或键盘)
- 安装ROS2 适合 ([参见我们的ROS2设置指南](
T12 )) - 配合Python 3.10+
- 乌布图22.04 配备NVIDIA GPU (可用于视觉化和未来培训)
你将建造什么
在本教程结束时,您将拥有完整的数据收集管道:电操作硬件配置,LeRobot记录您的机器人执行任务的事件,
数据收集管道
电话输入 领袖手臂 / 空间鼠标
其他
机器人手臂 联合国家+行动
其他
摄像头 腕 + 外部RGB(D)
其他
雷罗特 记录和同步
其他
关于RLDS数据集 拥抱面部中心
其他
硬件要求
您需要的内容和我们建议的选项:
| Component | Recommended | Budget |
|---|---|---|
| Robot arm | OpenArm ($2,400) or Aloha ($20K+) | SO-100 ($200 DIY kit) |
| Wrist camera | Intel RealSense D405 ($300) | USB webcam ($30) |
| External camera | Intel RealSense D435 ($350) | Logitech C920 ($70) |
| Teleop device | Leader arm (matched pair) | 3Dconnexion SpaceMouse ($130) |
**预算路径:**一个SO-100手臂,有两个网络摄像头和一个SpaceMouse让你收集数据总共低于500美元.质量低于领导跟随者设置,但足以学习工作流程和训练简单的政策.
其他
安装 LeRobot
让你在虚拟环境中安装它,以避免依赖冲突.
复制# 创建和激活虚拟环境 python3 -m venv ~/lerobot_env源 ~/lerobot_env/bin/activate # 安装LeRobot与所有额外的数据收集管安装"lerobot[all]" # 或从源安装最新功能 git 克隆
复制# 安装额外的依赖性摄像头录音管安装opencv-python pyrealsense2 h5py # 对于 HuggingFace Hub上传 pip安装 huggingface_hub huggingface-cli登录
其他
在LeRobot中配置您的机器人
机器人使用YAML配置文件来定义机器人的属性.
复制# 创建机器人配置目录 mkdir -p ~/lerobot_configs # 开臂 (保存为开臂.yaml) 猫的设置示例 > ~/lerobot_configs/openarm.yaml << 'EOF'机器人:类型:开臂端口: /dev/ttyUSB0rate: 1000000关节: -名称:肩膀_pan id: 1 分钟: -3.14 时: max: 3.14 -名称:肩膀_lift id: 2 分钟: -1.57 时: max: 1.57 -名称:肘部 id: 3 分钟: -2.35 时: 2.35 -名称:手腕_尖端 id: 4 分钟: -1.57 时: max: 1.57 -名称: id:手腕_滚动: 5 分钟: -3.14 时: 3.14 时: 抓取名: 脚脚高度: 6 分钟: 时: 1.0 时: 0.40 时: 0.40 时: 0.40 时: 0.40
其他
设置远程操作接口
在演示中,你有两个主要的控制选项:领导者跟随者的双臂 (最佳质量) 或空间鼠标 (更容易访问).
**选择A:领导者跟随者武器 (建议) **
复制# 配置领袖臂 (你物理移动的) 雷罗बोट校准 \ --robot-type=openarm \ --robot-port=/dev/ttyUSB0 \ --leader-port=/dev/ttyUSB1 # 这运行了校准程序
复制#安装SpaceMouse驱动程序 pip安装 pyspacemouse #测试SpaceMouse连接 python3 -c "进口 pyspacemouse; m = pyspacemouse.open();打印('SpaceMouse连接')" #配置SpaceMouse在LeRobot中
**选择哪个?**领袖跟随器的武器会产生更自然的示范,因为你的手动直接映射到机器人的关节.SpaceMouse更容易设置,但产生更不流
其他
录制第一集
一个"集"是从开始到结束完成任务的完整演示. 开始从一个简单的任务,比如拿起一个块,
复制#记录节目到本地数据集的机器人记录 \ --robot-type=openarm \ --robot-port=/dev/ttyUSB0 \ --leader-port=/dev/ttyUSB1 \ --fps=30 \ --task="pick_red_block_place_target" \ --num-episodes=10 \ --output-dir=~/datasets/openarm_stop_pick_place # 录制过程中的控制: # 输入
每个节目都将与同步数据保存:
** 剧集数量指南:** 对于单任务政策 (ACT,传播政策),收集50
其他
审核和质量评分
检查录音,删除失败演示,并计算质量指标.
复制# 查看一个特定的集集 机器人查看数据集 \ --dataset-path=/datasets/openarm_pick_place \ --episode=0 # 重播机器人上集 (可选 /datasets/openarm_pick_place \ --episode=3
标记失败的事件:
复制#计算所有集中的数据质量指标 python3 -c "进口 numpy np进口 json, os, glob数据集_dir = os.path.npy')) #滑滑:下滑 =更好的示范
质量规则 目标在最终数据集中达到90%以上的任务成功率. 抛弃机器人放下物体,撞击表或
其他
转换为RLDS格式
转换LeRobot数据集为RLDS,以实现与OpenVLA,Octo和RT-2兼容性.
复制#安装RLDS转换工具 pip安装 tensorflow tensorflow-data-sets rlds # 转换LeRobot数据集为RLDS python3 -m lerobot.scripts.convert_to_rlds \ --input-dir=/datasets/openarm_pick_place \ --output-dir=/datasets/openarm_pick_place_rlds --task-description="拿起红块并将其放在目标绿区"
根据时间步骤,RLDS数据集包含以下结构的TFRecord文件:
{ "观察": { "图片": (480, 640, 3) uint8, # 手腕摄像头 "图片_外部": (480, 640, 3) uint8, # 外部摄像头 "状态": (6,) float32 # 联合位置 }, "行动": (7,) float32, # 目标关节 + 抓住器 "奖励": float32, # 1.0 获胜, 0.0 否则"是_终端 ": bool, "语言_指导":字符串 # 任务描述 }
其他
上传到 HuggingFace Hub
按
复制# 确保您登录了 huggingface-cli登录 # 推 LeRobot格式数据集 lerobot push-to-hub \ --dataset-path=~/datasets/openarm_pick_place \ --repo-id="您的用户名/openarm-pick-place-v1" \ --private # 或推 RLDS格式数据集 python3 -c "从 huggingface_hub 导入 HfApi = HfApi()
版本提示: 总是包含一个版本后
其他
进行质量检查
在训练之前, 进行最后一批质量检查, 检查可能浪费GPU时间的问题.
输入的时间为:np输入 json,os,glob数据集_dir = os.path.expanduser('~/datasets/openarm_pick_place') 节目 = 排序的时间:glob.glob.os.path.join(dataset_dir,'episode_*'))) 长度 = [\]滑
其他
准备好VLA细调
通过创建适当的分区和任务描述来结构化数据集进行培训.
复制#创建火车/
准备好调整VLA模型?
您的数据集已经准备好了.继续到 [VLA细调指南]
数据收集成本分类
| Cost Component | Per Hour | Notes |
|---|---|---|
| Operator labor | $50–80 | Skilled teleoperator, varies by market |
| Hardware depreciation | $15–30 | Amortized over 2,000 hrs of use |
| Quality review | $20–40 | 情节 filtering and scoring |
| Compute and storage | $8–15 | Recording, processing, storage |
| Facility overhead | $25–35 | Lab space, lighting, safety |
| Total | $118–200 |
需要帮助收集数据吗?
提供由专业的电话运营商管理的机器人数据收集,质量保证和RLDS准备的交付.
[了解数据服务]
解决问题
摄像头的摄像头是黑色或结的
检查摄像头索引使用
机器人手臂在录音过程中没有响应
检查连续端口使用
录制过程中的框下降 (不一致的fps)
低摄像头分辨率至480x360.关闭背景应用.使用一个专门的USB巴斯 (查看
形状不匹配的RLDS转换失败
这通常意味着节目有不同的观测尺寸. 检查所有相机在所有节目中使用相同的分辨率. 重新录制任何不同尺寸的节目.
拥抱面部上传时间
大数据集 (50+GB) 可以在缓慢连接上使用时间.使用
相关教程
现在,
调整VLA模型
在你的远程操作数据集上训练OpenVLA或pi0进行真正的机器人部署.
雷罗特快速启动
您的第一条政策在不到2小时内就能开始使用LeRobot.
开放手臂的第一场演示
打开盒子,在OpenArm硬件上运行你的第一次远程操作演示.
常见的问题
我需要多少次演示,才能培训机器人政策?
对于大多数单任务操纵策略 (选择,放置,倒,等),ACT或扩散策略中,50
收集机器人训练数据的成本是多少?
根据操作员技能水平和硬件,机器人远程操作数据收集的全负载成本在2026年每小时从118
机器人收集数据应该使用哪些摄像头?
最少使用一个手腕安装的RGB摄像头 (640x480,30fps) 和一个外部第三人视觉摄像头.为了获得最佳结果,为深度数据添加一个RGBD摄像头,如英特尔RealSense D435.许多VLA模型都预计手腕和外部摄像头视图.
什么是RLDS格式,为什么它很重要?
RLDS (Reinforcement Learning Datasets) 是谷歌DeepMind公司为机器人学习数据存储的标准化格式.它将事件作为TFRecord文件中的观察,行动和奖励序列存储.大多数VLA模型 (RT-2,OpenVLA,Octo) 预计RLDS格式,使其成为互操作性的实际标准.
我如何确保收集的数据质量高?
追踪三个质量指标: (1) 任务成功率
这篇教程有什么帮助?
👍是的
保持机器人技术的前进
获取最新的机器人部署,数据收集和物理人工智能