如何将机器人数据收集量度提高到10,000多次示范
机器人远程操作数据收集从数百到数万次示范的规模化工程挑战和解决方案.
从单站飞行员到多实验室舰队
为什么量化难
收集200个示范是工程项目.收集10,000个是运营问题.瓶
机器人界通过构建DROID (76,000轨迹,22机器人,13实验室) 和Open X-Embodiment (1M+集,22机器人类型) 等数据集来学习这一点.这些项目中每个项目都需要专门构建的基础设施,需要几个月的工程.本文记录了运行的模式.
运营商吞吐量瓶
运营商的运营量是数据收集速度最大的限制.一个经验丰富的运营商在我们 [难度规模] (L2
- 在50个演示/运营商/天: 5个运营商同时运行40天
- 在30个演示/运营商/天 (更艰难的任务): 9个运营商40天
- 加上20
30%的QA拒绝缓冲:增加1 2个操作员
运营商不易
分布式收藏架构
超过单个实验室规模 (每周大约200个演示),你需要在多个站点或实验室中分布式收集.
- **共享数据湖:**所有实验室都使用标准化的HDF5方案将事件文件写入一个共同的S3桶.事件元数据 (操作员身份,机器人序列,时间邮票,任务身份,成功标签) 在事件完成时被原子写.避免每实验室方案需要后期正常化.
- 硬件标准化: 在所有站点使用相同的相机模型,安装位置和机器人配置.即使是微小的相机位置差异 (5
10厘米) 也会降低跨站点政策培训. 发布校准协议文档并运行远程验证会议. - 任务指令协议: 标准化任务卡包含照片,对象放置模板 (激光切割的
片托盘很好),以及对正确与不正确执行的视频示例. - 实时监测仪表板: 在共享仪表板上,每个站点的演示/时间,成功率和活跃运营商的跟踪.
运营商质量管理规模
质量管理是培训工作政策和不培训工作政策的数据集之间的区别.
- 黄金标准示范: 收集每项任务的20
50个"黄金"示范.使用这些作为质量参考.自动计算新运营商示范和黄金标准之间的相似度分数 (联合轨迹DTW,成功率相关性). - ** 评级间可靠性:** 对主观成功标签,请两个评审员独立标签10%的集. 测量科恩的卡帕. 目标 κ > 0.8. 如果卡帕低于0.7,你的成功标准是模糊的,需要改进.
- **运营商分数卡:**每周追踪每个运营商的成功率,拒绝率和吞吐量.持久拒绝率 >35%的运营商需要重新培训或重新分配.
- 激励结构: 每个质量奖励 (而不是每卷) 阻止运营商赶紧. 每个接受的演示表现0.10美元
0.25美元的奖励 (超过质量门 ) 比每小时的数据质量补偿更高.
数据管道基础设施
在1万多集中,手动处理数据是不可能的.你需要自动化管道从集集集捕获到训练准备的
- ** 剧集格式:** HDF5具有标准化方案 (观察组:摄像头图像,自感;行动组:联合速度或终端效应器的海域;元数据组:任务,操作员,时间标签). LeRobot的开源数据集格式是一个很好的参考实现.
- 自动验证: 在摄入时,运行: (1) 方案验证, (2) 时间检查 (大多数任务中拒绝 <2s或 >120s 的剧集), (3) 联合限制违规检查, (4) 摄像头中断检测 (黑色框架). 自动拒绝和标志.
- 版本: 使用DVC (数据版本控制) 或自定义明示系统标签数据集版本.训练运行必须引用一个不可变的数据集版本.
- 预处理: 在训练时,应从原始的HDF5进行图像改大小,正常化和增强,而不是将其
入存储的数据中. 这允许使用不同的增强参数进行重新处理,而不需要再收集.
质量过规模
即使有良好的操作员管理,你也会有20~40%的节目,不应该进入训练集.
- 成功分类器: 训练一个轻量级二进制分类器 (ResNet-18或类似) 在手动标记的500
1,000集中的小组,以预测从最后的框架中成功/失败. 适用于所有剩余的集. 目标在正分类上90%+精度. - **轨迹异常检测:**计算每集的统计数据 (最大关节速度,轨迹长度,行动
缩).使用隔离森林或简单的门 规则标记异常.异常是不成比例的错误事件. - **多样性采样:**过
后,检查您的训练集是否覆盖所有任务变体,对象位置和操作员风格.使用k-means集成到集集集嵌件中以确定未能代表的区域并收集更多数据.
工业的实际数字
| Dataset | Trajectories | Labs / Sites | Robot Types | Collection Period |
|---|---|---|---|---|
| DROID (Stanford) | 76,000 | 13 labs | 1 (Franka) | ~8 months |
| Open X-Embodiment | 1,000,000+ | 22 institutions | 22 types | Aggregated 2016–2023 |
| ALOHA-2 (Stanford) | 1,500 | 1 lab | 1 (ALOHA-2) | 3 months |
| BridgeData V2 | 60,000 | 4 lab configs | 1 (WidowX) | ~12 months |
| RoboSet (UT Austin) | 20,000 | 1 lab | 1 (Franka) | 4 months |
据悉,DROID数据集是分布式数据收集的黄金标准参考.他们的 [技术报告]
RCSV的 [数据收集平台]
扩展数据收集程序
瑞士国家安全委员会 (RCSV) 运营了分布式数据收集机队,拥有50多名受过训练的运营商,自动化QA管道和管理基础设施.