规模化机器人数据收集团队:从1K到100K的示威
扩展远程操作团队的运营教训 <unk>运营商层次,规模质量控制,基础设施选择和每次演示成本曲线.
[←博客]
质量下降,瓶
质量下降:三种警告信号
机器人数据收集的大多数团队都在1000个示范标志周围的墙壁上撞击. 预测质量危机之前有三个具体信号:运营商间差异的
原因是一致:团队在没有第一次扩展过程中扩展员工数量.添加第五或第十个运算符到未定义的协议中,会增加不一致性而不是吞吐量.
招聘运营商:需要什么
操作员质量唯一的最佳预测因素是细动机控制经验,而不是机器人知识.RCSV的最优秀操作员来自手术技术,牙科卫生,钟表制造,竞争性游戏和音乐仪器性能的背景.
与运营商成功相关的特定
- 手动技巧测试: 定时插入
杆板 (30个 杆在60秒以下中消除了最下 40% 的候选人). 这项15美元的测试预测的收集吞吐量比任何简历 选更好. - 持续关注: 在2小时的会议中保持一致的性能. 具有游戏或微手术背景的候选人通常在这里表现出色.
创意操作员即兴作文是规模上的责任 需要在第400集和第4集相同地执行协议的操作员. - 空间推理: 能够将手动映射到机器人的终端效应器坐标框架.VR游戏体验是这种技能的强大代理.
避免在机器人背景上过度索引.机器人博士生经常做中等操作员,因为他们想理解和优化系统而不是执行重复性示范.最好的操作员配置文件是一个受纪律的技术人员,而不是工程师.
五天的操作员培训课程
根据RCSV的研究,该计划在多种活动类型中集成了40多个运营商之后. 每天都基于前一天,运营商必须在进步之前通过门检验.
第一个日:安全和硬件指导 (4小时)
- 每个机器人站的电子站位和程序
- 领导/追随者的手臂上的
点标识 - 关闭序列和硬件故障协议
- 摄像头和传感器线缆路由
什么不应该触摸 - 门检测: 执行紧急停机和完全停电时间在任何操作位置的5秒内
第二天:电操作接口熟悉 (6小时)
- 领袖臂关节映射
了解哪个领袖关节控制哪个跟随关节 开/关时间,部分抓 - 免费空间运动:在工作空间中移动终端效应器到20个目标位置,而不接触任何东西
- 工作空间边界意识
联合界限,避免单一性 - 门检测: 完成10项空域任务,在不到3分钟内完成,没有工作空间界限违反
第三天:具体任务的培训 (6小时)
- 黄金标准表示范 (从质量检测指导集中排名前十)
- 通过视觉示例审查书面成功标准文件
实时反 的20次演示 - 审查自行示范的重播,并行使用黄金标准
- 门检测: 10次连续示范,第一次通过率超过80% (根据QA指标判断)
第四天:质量标准和自我评估 (4小时)
- 质量指标审查:DTW距离,集段时间,滑度分数
- 自我标记实践:审查自己的事件和标签成功/失败
- 标签共享集50集,与黄金标签进行比较
- 门检: 标签成功/失败的标签中,注释者间的协议与高质量指标超过90%
第五天:生产工作流程和校准 (4小时)
- 完整的生产工作流程:重置程序,集开始/停止,输入元数据,自检QA
- 产量基线:完成20次生产速度的示范,每次示范时间的测量
- 疲劳管理:规划休息协议 (每90分钟15分钟)
- 门检测: 按任务级的产量目标进行20次连续生产质量示范
经验表明,大约15%的候选人在第三天 (任务执行) 和五天 (持续吞吐量) 完成工作.80%的完成课程的学生从第一次生产会议开始就会产生符合质量标准的数据.
通过输出基准按运营商级别和任务类型
这些基准标准基于30多个活动的RCSV生产数据. "通过"是每小时净可用示范
| Task Type | Expert Operator | Trained Operator | New Operator (post-training) | Reset Time |
|---|---|---|---|---|
| Simple pick-place (single arm) | 10-12 demos/hr | 7-9 demos/hr | 4-6 demos/hr | 15-20s |
| Multi-object sorting | 8-10 demos/hr | 5-7 demos/hr | 3-5 demos/hr | 30-45s |
| Bimanual coordination | 6-8 demos/hr | 4-6 demos/hr | 2-4 demos/hr | 45-60s |
| 精度 insertion (±1mm) | 5-7 demos/hr | 3-5 demos/hr | 1-3 demos/hr | 30-45s |
| Deformable object manipulation | 4-6 demos/hr | 2-4 demos/hr | 1-2 demos/hr | 60-90s |
| Mobile manipulation | 3-5 demos/hr | 2-3 demos/hr | 1-2 demos/hr | 90-120s |
专家和新运营商之间的差距在简单任务上是2-3倍,而复杂任务上则是3-5倍.这就是为什么层次系统很重要
运营商级别系统
操作员结构的三层次,将技能水平映射到任务复杂性,并控制成本,而在重要的地方不会牺牲质量.
- ** 较小运营商 ($22/小时):** 分配到简单的选定和定位任务,技能要求较低
单臂伸出,平面传输,重复的垃圾桶选定.目标吞吐量:每小时12 18个演示.登机时间:包括在黄金标准重播的校准. - **高级运营商 ($30/小时):**处理复杂的组装,双手协调,限制的插入任务.预计达到85%以上的第一次通过接受率.参加每周校准会议,并可以标记模糊的协议案例.
- **QA 领先 ($45/小时):**设计任务协议,定义黄金标准演示集,运行校准会话,管理自动分类器门
值,并对标记批量进行最终审查.每8 10运营商每一个QA领先是可持续比率.
质量管理工作流程:三门质量管道
通过三门管道,质量问题会以成本增加,所以廉价的自动检查将显而易见的问题过
门1:自动测量测量 (成本:0.001美元/集)
检查是决定性的,并且拒绝了明显无效的节目:
- ** 时间限制:** 任务类型中介时间短于3秒或长于3x → 拒绝
- **传感器完整性:**任何相机流都具有2个+下降的框架,或合状态记录差距 >50ms →拒绝
- **工作空间界限:**最终效应器在任何时候都会将定义的工作空间包裹放弃 → reject
- **抓住器状态:**抓住器在抓住任务期间从来没有关闭,或者在位置任务期间关闭 →拒绝
- 速度峰值: 联合速度超过金标准的95%分数,设置为>3x → 标志为Gate 2
门1通常拒绝5-15%的原始剧情,并标记另一个10-20%进行更密切的检查.拒绝率是健康指标
门2:基于ML的成功分类 (成本: ~$0.01/集)
简单的CNN分类器 (ResNet-18在手腕摄像头最后10个框架上) 预测双重成功/失败. 训练在每任务的200多个黄金标准标记的集中. 在RCSV生产中运行在以下性能水平上:
- 真正正率 (正确确定成功率): 92-96%
- 真正负率 (正确识别故障): 75-85%
- 归类为"不确定"的集 (信心0.3-0.7):8-12% →转向到门3
门3:人体专家评价 (成本:每集约0.50-2.00美元)
质量检测率检查了盖茨1和2号标记的所有集,以及通过两门的%5集的随机样本 (用于校准).检查包括在2倍速度上观看同步的多摄像头播放,并检查成功标准. 随机样本作为持续审计
质量控制规模
黄金标准演示集是可扩展的质量基础. 每项任务,在理想条件下,保持由QA领导记录的50个黄金标准演示. 这些服务于三个目的: (1) 加入基线
每周校准会议不可超过10个操作员进行谈判.每次会议持续30
机动成功分类器在实践中捕获大约60%的失败.典型的架构:手腕摄像头流的最后10个框架上的轻量级CNN,双重成功/失败输出,每任务训练200多个标记的例子.错误正率比错误负值更重要.
团队结构50万次演示活动
参展活动的规模为5万,这是一项严重的运营挑战.
| Role | Count | Responsibility | Shift Pattern |
|---|---|---|---|
| Campaign Manager | 1 | Schedule, budget, client comms, overall quality | Full-time |
| QA Lead | 2 | Protocol design, calibration sessions, Gate 3 review | Full-time, staggered shifts |
| Senior Operators | 4-6 | Complex tasks, bimanual, mentor junior operators | 6hr shifts, 2 shifts/day |
| Junior Operators | 8-12 | Simple pick-place, resets, structured variation execution | 6hr shifts, 2 shifts/day |
| Data Engineer | 1 | Pipeline maintenance, format conversion, storage management | Full-time |
| Hardware Tech | 1 | Robot maintenance, camera calibration, station setup | Full-time |
时间线: 六个机器人站每天运行2轮,平均吞吐量为6个可用演示/小时/站,原始收集率为约430个可用演示/天 (计算休息,重置,校准会议和硬件停机时间).5万个演示需要大约116个工作日
硬件: 6个 OpenArm 1 站点 (每个 $4,500) 或相等的领导跟随者设置. 每站3台摄像头 (2手腕+1的上
运营商疲劳管理
疲劳是无声质量杀手.RCSV的生产数据显示出一个一致的模式:在90分钟的连续收集后,示范质量 (以DTW距离黄金标准计算) 降低15-25% .在3小时后,质量下降了40%,拒绝率翻了一番.这不是意志力问题
所有运营商必须遵守违规协议:
- 每90分钟的15分钟休息 (离站,不在计算机上查看数据)
- 累计收费时间3小时后30分钟休息
- 每轮收取最多6小时,实际的手上领袖时间不超过4.5小时
- 每次休息时进行手腕伸展运动 (降低重复应力风险)
一些团队试图推动运营商进行8小时的收集转班.这反效.过去2小时产生数据,收集成本更高 (吞吐量较低) 和拒绝率更高 (质量较低).在适当的休息时,6小时的净可用输出超过了8小时的净可用输出.
基础设施:集中式NAS与S3
在50TB的数据收集下,一个与RAID-6的集中式纳斯在运行上更简单,并且价格更便宜,大约为0.01GB/月,而S3的0.023GB/月.
超过50TB,一个由20个运营商组成的团队在大约6个月内达到的
三步管道自动化实现了最大的吞吐量增长: (1) 训练准备的格式的自动HDF5-to-Zarr转换, (2) 通过抓住器相机小图片的感知哈希进行节目减倍 (捕获控制器重录相同的动作故障),以及 (3) 将元数据 (对象姿势,成功标签,操作员 ID,持续时间) 输入查询的PostgreSQL索引.
规模数据管道架构
在50K+演示中,您的数据管道必须在快乐的道路上处理摄入,验证,注释,存储和出口.
机器人站 →录音代理 (每集HDF5) ↓摄入队列 (Redis) ↓门1:测量验证器 (Python,50ms/episode) ↓通过/拒绝门2:成功分类器 (ResNet-18,GPU,200ms/episode) ↓通过/不确定/拒绝元数据提取器 →PostgreSQL索引 ↓物体存储器 (NAS →S3在50TB) ↓每晚批量格式转换器 (HRob5 →Zarr / Leot / RLDS) ↓出口API →客户端下载 / HuggingFace推
设计的关键原则:每个机器人站的录音代理会写出所有传感器数据和元数据的自主 HDF5 文件.下游管道纯粹是基于文件的处理,而不依赖机器人在线.这种离合意味着硬件停机时间不会产生管道后载,管道问题不会阻止收集.
按次演示成本曲线
经济规模是真实的,但需要有意的基础设施投资才能实现.
| Scale | Per-Demo Cost | Key Cost Driver |
|---|---|---|
| 100 demos | $80/demo | Setup amortization, no automation benefit |
| 1,000 demos | $45/demo | Pipeline automation kicks in, NAS amortized |
| 10,000 demos | $25/demo | Full tier utilization, S3 lifecycle savings |
| 50,000 demos | $16-20/demo | Cross-task operator scheduling, batch QA |
| 100,000 demos | $12–18/demo | Projected — requires dedicated QA software tooling |
随着安装成本和管道开发的减值,最严重的下降发生在100到1,000次示例之间. 当自动化质量分类达到足够的精度时,下一个有意义的转移发生在5,000次示例左右. 超过10,000的收益主要来自运营商利用率的改善
隐藏成本经常被遗漏:硬件维护.在50K+演示中,预计每2000个演示中每次取代抓紧
开始
如果您计划扩大到500个示例, 投资于协议文件和校准基础设施,
根据RCSV的数据收集服务,RCSV提供管理操作员团队,协议设计和质量控制基础设施,专门为需要从头开始建立运营组织的团队建立规模.试点活动开始于2,500美元,200次示范,并提供完整的质量评估.
对于建立自己的运营团队:从一个 [OpenArm 1]
相关阅读
- [机器人训练数据是什么?] ((
T5 ) --类型,质量标准和格式比较 - 机器人数据注释指南 --标签标准和工具
- 机器人摄像头设置 -- 集装多摄像头配置
- [为什么远程运行数据胜过模拟]
- RCSV数据服务 --从2500美元开始管理收集
- OpenArm 1 -- $4,500的领导者跟随者收集硬件
- [机器人租
] T11 ) --每月进入收藏站 - RCSV数据平台 --数据管理的管道工具
准备好扩大数据收集规模吗?
斯威尔士国家机器人管理数据收集,提供专业运营商,质量检测基础设施和透明的成本/示范定价.
[查看数据服务]