统计数据收集时间:
了解为什么双手数据收集比单手数据收集更难,学习LeRobot双手数据集格式,并记录100个清洁同步示范的立方交付任务.
为什么双手动数据收集更难
在单臂数据收集中,一个错误的示范只影响一个臂的轨迹.你录制50个示范,丢弃5个错误的示范,并在45上训练.在双手数据收集中,在交付点上的错误同时无效了两个臂的轨迹.失败模式是连接的.
首先,你需要更多的示范100而不是50,因为双手任务的差异更高,政策需要更多的例子来学习协调结构.第二,你需要更严格的一致性每次示范.一个单臂的示范80%一致的火车相当好. 两手演示,其中一个手臂是一致的,另一个是不同的,
工作场所覆盖面的挑战也更大:需要两个手臂在格中,并且交换点最复杂的时刻必须由至少一个摄像头可靠地捕捉. 启动前检查摄像头的角度,并调整交换发生在工作场所摄像头的视野之外.
雷罗特双手动数据集格式
通过与LeRobot的DK1集成,将标准单臂格式扩展到双联状态阵列.数据集中的每个时间步骤包含:
双手数据集观察键按时间步骤:观察.联合_states.左 #形: (6,) 左追随者关节角在半径观察.联合_states.右 #形: (6,) 右追随者关节角在半径观察.抓住者.左 #形: (1,) 左抓住者位置 [0=开放,1=关闭]观察.抓住者.右 #形: (1,) 右抓住者位置观察.右抓住者位置观测.右抓住者空间 #形: (H,W,3) 工作空间空头/摄像头观察.右抓住者形: (H,W,3) 主要手腕.关闭器.右抓住者形: (6,) 目标: 目标: 目标: 目标: 目标: 目标: 目标: 目标: 目标: 目标: 目标: 目标: 目标: 目标: 目标: 目标: 目标: 目标: 目标: 目标: 目标: 目标: 目标: 目标: 目标: 目标: 目标: 目标: 目标: 目标: 目标: 目标: 目标: 目标: 目标: 目标: 目标: 目标: 目标: 目标: 目标: 目标: 目标: 目标: 目标: 目标: 目标: 目标: 目标: 目标: 目标: 目标: 目标: 目标: 目标: 目标: 目标: 目标: 目标: 目标: 目标: 目标: 目标: 目标: 目标
与单臂的关键区别是:动作空间是14维 (6+6关节+2抓住器).ACT处理这种情况本地.
记录工作流程
source ~/dk1-env/bin/activate # 启动录音会话 100集用于立方交付任务 python -m lerobot.scripts.record \ --robot-path ~/dk1-config.yaml \ --robot-type dk1_bimanual \ --fps 50 \ --root ~/dk1-data-sets \ --repo-id cube-handoff-v1 \ --num-episodes 100 \ --warm-time-s 3 \ --episode-s 30 \ --reset-time-s 5 \ # --warm-time-s:在捕获开始之前按记录的时间 (使用此位置返回立方) \ --time cube-s: 立方交换应该在20s之间完成; 给了最长的时间: 30 节之间: 缓冲和缓冲时间: 给了最长的时间: 节
在录音会话开始之前运行1015练习演示,以加热你的机器内存.首次录制的510演示将是你最糟糕的预期.在会议期间不要停止审查它们;完整100后,审查和删除坏演示.
双手册数据质量检查清单
通过LeRobot的重播观看器,在录音后查看每一个演示.
双臂必须同时距离预期的交付点3厘米.一个手臂等待另一个手臂的交换方式教导该政策暂停,这种交换方式很差.
根据一个标准,一个模块必须在每次演示中开始在同一位置的2厘米内.
清洁抓 两臂 每个臂在转移到下一个阶段之前必须达到稳定的抓.在转移中滑动的抓创造了一个轨迹,这使得政策无法可靠地复制.
** 家庭姿势回归** 每个演示结束时,两只手臂都必须清洁地返回家庭姿势. 演示结束在运动中时,创建一个数据集,其中节目界限是模糊的.
◎ 其他
工作场所摄像头覆盖** 转移时刻必须在工作场所摄像头框架中可见.如果机器人体遮住视图,在继续前,请调整摄像头的角度.
一致时间 演示中,剧集的持续时间不超过 ±5秒. 时间差异很大表明执行不一致,产生了具有高动作空间缩的数据集.
目标数据集规模: 100个演示是双手 ACT培训的建议最低值. 研究结果表明,双手任务需要比较的单臂任务的数据大约两倍,因为联合协调结构更复杂,行动空间更大. 如果在5个单位训练后,你的成功率低于40%, 收集另一个50个针对性的演示是第一次尝试.
第四单元完成时...
您在 LeRobot 格式中记录了100个演示,在T0. 检查和剪辑后,至少90个演示通过了质量检查清单. 两个联合状态阵列都在每集50Hz中存在. 两种摄像头传输都存在,并显示了包括传递时刻在内的整个任务序列.您已经运行了T1并确认数据集结构是有效的.
[← 回到路径概述]
