返回Learn
机器人遥控系统的运作方式
机器人远程操作技术概述 领导跟随者动态,视频流媒体,延迟,数据记录和操作员界面.
[←学习]
现代机器人远程操作系统的工程实用指南,用于数据收集和远程操作.
什么是远程手术?
机器人远程操作是指一个人操作员从远程接口控制机器人完成物理任务.在机器人学习中,远程操作有两个目的: (1) 数据收集
远程运营数据的质量是下游政策绩效的最大决定因素.噪音,
系统组件
一个完整的远程运行系统有五个子系统,必须可靠地协作.
- 操作员界面: 人类使用的设备来指挥机器人. 选项包括VR耳机+手跟踪 (直观但昂贵),领导手臂 (操作员身体移动的机器人手臂的轻量重复) 或6DOF空间鼠标/
杆 (简单但表达能力有限).领导手臂是精巧的操纵数据收集的黄金标准. - 视频流: 从机器人环境中传输到操作员的一个或多个摄像头.典型的设置:一个手腕安装的摄像头 (对象中心视图) +一个外部概况摄像头.操作员的显示器必须显示带有最小延迟的传输.
- 指挥频道: 传输操作员的运动命令 (关角或卡特西亚姿势) 给机器人控制器高频率 (100
1000Hz).必须可靠,低延迟 丢弃的包会导致 动,污染训练数据. - 安全子系统: 运营商和当地安全观察员可访问紧急停止按
;如果命令流中断超过100ms,该机器人被拦截的软件监视犬;机器人控制器中的碰撞检测. - **数据记录器:**记录所有流程的同步训练:摄像头图像,联合状态,命令操作,力/扭矩读数和事件元数据.在10ms内的同步对于大多数政策是足够的;微分秒同步需要硬件触发器.
领导者跟随者动态
领导者跟随者架构是高质量的数据收集最常见的设置.操作员物理地移动领导手臂 (重力补偿,使它感觉光);追随手臂 (真实的机器人) 能在实时反映这些运动.
控制循环运行如下:
- **步骤1
阅读领袖关节:**领袖臂上的联合编码器在1000Hz时报告角. - **步骤 2
前进动力学:**使用动力模型从关节角度计算领先终端效应器的卡特西亚姿势. - **步骤3
逆动力学:**解决追随者关节角,在追随者的坐标框架中达到相同的终端效应器姿势. - 步骤4
发送到追随者: 命令追随器臂的联合位置控制器.从步骤1到步骤4的延迟必须为<5 ms,以实现顺利的追随. - **步骤 5
记录:**记录领袖关节,追随者关节,命令姿势,以及所有传感器数据到磁盘.
没有它,操作员必须将手臂对重力保持高,导致疲劳和紧张的,不自然的运动. 补偿对每个关节都施加了与重力负载相等和相反的扭矩,使手臂几乎无重感.
视频流流要求
延迟是良好的远程操作的敌人.当操作员看到机器人的行动500ms的延迟时,它们会过度纠正并产生振荡,不稳定的运动.舒适的远程操作的目标延迟是低于150ms玻璃到玻璃 (摄像头传感器到操作员显示).
- 分辨率: 操作任务最低 720p (1280×720),小物体检测时优先使用 1080p.
- **
速:**30fps最小;60fps显著提高了运营商在快速任务上的性能. - 协议: 网络远程运行的WebRTC
处理NAT通行和适应网络条件. - 压缩: H.264是标准的; H.265提供更好的质量,相同的位率,但更高的编码器延迟.
延迟预算分类
| Pipeline Stage | Typical 延迟 | Optimization Lever |
|---|---|---|
| Camera sensor exposure + readout | 10–30 ms | Higher frame rate, global shutter |
| USB/GigE transfer to host | 1–5 ms | GigE preferred over USB3 for determinism |
| Encoding (H.264 hardware) | 5–20 ms | Hardware encoder (NVENC, V4L2) |
| Network transmission (LAN) | 1–2 ms | Wired ethernet, QoS |
| Network transmission (WAN) | 20–200 ms | CDN edge nodes, WebRTC ICE |
| Decoding on display host | 5–15 ms | Hardware decoder |
| Display refresh latency | 8–16 ms | 120 Hz display |
| Total (LAN target) | 30–90 ms | — |
| Total (WAN target) | 50–300 ms | — |
数据记录格式
每次远程操作会产生一组_集_集. 一个集是从开始到结束的任务的连续尝试.
标准录音格式使用HDF5文件
- 图像: 存储为30Hz压缩的JPEG阵列.在720p下使用3台摄像头的2分钟集中,不压缩的摄像头大约需要500MB;JPEG将其降低到50MB.
- 关节状态: 记录在100Hz:所有关节的位置,速度和努力.
- 行动: 命令的100Hz联合位置 (训练,这是目标输出).
- 语言说明: 字符串字段: "取上红色块,放在垃圾桶里".
- 元数据: 事件ID,操作员ID,机器人ID,任务名称,启动时间标签,成功标签,环境条件 (照明,表高).
质量指标
不是所有远程操作事件都相同. 追踪这些指标以保持操作员和会议之间的数据质量:
- 每运营商的任务成功率: 一些运营商达到80%以上的成功率;其他运营商低于50%.
- 轨迹顺度分数: 整个剧集中指绝对
(位置的第三衍生值).高 表示犹 ,纠正或控制器不稳定 - 运营商间一致性: KL不同运营商在同一任务上的行动分布之间的差异.高差异意味着运营商使用不同的策略.