机器人操纵的手腕相机与固定相机:交易和最佳实践

机器人感知系统中,摄像头的放置是最重要的决定之一.

摄像头的放置是为什么重要

失败的机器人学习项目后测试始终确定了感知,而不是控制,作为政策失败的根本原因.在感知中,相机的放置不是相机质量是最有影响的变量. 200 美元的RealSense D435i 处于良好位置,比一个在操纵任务中处于不良位置的 1,500 美元的工业相机更高.

摄像头的放置决定了:该政策收到的视觉信息,是否封锁了关键时刻,校准在时间的推移中如何扩大,以及该政策是否在工作场所中普遍化.在数据收集程序开始时错误意味着要么重新收集所有数据,要么接受系统性低性能的政策.

固定摄像头:优势

• 稳定校准: 硬式安装的相机保持其外部校准 (与机器人基相比的位置和方向) 无限时间,模块热扩展.不需要动态校准.在设置和任何物理干扰后重新校准.
• **无线缆管理:**固定摄像头通过标准USB3或GigeE电缆连接到附近的PC.无线缆路由通过机器人臂,无风险因重复臂运动而疲劳,无加重最终效应器.
• 宽视野: 设置6080厘米以上,稍后于工作场所的摄像头可以捕捉到整个相关场景物体,抓住器,臂和环境,为任务规划和状态估计提供全球背景.
• ** 简单的多视图设置:** 设置不同角度的多个固定摄像头 (上头,侧面,手腕前高度) 很容易.每个摄像头都有独立的固体安装和独立的校准.
• **更好用于全球任务状态估计:**需要了解整个工作空间的任务 (例如",当当前的设置考虑时,该将这个对象放置在哪里?")

固定摄像头:缺点

• 接近时臂: 随着臂部向物体移动,臂部结构和抓住器遮住摄像机对抓住器对物体接口的视觉,正是精确视觉反最关键的时刻.这是固体摄像头操作系统在精度任务上的主要故障模式.
• ** 接近分辨率有限:** 在固定相机距离6080厘米时,1个相机像素相当于大约0.51毫米的工作空间.对于需要3mm精度的任务,这种分辨率对于最终接触阶段是不够的.
• **位置依赖性能:**物体的外观 (尺寸,照明,视角) 随着物体在工作空间中移动而发生显著变化.

手腕摄像头:优势

• ** 随着终端效果器:** 手腕摄像头保持一致的近距离视图,不管手臂配置.这是自然的人类模拟器.
• 没有抓住物体遮蔽: 从手腕摄像头的角度来看,抓住物体处于现场,但对象抓住物体界面总是可见的 (以前面或稍微向下角的座椅).
• **不论工作场所位置如何,相机的外观都不变:**由于相机与手臂移动,而手腕相机的物体外观在所有工作场所位置 (相同距离,相同的角度) 都几乎相同.这大大减少了将数据一般化在工作场所位置所所所需的数据量.
• **接触时高效分辨率:**距离物体1020厘米的手腕摄像头,1像素相当于<0.1mm.即使在这种距离的640×480摄像头也为接触相传感提供了精确的视觉信息.

手腕摄像头:缺点

• ** 动态校准要求:** 手腕相机的外部校准 (相对于抓住器的位置) 必须精确地知道.手眼校准 (使用已知位置的校准目标) 在设置和手腕座椅发生任何物理干扰后,需要进行.这每次校准增加了3060分钟的设置时间.
• 电缆路由限制: 摄像头电缆必须从手腕,沿着臂部,向机器人基部,然后向PC路由.在整个臂部运动范围期间不绑定或不的电缆路由是一个真正的工程挑战.弹可拉回电缆管理或无线摄像头模块可以减轻这一点.
• 振动和冲击: 戴手腕的摄像头会经历机器人发动机的机械振动,特别是在高速移动或接触事件中.这可以在关键时刻模糊图像.短暂的曝光时间 (≤4 ms) 和机械缩装置减少了这一点.
• 有限的全球背景: 手腕摄像头只显示着围绕抓住器的小区域.对于需要全球工作空间意识 (多个对象的放置,随着广泛分离的对象进行序列操作) 的任务,只能通过手腕视觉是不够的.

标准:三摄像头系统

基于40多个操作任务的政策性能数据,RCSV的标准摄像头配置是3摄像头系统:从不同角度处的两台固定手腕高度摄像头,加上一个手腕安装的摄像头.

• 相机1 (固定,前左): Intel RealSense D435i,安装在手腕高度 (6070厘米以上桌面) 在3045°从前角.
• **相机2 (固定,前右):**同样的模型,对称位置.与相机1相结合,可提供立体深度重建和双重覆盖,从固定视角中消除大多数手臂罩.
• 相机3 (手腕安装): OAK-D (OpenCV AI Kit with Depth) 或RealSense D405 (设计用于手腕安装,优化550厘米的范围),安装在水平水平下面30°向前向下的抓住器上.

决议建议

Camera Position	Minimum Resolution	Recommended	Notes
Fixed (60–80 cm distance)	1280×720 @ 30fps	1920×1080 @ 30fps	Higher res important for far-field precision
Wrist (10–20 cm distance)	640×480 @ 30fps	848×480 @ 60fps	Higher fps helps with fast gripper motion
Overhead (90–120 cm)	1280×720 @ 30fps	1920×1080 @ 15fps	Global context; lower fps acceptable

硬件触发器同步

对于多摄像头系统,框架同步至关重要.如果没有硬件同步,相机会相对漂移 (由于USB框架时间差异),导致训练数据与不匹配的多视图像.这是政策降级的文档来源.

• 硬件触发器: 一个GPIO触发器信号 (来自机器人控制器或专门的同步框) 一次激发所有摄像头.RealSense D435i支持通过GPIO进行硬件触发器同步.目标 <1 ms 间相机.
• **软件同步 (倒退):**如果硬件触发器不存在,请使用NTP同步并按时间标签选择匹配的框架. 实现了1030ms的同步精度.

政策性能:相机配置比较

Camera Setup	Success Rate (精度 Assembly)	Success Rate (Pick-and-Place)	Notes
Single fixed (overhead)	42%	74%	Severe occlusion during approach
Single wrist only	65%	68%	Good precision, poor global context
Two fixed (stereo)	58%	81%	Better occlusion coverage, still limited close-up
Fixed + wrist (2-camera)	78%	86%	Good balance, standard for research
Two fixed + wrist (3-camera)	84%	89%	RCSV standard; best overall performance

通过3摄像头配置,在精确组装任务上,可比单个固定摄像头提高19个百分点. 这种差异很难通过算法更改或较差的摄像头设置更大数据来恢复.

在RCSV的 [数据收集程序]T1) 中,所有示范都采用3摄像头标准配置,硬件同步框架和校准外观都包含在交付的数据集中.

摄像头设置咨询和数据收集

通过我们验证的3摄像头硬件同步设置,

联系数据服务 →