用于数据收集的机器人相机设置：腕式、头顶式和立体式

相机放置策略

机器人摄像头放置的首要原则是：用于数据采集的摄像头的安装位置必须与用于策略部署的摄像头的安装位置相同。 这种不匹配无法恢复——在手腕相机视图上训练的策略不能推广到头顶相机视图，反之亦然。 在收集单集训练数据之前定义您的部署相机配置。

操纵研究中最常见的配置是：仅手腕（机器人手腕上安装一个摄像头，向前看操纵工作空间）； 仅高架（安装在固定高架设备上的一个或两个摄像机）； 和多视图（腕式摄像头加上一两个外部摄像头提供全局工作空间上下文）。 多视图配置在策略性能方面始终优于单视图，但代价是记录基础设施更加复杂。

腕式相机：优点、缺点和最佳实践

腕式摄像头提供操纵动作的第一人称视角——机器人可以大致了解其末端执行器正在做什么。 对于必须精确感知夹具和物体之间的关系的精细抓取和插入任务，该观点具有丰富的信息。 腕式摄像机还会自动跟随夹具穿过工作空间，确保目标物体在操作过程中始终位于框架内。

腕式摄像头的主要限制是它们看不到全局工作空间——机器人在不移动手臂的情况下无法感知远离当前抓手位置的物体。 这限制了它们对于需要场景级理解或双手协调的任务的有效性。 对于双手系统，每只手臂都应携带自己的腕式摄像头。 推荐规格：1080p 或更高分辨率、60+ fps、全局快门（非卷帘快门）以避免快速移动期间的运动模糊，以及广角镜头（90-110 度 FOV）以保持近距离观察抓握接触点。

俯视摄像头：配置和权衡

固定式高架摄像机提供稳定、一致的工作空间视图，可捕获完整的操作场景。 它们对手臂运动不太敏感，并为需要跨不同工作区域的多个连续步骤的任务提供更好的上下文。 头顶摄像头更容易在多个机器人站上一致安装，这对于大规模数据收集活动很重要。

限制是操作接触点处的细节减少。 高度为 80 厘米的高架摄像机俯视桌面工作区，无法可靠地观察小物体上的夹具物体接触几何形状。 这就是为什么在高性能数据收集设置中，头顶摄像头通常与腕式摄像头配对 - 头顶视图提供任务上下文和粗略定位，而腕式视图提供精细的操作细节。

分辨率、帧速率和同步

对于操作数据收集，每台摄像机 480p–720p、30 fps 足以满足 2026 年的大多数模仿学习政策。更高分辨率 (1080p) 可以提高需要精细空间辨别的任务的性能。 低于 30 fps 的帧速率会引入时间混叠，从而降低快速任务的策略学习性能。 超过 60 fps 的帧速率对于大多数操作任务来说回报递减，并显着增加存储要求。

多摄像机同步至关重要但经常被忽视。 如果相机不是硬件同步的，则在数据加载期间必须仔细实现时间戳对齐。 对于手腕视图和俯视视图必须在时间上一致的任务，即使是 33 毫秒的摄像机间偏移（30 fps 下的一帧）也会带来训练不稳定。 英特尔实感 D435 和 D455 系列支持通过同步电缆进行硬件同步，是 SVRC 同步多摄像头设置的首选。

深度相机

除了 RGB 图像之外，深度相机还提供每像素距离测量，无需显式立体重建即可理解 3D 场景。 Intel RealSense、Microsoft Azure Kinect 和 ZED 摄像头是机器人数据收集中最常用的深度传感器。 深度信息对于对象高度、形状或 3D 位置对于抓取规划很重要的任务以及使用点云输入而不是纯图像输入的策略非常有价值。

权衡：深度相机增加了重量、成本和处理负载。 许多最先进的模仿学习结果都是使用纯 RGB 相机实现的，这表明深度并不总是必要的。 当您的策略架构明确受益于 3D 输入时，当任务涉及显着的深度变化（堆叠不同高度的对象）时，或者当您需要在可变照明条件下提供强大的性能时（深度比 RGB 更具有照明不变性），请使用深度。

校准和 SVRC 的多相机标准

在数据收集开始之前，每个相机都必须进行校准 - 内部校准（焦距、畸变系数）和外部校准（相对于机器人底座的位置和方向）。 使用物理棋盘目标进行校准，并在相机移动或调整后重新校准。 将校准参数存储为每个数据集的元数据。

SVRC 的数据收集标准采用固定的三摄像头配置：每个手臂一个腕式摄像头，每个站一个经过校准的头顶摄像头。 物理摄像头安装座是我们标准化工作站设计的一部分，可确保我们整个设施的放置位置一致。 所有校准参数都会自动记录并包含在数据集导出中。 对于建立自己的数据收集基础设施的团队，SVRC 提供相机设置咨询，并可以提供预校准的相机组件 — 联系我们 或查看我们的 数据服务页面 了解详情。