机器人摄像头设置数据收集:手腕,上头和立体
完整的机器人摄像头设置指南:手腕对外对侧部位,分辨率,图像速率,同步,深度摄像头,校准,以及RCSV的多摄像头标准.
部分: [机器人数据收集指南]
机器人数据收集中,相机的放置是最重要的和最经常被未准确的决定之一. 培训期间您的政策看到的观察必须与部署期间看到的相匹配.
摄像头放置战略
机器人摄像头的放置原理是:用于数据收集的摄像头必须与用于政策部署的摄像头相同的安装位置.从这种不匹配中无法恢复. 在收集训练数据的单个集之前,定义部署摄像头配置.
在操纵研究中最常见的配置是:只有一支手腕 (一个相机安装在机器人手腕上,展望操纵工作空间);只有一支手头 (一个或两个相机安装在固定的空头设备上);以及多视图 (手腕相机加上一个或两个外部相机提供全球工作空间背景). 复杂的记录基础设施的代价上,多视图配置在政策执行方面始终超过单视图.
手腕摄像头:优势,缺点,最佳实践
腕部摄像头提供了操作操作操作的第一人视图.机器人在最终效应器上看到其所做的情况.这种视角对于精细的抓住和插入任务非常有信息性,其中必须精确地感知抓住器和物体之间的关系. 腕部摄像头也自动通过工作空间跟踪抓住器,确保目标对象在操纵过程中始终处于框架中.
手腕摄像头的主要局限性是它们无法看到全球工作空间. 机器人不能在不移动手臂的情况下感知远离其目前的抓住位置的物体. 这限制了需要场景水平的理解或双手动协调的任务的有效性.对于双手动系统,每个手臂都应该携带自己的手腕摄像头. 建议的规格: 1080p或更高的分辨率,60+fps,全球
机器:配置和交易
固定式上空摄像头提供稳定,一致的工作场所视图,捕捉到整个操纵场景.它们对手臂运动较不敏感,并为需要多个连续步骤在不同工作场所区域的任务提供更好的背景.上空摄像头更容易在多个机器人站上连续安装,这对于大规模数据收集运动来说很重要.
控制点的细节是有限的.80厘米高的空头摄像头,俯
解析度,率和同步
对于操纵数据收集,每台摄像头30fps的480p
多摄像头同步是关键的,并且经常被忽视.如果摄像头没有硬件同步,则在数据加载过程中必须仔细实现时间印章对齐.即使是33毫米的相机间偏移 (一个框架以30fps) 也可以引入训练不稳定性,在手腕和空头视图必须是暂时一致的任务. 智能实力Sense D435 和 D455 系列通过同步电缆支持硬件同步,并且是RCSV为同步的多摄像头设置的首选.
机器人摄像机型:技术比较
遮蔽类型:全球对滚动
全球快门摄像头同时暴露所有像素.
对于手腕安装的摄像头 (可以用手臂移动),全球
传感器类型:单机对阵声波对阵RGB-D
| Type | Depth | Cost | Weight | Outdoor Use | Best For |
|---|---|---|---|---|---|
| Monocular RGB | No | $50-400 | 20-80g | Yes | Wrist mount (lightweight), IL policies |
| Stereo | Computed | $300-2,000 | 150-350g | Yes | Outdoor mobile manipulation |
| Structured light RGB-D | Active IR | $200-500 | 70-200g | Poor (IR interference) | Indoor fixed mount, grasp planning |
| ToF RGB-D | Active IR (ToF) | $400-1,500 | 100-300g | Moderate | Long-range depth (1-10m) |
具体摄像机建议
| Camera | Type | Resolution | Shutter | Price | Best Use |
|---|---|---|---|---|---|
| Intel RealSense D435i | Stereo RGB-D + IMU | 1920x1080 (RGB), 1280x720 (depth) | Rolling (RGB), Global (IR) | $300 | RCSV default: overhead mount, hardware sync support |
| Intel RealSense D405 | Stereo RGB-D | 1280x720 | Global (all sensors) | $230 | Wrist mount (compact: 42x42x23mm) |
| StereoLabs ZED 2 | Stereo + neural depth | 4416x1242 (2x 2208x1242) | Rolling | $450 | Outdoor/mobile manipulation, long-range depth (20m) |
| FLIR Blackfly S | Mono RGB | Up to 5MP | Global (Sony Pregius) | $400-1,200 | High-quality wrist camera, GigE for long cable runs |
| Arducam OV9281 | Mono (grayscale) | 1280x800 | Global | $50 | Budget wrist camera, Raspberry Pi compatible |
起位置:手腕对外对第三人
双手 (手腕山)
摄像头与机器人的终端效应器一起移动,为操作操作提供了第一人对操作的视角.这种视角对于精细抓住和插入任务非常有信息性,其中必须精确地感知抓住器和物体之间的关系.手腕摄像头也自动地通过工作空间跟踪抓住器.
设置考虑:尽可能接近抓住器 (5-10cm以上) 保持相机以尽可能减少产生振动的时刻臂.使用硬
眼对手 (头/外)
固定式空头摄像头提供稳定,一致的工作空间视图.
第三个人 (侧视图)
距离垂直30-45度的侧视图相机提供了完全空视图中丢失的深度信息.这种视图点特别适用于涉及垂直堆叠或插入的任务,在空视图相机无法区分高度.RCSV使用第三人相机在与空视图相对面的工作空间,以最大限度地提高视图点的多样性.
校准程序
双眼校准
对于手腕部装摄像头,你需要从摄像头框架转换到机器人的终端效应器框架.
- 在工作场所固定位置上安装校准目标 (ChArUco板推
于机器板以确保强度) - 移动机器人到目标可见的15-20个不同位置,记录机器人的终端效应器姿势和相机在每个位置的目标视图
- 运行手眼校准溶剂 (OpenCV
T0 或 T1 ROS2包) 来计算摄像头到端效应器转换 - 通过命令机器人触摸相机框架中已知点进行验证
位置错误应在3mm以下
眼对手校准
对于固定摄像头,需要从摄像头框架转换到机器人基架.
- 连接查鲁科板到机器人的终端效应器
- 移动机器人到固定摄像头可见的目标位置15-20个位置
T2 运行与 T3 - 通过将物体放置在已知位置并比较相机估计的和实地真理坐标进行验证
校准后任何摄像头调整 (即使撞上挂机),在手臂上的硬件维护后,并作为一个月度计划检查.由于热膨胀,振动和挂机定位,每月的校准漂移是典型的.
深度摄像头
深度摄像头除了RGB图像外,还提供每像素距离测量,从而在没有明确的立体音频重建的情况下实现3D场景理解.英特尔RealSense,微软AzureKinect和ZED摄像头是机器人数据收集中最常用的深度传感器. 对于 [抓地计划] (
设置ROS2摄像头驱动器
对于RealSense摄像头 (最常见的操纵研究),
启动使用推
设置T6
校准和RCSV的多摄像头标准
根据RCSV的数据收集标准,使用固定的三摄像头配置:每臂一摄像头加上每站一校准的空头摄像头.物理摄像头安装是我们标准化的工作站设计的一部分,确保在整个设施中一致的放置.所有校准参数都会自动记录并被纳入数据集出口中. 对于建立自己的数据收集基础设施的团队,RCSV提供摄像头设置咨询,并可以提供预校准摄像头组件 (联系我们)
相关阅读
- [机器人训练数据指南]
- 机器人数据注释
,我知道你是个 . , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , T16 ) 关于"Grasp计划调查2025"的研究 ,我知道,我在 中 . - [数据服务]
- 现在,我们需要一个新的技术.