机器人传感器用于操纵学习:摄像头,编码器,力和触觉

[←学习]

传感器的选择和质量直接决定机器人政策可以学习什么.

为什么传感器是学习的重要因素

机器人政策只能与其输入一样好. 政策通过传感器观察世界,必须推断一切需要的行动物体位置,把握质量,接触力,任务是否成功从传感器流.

传感器的三个特性最重要:分辨率 (捕获多少细节), 延迟 (政策使用时数据的年龄),同步 (所有传感器是否报告相同的时刻). 50 ms的相机和联合状态脱节可以显著降低快速任务的政策性能.

联合编码器

关节编码器是机器人臂的主要状态传感器.

绝对编码器是现代的共机器人中标准的.与增量编码器不同 (只测量变化),绝对编码器从启动时起报告真正的联合角,而不需要定向程序.

• 分辨率: 通常是19位,每转换为219=524,288步,或每步约为0.0007°. 这对于操纵而言是足够的.
• 样本速率: 1 kHz 对于联合位置;速度通常通过低通行过器进行位置差异化计算.
• 延迟: 0.52 ms从物理角度到报告值在电动公交车上 (通常是EtherCAT或CAN).
• 学习中的作用: 联合编码器数据提供机器人的自觉状态自身的机器人配置,它始终作为相机图像的政策输入.

电脑

基于摄像头观测的政策已经证明了在训练在各种数据上时,可显著的通用化.

• 分辨率: 640×480 (VGA) 是对象识别的最低值; 1280×720 (HD) 是标准值; 1920×1080 (FHD) 添加了对小物体操纵的细节.
• 速: 30 fps用于缓慢操作; 60 fps用于快速任务或动态跟踪.
• ** 接口:** USB3 方便,但具有非确定性延迟.GigeE视觉 (以太网) 提供确定性定时, 最适用于同步的多摄像头设置.
• ** 遮蔽器类型:** 全球遮蔽器同时捕捉所有像素 (在快速运动时没有滚动遮蔽器的扭曲);对于快速移动的手腕摄像头来说至关重要.
• 典型设置: 每机器人站3部摄像头 一个上头,一侧/前面,一个手腕安装.

深度摄像头

深度摄像头将每一个像素加上一个距离测量,为该政策提供了明确的3D几何.操纵研究中最常用的模型是Intel RealSense D435** (结构光/主动立体音频).

• 范围: 0.1 m到 3 m;最佳精度在 0.31.5 m.
• 片速度:** 30 fps 848×480深度分辨率.
• 限制: 结构性光在闪,镜状或透明表面 (玻璃,金属,水) 上表现不佳.对于这些材料,触觉传感器或力反提供了更可靠的联系信息.
• 使用时间: 选择在混杂的桌面上进行规划,选择垃圾桶,任何对象高度估计的任务都很重要.

强力/扭矩传感器

六轴手腕力/扭矩 (F/T) 传感器测量终端效应器对环境施加的力量和扭矩 (并从环境中获得).它安装在机器人的最后链接和终端效应器之间.

• 测量: Fx, Fy, Fz (三轴的强力) 和 Tx, Ty, Tz (三轴的扭矩).
• 典型范围: ±200 N 强力, ±10 Nm 扭矩.
• 带宽: 1 kHz,可实时检测接触.
• 应用: 检测抓获成功 (值以下的力量 →物体滑落),符合要求的插入 (使用力引导搜索的插孔),安全的人机接触 (如果发现意外的力量,停止),表面追踪.
• 在政策中: 政策输入中可以直接包括F/T读数 使用F/T数据训练的政策显示了显著更好的接触性任务性能.

触觉传感器

触觉传感器测量分布式接触信息在指尖水平,超出单个F/T读数,以空间压力地图或甚至接触贴片的图像.

• GelSight (MIT): 具有内部摄像头的软凝指尖.接触形状变形凝,摄像头图像变形,提供高分辨率的接触几何 (每指400×300像素).
• **容量阵列:**指表面上的容量压力传感器格格. 比GelSight轻量;分辨率较低,但速度快 (>1kHz). 用于指尖的滑动检测.
• **当前状态:**机器人学习中的触觉传感是一个活跃的研究领域大多数生产系统使用F/T传感器,其余的使用是基于摄像头.触觉数据是有价值的,但增加了数据管道的复杂性.

传感器数据率和存储要求

Sensor	Sample Rate	Data per Second	Data per 2-min 情节
Joint encoders (7-DOF)	1000 Hz	~56 KB/s	~6.7 MB
RGB camera 720p JPEG (×3)	30 Hz	~9 MB/s	~1.1 GB
Depth camera 480p (×1)	30 Hz	~28 MB/s raw (lossless)	~3.4 GB raw
Force/torque sensor	1000 Hz	~48 KB/s	~5.8 MB
Tactile sensor (GelSight ×2)	30 Hz	~6 MB/s	~720 MB
Typical total (3 RGB + joints + F/T)	—	~9 MB/s	~1.1 GB

时间同步

所有传感器都必须与一个共同的时钟进行时间切符.如果没有同步,在训练期间,在每种样本中都会增加噪音,在t=100 ms时捕获的摄像头框架和在t=105 ms时记录的联合状态将会错误地对配.

最佳实践:

• **硬件触发器:**控制器的GPIO脉冲同时触发所有相机. 这实现了<1ms同步,是严格的数据收集设置标准.
• 软件时间印: 录制收到系统时间;每传感器进行测量固定延迟抵消. 实现520 ms同步度 适合30fps摄像头政策,对高速任务进行边缘化.
• PTP/IEEE 1588: 多机器设置的硬件级网络时间协议. 在本地网络上的机器之间实现1ms.

查看您的操作设置兼容传感器和配件,请访问 [RCSV设备商店]T1.