我们对现实世界评估的看法
实用框架用于对任务成功,可重复性,接触行为和运营可靠性进行现实世界机器人评估.
只有在评估需要生存的机器人时,任务的成功不够.
符合部署风险的评估
部署形状 测量失败 连续
机器人评估通常失败,就像产品分析失败一样:团队优化最容易可见的指标,并假设它代表整个系统.在机器人技术中,这通常意味着在控制条件下测量的成功率很窄.现实世界评估需要更广泛的框架.
成功是必要的,不够的
政策可以完成任务,但仍然脆弱.它可能取决于狭窄的初始条件,完全避免接触,或者只有在时间,照明和物体放置不寻常清洁时才会成功.任务越进入现实环境,这些隐藏的假设就越显现.
我们看的是什么
- 系统能在跨行业进行执行,而不仅仅是在一个突出例子上?
- 什么会发生当第一次尝试是不完美的?
- 机器人在力和摩擦问题时表现得预测性吗?
设置对校准漂移,重置成本和环境噪音有多敏感?
评估应与部署形式相匹配
根据机器人将居住在哪里,准确的基准取决于机器人居住的地方.一个测试机器人,一个研究平台和一个生产细胞都不具有相同的风险配置.
实际证据是为什么重要
这也是我们如此重视真正的机器人环境和现实系统的原因之一.模拟是有用的,但它隐藏了许多使评估有意义的障碍:不完美的感觉,真正的磨损,人类重置行为,和任务环境比观察更难脚本.
实践规则
[为什么真实世界数据重要]
如何对现实进行评估
如果您需要帮助设计反映实际部署的评估流程, 我们可以帮助连接硬件,数据和测试策略.
查看数据,查看数据,查看数据,查看数据,查看数据,查看数据,查看数据,查看数据,查看数据,查看数据,查看数据,查看数据,查看数据,查看数据,查看数据,查看数据,查看数据,查看数据,查看数据,查看数据,查看数据,查看数据,查看数据,查看数据,查看数据,查看数据,查看数据,查看数据,查看数据,查看数据,查看数据,查看数据,查看数据,查看数据,查看数据,查看数据,查看数据,查看数据,查看数据,查看数据,查看数据,查看数据,查看数据,查看数据,查看数据,查看数据,查看数据,查看数据,查看数据,查看数据,查看数据,查看数据,查看数据,查看数据,查看数据,查看数据,查看数据,查看数据,查看数据,查看数据,查看数据