リアル 世界 の 評価 に つい て わたしたち の 考え方
作業の成功,重複性,接触行動,および運用信頼性における現実世界のロボット評価のための実用的な枠組み.
[←研究]
作業の成功だけでは 十分ではないのです 機械が実際の作業条件で 生き延びる必要があると 評価する際には
展開リスクに匹敵する評価
形部署 測定失敗 繰り返す
ロボット評価は,製品分析が失敗するように失敗する.チームは最も簡単に見えるメトリックを最適化し,そのものがシステム全体を代表すると考えます.ロボット学の場合,これは通常制御条件下で測定される狭い成功率を意味します.現実世界の評価にはより広い枠組みが必要です.
成功 は 必要 で あり,十分 で は ない
政策は,課題を完了しても脆弱性がある.初期条件が狭く,接触を完全に避けることも,タイミング,照明,物件配置が異常なクリーンである場合にのみ成功することも可能である.課題が現実的な環境に移行するほど,隠された仮定が現れるほど.
代わりに 見るもの
- 重複性 システムがハイライト例だけでなく,ランス全体で動作できるのか?
- 復旧 失敗したらどうなるか?
- 機械は力と摩擦が重要であれば予測可能な行動をとるのか?
- 運用強度 設定は校正漂移,リセットコスト,環境騒音にどれほど敏感か?
評価は部署の形に一致する
適切な基準値は,ロボットの住所に依存します.デモロボット,研究プラットフォーム,生産細胞は同じリスクプロファイルを共有しません.良い評価設定は,一つのメトリックが三つをカバーできるとふるまうのではなく,それを考慮に入れます.
本当 の 世界 の 証拠 が 重要 な の は なぜ です か
これは私たちが現実的なロボット環境やライブシステムに 高い評価を与える理由の一つです シミュレーションは有用ですが 評価を意義のあるものにする障害の多くは 隠されています 評価を意味のあるものにします 評価を意味のあるものにする障害は 欠陥のある感覚,実際の着用,人間のリセット行動,そして観察よりもスクリプトが難しいタスクのコンテキストです
実用ルール
[なぜ現実世界のデータが重要なのか]
システム を 現実 に 対し て 評価 する
リアルな展開を反映する評価流をデザインする手助けをしたいなら ハードウェアやデータ,テスト戦略を繋げることができます