リアルワールドにおけるロボット政策の評価方法
リアル・ワールドロボット政策評価のための実用的な枠組み:メトリック,エピソード数,環境変動,統計的意義
なぜ Sim メトリック が 十分 な の でしょ う か
模擬成功率は,しばしば現実世界でのパフォーマンスに移転しない.照明の変化,オブジェクト変異,校正漂移,センサー騒音は,現実的なパフォーマンスに影響する.公開可能な結果と展開決定には,厳格な現実世界の評価プロトコルが不可欠である.
評価議定書
条件ごとに最低50回の試験を実行する (100度限定的な信頼間隔で好ましい). 異なるオブジェクトインスタンスの位置,照明条件,操作者. ウィルソンスコアを使用して 95%の信頼間隔で成功率を報告する.すべての失敗エピソードを記録し,レビューする. 再現性のための環境条件を文書する.
- 条件ごとに50以上の試験
- 対象の変数少なくとも3個
- 2+ の照明条件
- ウィルソンスコア 信頼間隔
- 試験のビデオ録音
常識 の 罠
チェリーピックリングは,簡単なスタート設定,故障モードを報告しないこと,すべての試験に同じオブジェクトインスタンスを使用し,調整後すぐに評価を実行する (現在の条件にオーバーフィット).RCSVの評価サービスは標準化された,再生可能なテスト環境を提供します.
なぜ Sim メトリック が 十分 な の でしょ う か
模擬成功率は,しばしば現実世界でのパフォーマンスに移転しない.照明の変化,オブジェクト変異,校正漂移,センサー騒音は,現実的なパフォーマンスに影響する.公開可能な結果と展開決定には,厳格な現実世界の評価プロトコルが不可欠である.
評価議定書
条件ごとに最低50回の試験を実行する (100度限定的な信頼間隔で好ましい). 異なるオブジェクトインスタンスの位置,照明条件,操作者. ウィルソンスコアを使用して 95%の信頼間隔で成功率を報告する.すべての失敗エピソードを記録し,レビューする. 再現性のための環境条件を文書する.
- 条件ごとに50以上の試験
- 対象の変数少なくとも3個
- 2+ の照明条件
- ウィルソンスコア 信頼間隔
- 試験のビデオ録音
常識 の 罠
チェリーピックリングは,簡単なスタート設定,故障モードを報告しないこと,すべての試験に同じオブジェクトインスタンスを使用し,調整後すぐに評価を実行する (現在の条件にオーバーフィット).RCSVの評価サービスは標準化された,再生可能なテスト環境を提供します.