Pourquoi les métriques Sim ne suffisent pas
Les taux de réussite des simulations ne se traduisent souvent pas par des performances réelles. Les changements d'éclairage, les variations d'objets, la dérive d'étalonnage et le bruit du capteur affectent tous les performances réelles. Un protocole d'évaluation rigoureux dans le monde réel est essentiel pour que les résultats soient publiables et les décisions de déploiement.
Le protocole d'évaluation
Effectuez au minimum 50 essais par condition (100 de préférence pour des intervalles de confiance serrés). Variez les instances d'objet, les positions, les conditions d'éclairage et l'opérateur. Rapportez le taux de réussite avec des intervalles de confiance de 95 % en utilisant le score de Wilson. Enregistrez et examinez tous les épisodes de défaillance. Documenter les conditions environnementales pour la reproductibilité.
- Plus de 50 essais par condition
- Au moins 3 variantes d'objet
- 2+ conditions d'éclairage
- Intervalles de confiance du score de Wilson
- Enregistrement vidéo de tous les essais
Pièges courants
Sélection de configurations de démarrage faciles, ne signalant pas les modes de défaillance, utilisant la même instance d'objet pour tous les essais et exécutant des évaluations immédiatement après le réglage (surajustement aux conditions actuelles). Les services d'évaluation de SVRC fournissent des environnements de test standardisés et reproductibles.