Warum Sim-Metriken nicht ausreichen
Die Erfolgsraten von Simulationen lassen sich oft nicht auf die Leistung in der realen Welt übertragen. Beleuchtungsänderungen, Objektvariationen, Kalibrierungsdrift und Sensorrauschen wirken sich alle auf die tatsächliche Leistung aus. Für veröffentlichungsfähige Ergebnisse und Einsatzentscheidungen ist ein strenges, realitätsnahes Bewertungsprotokoll unerlässlich.
Das Evaluierungsprotokoll
Führen Sie mindestens 50 Versuche pro Bedingung durch (100 werden bei engen Konfidenzintervallen bevorzugt). Variieren Sie Objektinstanzen, Positionen, Lichtverhältnisse und Bediener. Geben Sie die Erfolgsrate mit 95 %-Konfidenzintervallen unter Verwendung des Wilson-Scores an. Zeichnen Sie alle Fehlerepisoden auf und überprüfen Sie sie. Dokumentieren Sie die Umgebungsbedingungen für die Reproduzierbarkeit.
- Mehr als 50 Versuche pro Bedingung
- Mindestens 3 Objektvarianten
- 2+ Lichtverhältnisse
- Wilson-Score-Konfidenzintervalle
- Videoaufzeichnung aller Versuche
Häufige Fallstricke
Auswahl einfacher Startkonfigurationen, keine Meldung von Fehlermodi, Verwendung derselben Objektinstanz für alle Versuche und Durchführung von Auswertungen unmittelbar nach der Optimierung (Überanpassung an die aktuellen Bedingungen). Die Evaluierungsdienste von SVRC bieten standardisierte, reproduzierbare Testumgebungen.