מדוע מדדי סים אינם מספיקים
אחוזי הצלחה של סימולציה לרוב אינם עוברים לביצועים בעולם האמיתי. שינויים בתאורה, וריאציות של אובייקטים, סחיפה של כיול ורעש חיישן כולם משפיעים על הביצועים האמיתיים. פרוטוקול הערכה קפדני בעולם האמיתי חיוני לתוצאות הניתנות לפרסום ולהחלטות פריסה.
פרוטוקול ההערכה
הרץ לפחות 50 ניסויים לכל מצב (100 עדיפות לרווחי סמך הדוקים). שינוי מופעי אובייקט, מיקומים, תנאי תאורה ומפעיל. דווח על שיעור הצלחה עם רווחי סמך של 95% באמצעות ציון וילסון. הקלט וסקור את כל פרקי הכישלון. תיעוד תנאי סביבת לשחזור.
- 50+ נסיונות לכל מצב
- לפחות 3 וריאציות של אובייקט
- 2+ תנאי תאורה
- וילסון קלע מרווחי ביטחון
- הקלטת וידאו של כל הניסויים
מלכודות נפוצות
בחירת תצורות התנעה קלות, לא לדווח על מצבי כשל, להשתמש באותו מופע אובייקט עבור כל הניסויים, ולהפעיל הערכות מיד לאחר הכוונון (התאמה יתר לתנאים הנוכחיים). שירותי ההערכה של SVRC מספקים סביבות בדיקה סטנדרטיות הניתנות לשחזור.