איך אנחנו חושבים על הערכת עולם אמיתי
מדוע הצלחה במשימה לבדה אינה מספיקה כאשר אתה מעריך רובוטים שצריכים לשרוד תנאי הפעלה אמיתיים.
הערכה התואמת את סיכון הפריסה
הערכת רובוט נכשלת לעתים קרובות באותו אופן שבו ניתוח מוצר נכשל: צוותים מבצעים אופטימיזציה עבור המדד הגלוי הקל ביותר ומניחים שהוא מייצג את המערכת כולה. ברובוטיקה, זה אומר בדרך כלל שיעור הצלחה צר הנמדד בתנאים מבוקרים. הערכה בעולם האמיתי זקוקה למסגרת רחבה יותר.
הצלחה היא הכרחית, לא מספיקה
פוליסה יכולה להשלים משימה ועדיין להיות שבירה. זה עשוי להיות תלוי בתנאים ראשוניים צרים, להימנע ממגע לחלוטין, או להצליח רק כאשר התזמון, התאורה ומיקום האובייקט נקיים בצורה יוצאת דופן. ככל שמשימה עוברת לתוך סביבות אמיתיות, כך ההנחות הנסתרות הללו מופיעות יותר.
על מה אנחנו מסתכלים במקום
- הֲדִירוּת - האם המערכת יכולה לבצע ריצות שונות, לא רק בדוגמה של הדגשה?
- הִתאוֹשְׁשׁוּת - מה קורה כשהניסיון הראשון אינו מושלם?
- איכות קשר - האם הרובוט מתנהג כצפוי כאשר יש חשיבות לכוח וחיכוך?
- חוסן תפעולי - עד כמה ההגדרה רגישה לסחיפת כיול, עלות איפוס ורעשי סביבה?
הערכה צריכה להתאים לצורת הפריסה
המדד הנכון תלוי איפה הרובוט הולך לגור. רובוט הדגמה, פלטפורמת מחקר ותא ייצור אינם חולקים את אותו פרופיל סיכון. הגדרות הערכה טובות שומרות על כך במקום להעמיד פנים שמדד אחד יכול לכסות את שלושתם.
למה חשובות ראיות בעולם האמיתי
זו אחת הסיבות שאנו מעריכים כל כך סביבות רובוט אמיתיות ומערכות חיות. סימולציה שימושית, אבל היא מסתירה הרבה מההפרעות שהופכות את ההערכה למשמעותית: חישה לא מושלמת, בלאי אמיתי, התנהגות איפוס אנושית והקשר של משימה שקשה יותר לתסריט מאשר לצפייה.
כלל מעשי - אם המדד שלך לא חושף מה קורה לאחר הכישלון הקטן הראשון, כנראה שהוא מעריך יתר על המידה את איכות המערכת.