हम वास्तविक दुनिया के मूल्यांकन के बारे में कैसे सोचते हैं

रोबोट मूल्यांकन अक्सर उसी तरह विफल हो जाता है जिस तरह उत्पाद विश्लेषण विफल हो जाता है: टीमें सबसे आसान दृश्यमान मीट्रिक के लिए अनुकूलन करती हैं और मान लेती हैं कि यह पूरे सिस्टम का प्रतिनिधित्व करता है। रोबोटिक्स में, आमतौर पर इसका मतलब नियंत्रित परिस्थितियों में मापी गई एक संकीर्ण सफलता दर है। वास्तविक दुनिया के मूल्यांकन के लिए एक व्यापक ढांचे की आवश्यकता है।

सफलता आवश्यक है, पर्याप्त नहीं

एक नीति किसी कार्य को पूरा कर सकती है और फिर भी नाजुक हो सकती है। यह संकीर्ण प्रारंभिक स्थितियों पर निर्भर हो सकता है, संपर्क से पूरी तरह बच सकता है, या केवल तभी सफल हो सकता है जब समय, प्रकाश व्यवस्था और वस्तु का स्थान असामान्य रूप से साफ हो। जितना अधिक कोई कार्य वास्तविक वातावरण में आगे बढ़ता है, उतनी अधिक छिपी हुई धारणाएँ दिखाई देती हैं।

इसके बजाय हम क्या देखते हैं

• repeatability - क्या सिस्टम केवल हाइलाइट उदाहरण पर ही नहीं, बल्कि संपूर्ण रन में प्रदर्शन कर सकता है?
• वसूली — जब पहला प्रयास अपूर्ण हो तो क्या होता है?
• संपर्क गुणवत्ता - क्या बल और घर्षण मायने रखने पर रोबोट पूर्वानुमानित व्यवहार करता है?
• संचालनात्मक मजबूती - अंशांकन बहाव, रीसेट लागत और पर्यावरण शोर के प्रति सेटअप कितना संवेदनशील है?

मूल्यांकन परिनियोजन आकार से मेल खाना चाहिए

सही बेंचमार्क इस बात पर निर्भर करता है कि रोबोट कहाँ रहने वाला है। एक डेमो रोबोट, एक अनुसंधान मंच और एक उत्पादन सेल समान जोखिम प्रोफ़ाइल साझा नहीं करते हैं। अच्छे मूल्यांकन सेटअप इस बात को ध्यान में रखते हैं कि एक मीट्रिक का दिखावा करने के बजाय सभी तीन को कवर किया जा सकता है।

वास्तविक दुनिया के साक्ष्य क्यों मायने रखते हैं?

यही कारण है कि हम वास्तविक रोबोट वातावरण और लाइव सिस्टम को इतना महत्व देते हैं। सिमुलेशन उपयोगी है, लेकिन यह कई गड़बड़ियों को छुपाता है जो मूल्यांकन को सार्थक बनाते हैं: अपूर्ण संवेदन, वास्तविक टूट-फूट, मानव रीसेट व्यवहार, और कार्य संदर्भ जो देखने की तुलना में स्क्रिप्ट के लिए कठिन है।