डेटा संग्रह के लिए रोबोट कैमरा सेटअप: कलाई, ओवरहेड और स्टीरियो

कैमरा प्लेसमेंट रणनीति

रोबोट कैमरा प्लेसमेंट का पहला सिद्धांत है: डेटा संग्रह के लिए उपयोग किए जाने वाले कैमरे नीति परिनियोजन के लिए उपयोग किए जाने वाले कैमरों के बढ़ते स्थान के समान होने चाहिए। इस बेमेल से कोई पुनर्प्राप्ति नहीं हो सकती है - कलाई कैमरे के दृश्यों पर प्रशिक्षित नीति ओवरहेड कैमरा दृश्य को सामान्यीकृत नहीं कर सकती है, और इसके विपरीत। प्रशिक्षण डेटा का एक भी एपिसोड एकत्र करने से पहले अपने परिनियोजन कैमरा कॉन्फ़िगरेशन को परिभाषित करें।

हेरफेर अनुसंधान में सबसे आम विन्यास हैं: केवल कलाई (रोबोट की कलाई पर एक कैमरा लगाया गया है, जो हेरफेर कार्यक्षेत्र को देख रहा है); ओवरहेड-ओनली (एक या दो कैमरे एक निश्चित ओवरहेड रिग पर लगाए गए); और मल्टी-व्यू (कलाई कैमरा प्लस एक या दो बाहरी कैमरे जो वैश्विक कार्यक्षेत्र संदर्भ प्रदान करते हैं)। अधिक जटिल रिकॉर्डिंग बुनियादी ढांचे की कीमत पर, मल्टी-व्यू कॉन्फ़िगरेशन नीति प्रदर्शन में लगातार एकल-व्यू से बेहतर प्रदर्शन करता है।

कलाई कैमरे: फायदे, नुकसान और सर्वोत्तम अभ्यास

कलाई के कैमरे हेरफेर कार्रवाई का प्रथम-व्यक्ति दृश्य प्रदान करते हैं - रोबोट लगभग देखता है कि वह अपने अंतिम-प्रभावक पर क्या कर रहा है। यह दृष्टिकोण सूक्ष्म पकड़ और सम्मिलन कार्यों के लिए अत्यधिक जानकारीपूर्ण है जहां ग्रिपर और वस्तु के बीच संबंध को सटीक रूप से समझा जाना चाहिए। कलाई कैमरे स्वचालित रूप से कार्यक्षेत्र के माध्यम से ग्रिपर का अनुसरण करते हैं, यह सुनिश्चित करते हुए कि हेरफेर के दौरान लक्ष्य वस्तु हमेशा फ्रेम में रहती है।

कलाई कैमरों की मुख्य सीमा यह है कि वे वैश्विक कार्यक्षेत्र को नहीं देखते हैं - रोबोट हाथ को हिलाए बिना अपनी वर्तमान ग्रिपर स्थिति से दूर की वस्तुओं को नहीं देख सकता है। यह दृश्य-स्तरीय समझ या द्वि-मैनुअल समन्वय की आवश्यकता वाले कार्यों के लिए उनकी प्रभावशीलता को सीमित करता है। द्वि-मैनुअल प्रणालियों के लिए, प्रत्येक हाथ को अपना स्वयं का कलाई कैमरा रखना चाहिए। अनुशंसित विशिष्टताएँ: 1080p या उच्चतर रिज़ॉल्यूशन, 60+ एफपीएस, तेज़ गति के दौरान गति धुंधलापन से बचने के लिए ग्लोबल शटर (रोलिंग शटर नहीं), और नज़दीकी सीमा पर ग्रैस्प संपर्क बिंदु के दृश्य को बनाए रखने के लिए एक वाइड-एंगल लेंस (90-110 डिग्री FOV)।

ओवरहेड कैमरे: कॉन्फ़िगरेशन और ट्रेडऑफ़

फिक्स्ड ओवरहेड कैमरे स्थिर, सुसंगत कार्यस्थल दृश्य प्रदान करते हैं जो पूर्ण हेरफेर दृश्य को कैप्चर करते हैं। वे हाथ की गति के प्रति कम संवेदनशील होते हैं और विभिन्न कार्यक्षेत्र क्षेत्रों में कई अनुक्रमिक चरणों की आवश्यकता वाले कार्यों के लिए बेहतर संदर्भ प्रदान करते हैं। ओवरहेड कैमरे को कई रोबोट स्टेशनों पर लगातार लगाना आसान होता है, जो बड़े पैमाने पर डेटा संग्रह अभियानों के लिए मायने रखता है।

हेरफेर संपर्क बिंदु पर सीमा कम हो गई है। टेबलटॉप कार्यस्थल पर नीचे की ओर देखने वाला 80 सेमी की ऊंचाई पर एक ओवरहेड कैमरा छोटी वस्तुओं पर ग्रिपर-ऑब्जेक्ट संपर्क ज्यामिति का विश्वसनीय रूप से निरीक्षण नहीं कर सकता है। यही कारण है कि उच्च-प्रदर्शन डेटा संग्रह सेटअप में ओवरहेड कैमरों को आमतौर पर कलाई कैमरों के साथ जोड़ा जाता है - ओवरहेड दृश्य कार्य संदर्भ और मोटे स्थिति प्रदान करता है, जबकि कलाई दृश्य बारीक हेरफेर विवरण प्रदान करता है।

रिज़ॉल्यूशन, फ़्रेम दर और सिंक्रोनाइज़ेशन

हेरफेर डेटा संग्रह के लिए, 30 एफपीएस पर 480पी-720पी प्रति कैमरा 2026 में अधिकांश अनुकरण सीखने की नीतियों के लिए पर्याप्त है। उच्च रिज़ॉल्यूशन (1080पी) ठीक स्थानिक भेदभाव की आवश्यकता वाले कार्यों पर प्रदर्शन में सुधार करता है। 30 एफपीएस से नीचे की फ़्रेम दर अस्थायी अलियासिंग का परिचय देती है जो तेज़ कार्यों पर नीति सीखने को ख़राब करती है। 60 एफपीएस से ऊपर की फ़्रेम दरें अधिकांश हेरफेर कार्यों के लिए कम रिटर्न प्रदान करती हैं और भंडारण आवश्यकताओं में उल्लेखनीय वृद्धि करती हैं।

मल्टी-कैमरा सिंक्रोनाइज़ेशन महत्वपूर्ण है और अक्सर उपेक्षित होता है। यदि कैमरे हार्डवेयर-सिंक्रनाइज़ नहीं हैं, तो डेटा लोडिंग के दौरान टाइम-स्टैंप संरेखण को सावधानीपूर्वक लागू किया जाना चाहिए। यहां तक ​​कि 33 एमएस इंटर-कैमरा ऑफसेट (30 एफपीएस पर एक फ्रेम) उन कार्यों के लिए प्रशिक्षण अस्थिरता पेश कर सकता है जहां कलाई और ओवरहेड दृश्य अस्थायी रूप से सुसंगत होना चाहिए। Intel RealSense D435 और D455 श्रृंखला एक सिंक केबल के माध्यम से हार्डवेयर सिंक्रोनाइज़ेशन का समर्थन करते हैं और सिंक्रोनाइज़्ड मल्टी-कैमरा सेटअप के लिए SVRC की पसंदीदा पसंद हैं।

गहराई वाले कैमरे

गहराई वाले कैमरे आरजीबी इमेजरी के अलावा प्रति-पिक्सेल दूरी माप प्रदान करते हैं, जो स्पष्ट स्टीरियो पुनर्निर्माण के बिना 3डी दृश्य को समझने में सक्षम बनाता है। Intel RealSense, Microsoft Azure Kinect और ZED कैमरे रोबोट डेटा संग्रह में सबसे अधिक उपयोग किए जाने वाले गहराई सेंसर हैं। गहराई की जानकारी उन कार्यों के लिए मूल्यवान है जहां वस्तु की ऊंचाई, आकार या 3डी स्थिति समझ योजना के लिए महत्वपूर्ण है, और उन नीतियों के लिए जो शुद्ध छवि इनपुट के बजाय बिंदु क्लाउड इनपुट का उपयोग करती हैं।

ट्रेडऑफ़: गहराई वाले कैमरे वजन, लागत और प्रसंस्करण भार जोड़ते हैं। कई अत्याधुनिक नकल सीखने के परिणाम शुद्ध आरजीबी कैमरों के साथ प्राप्त किए जाते हैं, जिससे पता चलता है कि गहराई हमेशा आवश्यक नहीं होती है। जब आपकी नीति वास्तुकला स्पष्ट रूप से 3 डी इनपुट से लाभान्वित होती है, जब कार्यों में महत्वपूर्ण गहराई भिन्नता (विभिन्न ऊंचाइयों की वस्तुओं को ढेर करना) शामिल होती है, या जब आपको परिवर्तनीय प्रकाश स्थितियों में मजबूत प्रदर्शन की आवश्यकता होती है (गहराई आरजीबी की तुलना में अधिक प्रकाश-अपरिवर्तनीय होती है) तो गहराई का उपयोग करें।

अंशांकन और एसवीआरसी का मल्टी-कैमरा मानक

डेटा संग्रह शुरू होने से पहले प्रत्येक कैमरे को कैलिब्रेट किया जाना चाहिए - आंतरिक अंशांकन (फोकल लंबाई, विरूपण गुणांक) और बाहरी अंशांकन (रोबोट बेस के सापेक्ष स्थिति और अभिविन्यास)। अंशांकन के लिए भौतिक चेकरबोर्ड लक्ष्य का उपयोग करें और कैमरे की किसी भी गतिविधि या समायोजन के बाद पुनः अंशांकन करें। प्रत्येक डेटासेट के साथ अंशांकन पैरामीटर को मेटाडेटा के रूप में संग्रहीत करें।

एसवीआरसी का डेटा संग्रह मानक एक निश्चित तीन-कैमरा कॉन्फ़िगरेशन का उपयोग करता है: प्रति हाथ एक कलाई कैमरा और प्रति स्टेशन एक कैलिब्रेटेड ओवरहेड कैमरा। भौतिक कैमरा माउंट हमारे मानकीकृत वर्कस्टेशन डिज़ाइन का हिस्सा हैं, जो हमारी सुविधा में लगातार प्लेसमेंट सुनिश्चित करते हैं। सभी अंशांकन पैरामीटर स्वचालित रूप से लॉग किए जाते हैं और डेटासेट निर्यात में शामिल किए जाते हैं। अपने स्वयं के डेटा संग्रह बुनियादी ढांचे की स्थापना करने वाली टीमों के लिए, एसवीआरसी कैमरा सेटअप परामर्श प्रदान करता है और प्री-कैलिब्रेटेड कैमरा असेंबली की आपूर्ति कर सकता है - हमसे संपर्क करें या हमारा देखें डेटा सेवा पृष्ठ जानकारी के लिए।