रोबोट्स को टूल्स के बारे में सिखाने के लिए न्यूरल रेडिएंस फील्ड्स (NeRF)

मिशिगन विश्वविद्यालय के नए शोध में एक तरीका प्रस्तुत किया गया है जिससे रोबोट्स वास्तविक दुनिया के जोड़ वाले वस्तुओं की कार्य प्रणाली को समझ सकते हैं, न्यूरल रेडिएंस फील्ड्स (NeRF) वस्तुओं का निर्माण करके जो उनकी गति को प्रदर्शित करते हैं, जिससे रोबोट उन्हें बिना किसी परेशानी के उपयोग कर सकते हैं।

टूल्स (या किसी भी वस्तु) की आंतरिक गति के लिए ज्ञात संदर्भों का उपयोग करके, NARF22 एक फोटोरियलिस्टिक अनुमान प्रदान कर सकता है जो वस्तु की गति और संचालन को प्रदर्शित करता है। स्रोत: https://progress.eecs.umich.edu/projects/narf/

जो रोबोट्स को केवल पैदल यात्रियों से बचने या जटिल पूर्व-प्रोग्राम किए गए दिनचर्या (जिसके लिए गैर-पुनर्नवीनीकरण डेटासेट को संभवतः लेबल और प्रशिक्षित किया गया है) से अधिक करने की आवश्यकता होती है, उन्हें इस तरह की अनुकूलन क्षमता की आवश्यकता होती है ताकि वे हमारे साथ मिलने वाली सामग्री और वस्तुओं के साथ काम कर सकें।

अब तक, रोबोटिक प्रणालियों में इस तरह की बहुमुखी प्रतिभा को प्रदान करने में कई बाधाएं आई हैं। इनमें लागू डेटासेट की कमी, जिनमें से अधिकांश में वस्तुओं की संख्या बहुत सीमित है; फोटोरियलिस्टिक, मेश-आधारित 3डी मॉडल तैयार करने में शामिल व्यय, जो रोबोट्स को वास्तविक दुनिया में साधन की क्षमता सीखने में मदद कर सकते हैं; और ऐसे डेटासेट की गैर-फोटोरियलिस्टिक गुणवत्ता, जो वस्तुओं को रोबोट द्वारा देखी जाने वाली दुनिया से अलग दिखाती है, और रोबोट को एक कार्टून जैसी वस्तु की तलाश करने के लिए प्रशिक्षित करती है जो वास्तविकता में कभी नहीं दिखाई देगी।

इसे संबोधित करने के लिए, मिशिगन के शोधकर्ताओं ने, जिनका पत्र NARF22: न्यूरल आर्टिकुलेटेड रेडिएंस फील्ड्स फॉर कॉन्फ़िगरेशन-एवेयर रेंडरिंग शीर्षक से है, एक दो-चरण पाइपलाइन विकसित की है जो न्यूरफ़-आधारित जोड़ वाले वस्तुओं को उत्पन्न करती है जो ‘वास्तविक दुनिया’ की उपस्थिति रखते हैं और जिनमें किसी भी जोड़ वाले वस्तु की गति और सीमाओं को शामिल किया जाता है।

हालांकि यह अधिक जटिल दिखता है, NARF22 पाइपलाइन के दो मूल चरण गतिशील टूल्स के स्थिर भागों को रेंडर करना और फिर इन तत्वों को एक दूसरे डेटासेट में संयोजित करना है जो उनके बीच गति के पैरामीटर के बारे में सूचित है। स्रोत: https://arxiv.org/pdf/2210.01166.pdf

सिस्टम को न्यूरल आर्टिकुलेटेड रेडिएंस फील्ड कहा जाता है – या NARF22, जो इसे एक अन्य समान नाम वाली परियोजना से अलग करता है।

NARF22

किसी अज्ञात वस्तु के जोड़ वाले होने की संभावना का निर्धारण करने के लिए मानव-शैली के पूर्व ज्ञान की आवश्यकता होती है। उदाहरण के लिए, यदि आपने पहले कभी बंद ड्रॉअर नहीं देखा है, तो यह किसी अन्य प्रकार के सजावटी पैनलिंग जैसा दिख सकता है – यह तब तक नहीं है जब तक आप वास्तव में एक खोलते हैं और ‘ड्रॉअर’ को एक जोड़ वाले वस्तु के रूप में आत्मसात करते हैं जिसमें एक अक्ष की गति (आगे और पीछे) होती है।

इसलिए, NARF22 का उद्देश्य एक अन्वेषण प्रणाली के रूप में नहीं है जो वस्तुओं को उठाकर देखती है कि क्या उनमें क्रियाशील गतिशील भाग हैं – जो लगभग सिमियन व्यवहार होगा जिसमें कई संभावित आपदाजनक परिदृश्य शामिल होंगे। इसके बजाय, फ्रेमवर्क यूनिवर्सल रोबोट डिस्क्रिप्शन फॉर्मेट (URDF) में उपलब्ध ज्ञान पर आधारित है – एक ओपन-सोर्स XML-आधारित प्रारूप जो व्यापक रूप से लागू और इस कार्य के लिए उपयुक्त है। एक URDF फ़ाइल में वस्तु के हिस्सों की गति के पैरामीटर और विवरण सहित वस्तु के हिस्सों के बारे में जानकारी शामिल होगी।

पारंपरिक पाइपलाइन में, वस्तु की जोड़ वाली क्षमताओं का वर्णन करना और संबंधित जोड़ मूल्यों को लेबल करना आवश्यक है। यह एक सस्ता या आसानी से स्केलेबल कार्य नहीं है। इसके बजाय, NaRF22 वर्कफ़्लो वस्तु के व्यक्तिगत घटकों को URDF द्वारा प्रदान किए गए गति पैरामीटर के साथ जोड़ वाले न्यूरफ़-आधारित प्रतिनिधित्व में एकत्रित करने से पहले वस्तु के व्यक्तिगत घटकों को रेंडर करता है।

प्रक्रिया के दूसरे चरण में, एक पूरी तरह से नया रेंडरर बनाया जाता है जो सभी भागों को शामिल करता है। हालांकि यह पहले चरण में व्यक्तिगत भागों को संयोजित करना और इस बाद के चरण को छोड़ना आसान हो सकता है, शोधकर्ताओं का观察 है कि अंतिम मॉडल – जो एक NVIDIA RTX 3080 GPU के तहत एक AMD 5600X CPU पर प्रशिक्षित किया गया था – बैकप्रोपेगेशन के दौरान कम गणनात्मक मांगों के साथ है।

इसके अतिरिक्त, दूसरे चरण का मॉडल एक संयुक्त, ‘ब्रूट-फोर्स्ड’ असेंबली की तुलना में दोगुनी गति से चलता है, और जो द्वितीयक अनुप्रयोग जो मॉडल के स्थिर भागों के बारे में जानकारी का उपयोग करने की आवश्यकता हो सकती है, उन्हें URDF जानकारी तक अपनी पहुंच की आवश्यकता नहीं होगी, क्योंकि यह पहले से ही अंतिम चरण के रेंडरर में शामिल किया गया है।

डेटा और प्रयोग

शोधकर्ताओं ने NARF22 का परीक्षण करने के लिए कई प्रयोग किए: एक वस्तु की कॉन्फ़िगरेशन और मुद्रा के लिए गुणात्मक रेंडरिंग का मूल्यांकन करने के लिए; एक मात्रात्मक परीक्षण जो रेंडर किए गए परिणामों की तुलना वास्तविक दुनिया के रोबोट द्वारा देखे गए समान दृश्यों से करता है; और एक प्रदर्शन जो NARF22 का उपयोग करके स्थिति अनुमान और 6 डीओएफ (गहराई क्षेत्र) सुधार चुनौती को पूरा करता है जो ग्रेडिएंट-आधारित अनुकूलन करता है।

प्रशिक्षण डेटा प्रोग्रेस टूल्स डेटासेट से लिया गया था, जो पहले के कुछ लेखकों द्वारा एक पहले के पत्र से था। प्रोग्रेस टूल्स में लगभग छह हज़ार आरजीबी-डी (यानी, गहराई जानकारी सहित, जो रोबोटिक्स दृष्टि के लिए आवश्यक है) छवियाँ 640×480 रिज़ॉल्यूशन पर हैं। उपयोग किए गए दृश्यों में आठ हाथ टूल्स शामिल थे, जिन्हें उनके घटक भागों में विभाजित किया गया था, जिसमें मेश मॉडल और वस्तुओं के काइनेमैटिक गुणों (यानी, वे कैसे डिज़ाइन किए गए हैं और उनकी गति के पैरामीटर) की जानकारी शामिल थी।

प्रोग्रेस टूल्स डेटासेट में चार जोड़ वाले टूल्स हैं। ऊपर दी गई छवियाँ NARF22 से न्यूरफ़-आधारित रेंडर हैं।

इस प्रयोग के लिए, एक अंतिम कॉन्फ़िगरेबल मॉडल को केवल लाइनमेन के प्लायर्स, लंबे नाक वाले प्लायर्स और एक क्लैंप (ऊपर दी गई छवि देखें) का उपयोग करके प्रशिक्षित किया गया था। प्रशिक्षण डेटा में क्लैंप की एक कॉन्फ़िगरेशन और प्रत्येक प्लायर्स के लिए एक शामिल थी।

NARF22 का कार्यान्वयन फास्टनेर्फ पर आधारित है, जिसमें टूल्स के संयुक्त और स्थानिक-एन्कोडेड मुद्रा पर केंद्रित इनपुट पैरामीटर शामिल हैं। फास्टनेर्फ में एक फैक्टराइज्ड मल्टीलेयर परसेप्ट्रॉन (एमएलपी) जोड़ा जाता है जो एक वोक्सेलाइज्ड सैंपलिंग तंत्र के साथ जुड़ा होता है (वोक्सेल मूल रूप से पिक्सेल होते हैं, लेकिन पूर्ण 3डी निर्देशांक के साथ, ताकि वे तीन-आयामी स्थान में काम कर सकें।)

गुणात्मक परीक्षण के लिए, शोधकर्ताओं का निरीक्षण है कि क्लैंप के कुछ आवरण भाग हैं (यानी, केंद्रीय रीढ़, जो वस्तु को देखकर ज्ञात या अनुमानित नहीं किया जा सकता है, लेकिन केवल वस्तु के साथ बातचीत करके ही ज्ञात किया जा सकता है, और प्रणाली इस ‘अज्ञात’ ज्यामिति को बनाने में कठिनाई का सामना करती है।

गुणात्मक रेंडरिंग्स ऑफ टूल्स।

इसके विपरीत, प्लायर्स ने नए कॉन्फ़िगरेशन (यानी, उनके हिस्सों के विस्तार और गति) में अच्छी तरह से सामान्यीकरण किया, जो URDF पैरामीटर के भीतर थे लेकिन स्पष्ट रूप से प्रशिक्षण सामग्री में संबोधित नहीं किए गए थे।

शोधकर्ताओं का निरीक्षण है कि प्लायर्स के लिए लेबलिंग त्रुटियों ने टूल्स के बहुत विस्तृत सिरों के लिए रेंडरिंग की गुणवत्ता को कम कर दिया, जिससे रेंडरिंग प्रभावित हुई – एक समस्या जो कंप्यूटर विजन शोध क्षेत्र में लेबलिंग लॉजिस्टिक्स, बजट और सटीकता के चारों ओर व्यापक चिंताओं से संबंधित है, न कि NARF22 पाइपलाइन में किसी प्रक्रियात्मक कमी के कारण।

रेंडर सटीकता परीक्षण के परिणाम।

कॉन्फ़िगरेशन अनुमान परीक्षण के लिए, शोधकर्ताओं ने एक ‘कठोर’ मुद्रा से मुद्रा सुधार और कॉन्फ़िगरेशन अनुमान किया, जिसमें फास्टनेर्फ द्वारा उपयोग किए जाने वाले कैशिंग या अन्य त्वरक कार्यों से बचा जाता है।

उन्होंने प्रोग्रेस टूल्स के परीक्षण सेट से 17 अच्छी तरह से क्रमबद्ध दृश्यों को प्रशिक्षित किया, जिन्हें प्रशिक्षण के दौरान अलग रखा गया था, और एडम ऑप्टिमाइज़र के तहत 150 पुनरावृत्तियों के माध्यम से ग्रेडिएंट डिसेंट ऑप्टिमाइजेशन चलाया। इस प्रक्रिया ने शोधकर्ताओं के अनुसार ‘बहुत अच्छी तरह से’ कॉन्फ़िगरेशन अनुमान को पुनर्प्राप्त किया।

कॉन्फ़िगरेशन अनुमान परीक्षण के परिणाम।

पहली बार 5 अक्टूबर 2022 को प्रकाशित।