NeRF: ड्रोन को न्यूरल रेडिएंस वातावरण में प्रशिक्षित करना

स्टैनफोर्ड विश्वविद्यालय के शोधकर्ताओं ने ड्रोन को फोटोरियलिस्टिक और उच्च सटीक वातावरण में नेविगेट करने के लिए एक नया तरीका विकसित किया है, जो न्यूरल रेडिएंस फील्ड्स (NeRF) में हाल के रुझान का लाभ उठाता है।

ड्रोन को वर्चुअल वातावरण में प्रशिक्षित किया जा सकता है, जो वास्तविक स्थानों से सीधे मैप किया जा सकता है, बिना विशेष 3D दृश्य पुनर्निर्माण की आवश्यकता के। इस छवि में, हवा की बाधा को एक संभावित बाधा के रूप में जोड़ा गया है, और हम देख सकते हैं कि ड्रोन को अपने मार्ग से विचलित किया जा रहा है और अंतिम क्षण में एक संभावित बाधा से बचने के लिए मुआवजा दे रहा है। स्रोत: https://mikh3x4.github.io/nerf-navigation/

इस विधि से ड्रोन (या अन्य प्रकार के वस्तुओं) को वर्चुअल दृश्यों में इंटरैक्टिव प्रशिक्षण दिया जा सकता है, जो स्वचालित रूप से वॉल्यूम जानकारी (टकराव से बचने के लिए), वास्तविक जीवन की तस्वीरों से बनाई गई टेक्सचर (ड्रोन की छवि पहचान नेटवर्क को अधिक वास्तविक तरीके से प्रशिक्षित करने में मदद करने के लिए), और वास्तविक दुनिया की रोशनी (नेटवर्क में विभिन्न प्रकार की रोशनी की स्थितियों को प्रशिक्षित करने के लिए, ओवर-फिटिंग या ओवर-ऑप्टिमाइजेशन से बचने के लिए) शामिल हैं।

एक काउच-वस्तु एक जटिल वर्चुअल वातावरण में नेविगेट करती है, जो पारंपरिक एआर/वीआर कार्य प्रवाह में ज्यामिति कैप्चर और रीटेक्सचरिंग का उपयोग करके मैप करना बहुत मुश्किल होगा, लेकिन जो नेरफ से स्वचालित रूप से एक सीमित संख्या में फोटो से बनाया गया था। स्रोत: https://www.youtube.com/watch?v=5JjWpv9BaaE

आम तौर पर नेरफ कार्यान्वयन में ट्रेजेक्ट्री तंत्र नहीं होते हैं, क्योंकि नेरफ परियोजनाओं की अधिकांश संख्या ने पिछले 18 महीनों में अन्य चुनौतियों पर ध्यान केंद्रित किया है, जैसे कि दृश्य पुनर्जागरण, प्रतिबिंब रेंडरिंग, संयोजन और विभाजन कैप्चर किए गए तत्वों का। इसलिए, नए पत्र का प्राथमिक नवाचार नेरफ वातावरण को एक नेविगेट करने योग्य स्थान के रूप में लागू करना है, बिना व्यापक उपकरण और श्रमसाध्य प्रक्रियाओं के, जो 3डी वातावरण को सेंसर कैप्चर और सीजीआई पुनर्निर्माण के आधार पर मॉडल करने के लिए आवश्यक होगा।

नेरफ के रूप में वीआर/एआर

नया पत्र विजन-ओनली रोबोट नेविगेशन इन ए न्यूरल रेडिएंस वर्ल्ड है, और यह स्टैनफोर्ड विश्वविद्यालय के तीन विभागों के बीच एक सहयोग है: एयरोनॉटिक्स और एस्ट्रोनॉटिक्स, मैकेनिकल इंजीनियरिंग, और कंप्यूटर विज्ञान।

काम एक नेविगेशन फ्रेमवर्क प्रदान करता है जो एक रोबोट को एक पूर्व-प्रशिक्षित नेरफ वातावरण प्रदान करता है, जिसका आयतन घनत्व डिवाइस के लिए संभावित मार्गों को सीमित करता है। इसमें एक फिल्टर भी शामिल है जो अनुमान लगाता है कि रोबोट वर्चुअल वातावरण के अंदर कहां है, रोबोट के ऑन-बोर्ड आरजीबी कैमरे की छवि पहचान के आधार पर। इस तरह, एक ड्रोन या रोबोट को अधिक सटीक रूप से अनुमान लगाने में सक्षम किया जा सकता है कि वह एक दिए गए वातावरण में क्या देख सकता है।

परियोजना के ट्रेजेक्ट्री ऑप्टिमाइज़र एक नेरफ मॉडल के माध्यम से नेविगेट करता है जो स्टोनहेंज का है, जो फोटोग्रामेट्री और छवि व्याख्या (इस मामले में, मेश मॉडल) के माध्यम से एक न्यूरल रेडिएंस वातावरण में बनाया गया था। ट्रेजेक्ट्री प्लानर आर्च के ऊपर एक ऑप्टिमल ट्रेजेक्ट्री स्थापित करने से पहले संभावित मार्गों की संख्या की गणना करता है।

क्योंकि एक नेरफ वातावरण में पूरी तरह से मॉडल किए गए ऑक्लूजन होते हैं, ड्रोन को अधिक आसानी से बाधाओं की गणना करने में सक्षम किया जा सकता है, क्योंकि नेरफ के पीछे का न्यूरल नेटवर्क ऑक्लूजन और ड्रोन के ऑन-बोर्ड विजन-आधारित नेविगेशन सिस्टम द्वारा वातावरण की धारणा के बीच संबंध को मैप कर सकता है। स्वचालित नेरफ जेनरेशन पाइपलाइन हाइपर-वास्तविक प्रशिक्षण स्थान बनाने के लिए एक अपेक्षाकृत सरल विधि प्रदान करती है, केवल कुछ फोटो के साथ।

स्टैनफोर्ड परियोजना के लिए विकसित ऑनलाइन रीप्लानिंग फ्रेमवर्क एक लचीला और पूरी तरह से दृश्य-आधारित नेविगेशन पाइपलाइन को सुविधाजनक बनाता है।

स्टैनफोर्ड पहली पहलों में से एक है जो नेरफ स्थान की खोज की संभावनाओं पर विचार करता है, एक नेविगेट करने योग्य और इमर्सिव वीआर-शैली के वातावरण के संदर्भ में। न्यूरल रेडिएंस फील्ड्स एक उभरती हुई तकनीक है, और वर्तमान में कई अकादमिक प्रयासों के अधीन हैं जो उनकी उच्च कंप्यूटिंग संसाधन आवश्यकताओं को अनुकूलित करने और कैप्चर किए गए तत्वों को विभाजित करने के लिए।

नेरफ वास्तव में सीजीआई नहीं है

क्योंकि एक नेरफ वातावरण एक नेविगेट करने योग्य 3डी दृश्य है, यह एक गलत समझी जाने वाली तकनीक बन गई है since इसके उदय के बाद से 2020 में, अक्सर व्यापक रूप से एक ऐसी विधि के रूप में माना जाता है जो ज्यामिति और टेक्सचर के निर्माण को स्वचालित करती है, न कि 3डी वातावरण को प्रतिस्थापित करने के लिए जो हॉलीवुड वीएफएक्स विभागों और ऑगमेंटेड रियलिटी और वर्चुअल रियलिटी वातावरण के कल्पनाशील दृश्यों से परिचित हैं।

नेरफ ज्यामिति और टेक्सचर जानकारी को एक सीमित संख्या में छवि दृष्टिकोण से निकालता है, जो छवियों के बीच के अंतर को वॉल्यूम जानकारी के रूप में गणना करता है। स्रोत: https://www.matthewtancik.com/nerf

वास्तव में, नेरफ वातावरण एक ‘लाइव’ रेंडर स्पेस की तरह है, जहां पिक्सेल और प्रकाश जानकारी का एक संयोजन संरक्षित और नेविगेट किया जाता है एक सक्रिय और चल रहे न्यूरल नेटवर्क में।

नेरफ की क्षमता की कुंजी यह है कि यह केवल एक सीमित संख्या में छवियों की आवश्यकता होती है ताकि वातावरण को पुनर्निर्मित किया जा सके, और उत्पन्न वातावरण में उच्च-विश्वसनीयता पुनर्निर्माण के लिए आवश्यक सभी जानकारी शामिल है, मॉडलर, टेक्सचर कलाकार, प्रकाश विशेषज्ञ और ‘पारंपरिक’ सीजीआई में योगदान करने वाले अन्य योगदानकर्ताओं की सेवाओं की आवश्यकता के बिना।

सेमेंटिक सेगमेंटेशन

यहां तक कि अगर नेरफ प्रभावी रूप से ‘कंप्यूटर-जेनरेटेड इमेजरी’ (सीजीआई) का गठन करता है, तो यह एक完全 अलग विधि प्रदान करता है, और एक उच्च स्वचालित पाइपलाइन। इसके अलावा, नेरफ दृश्य के चलती हुए भागों को अलग और ‘एनकैप्सुलेट’ कर सकता है, ताकि वे जोड़े, हटाए, तेज या धीमे किए जा सकें, और एक वर्चुअल वातावरण में विभिन्न पहलुओं के रूप में कार्य कर सकें – एक क्षमता जो वर्तमान में ‘हॉलीवुड’ के सीजीआई की व्याख्या से बहुत आगे है।

शंघाई टेक यूनिवर्सिटी से एक सहयोग, जो 2021 के ग्रीष्म में जारी किया गया था, एक विधि प्रदान करता है जो चलती हुई नेरफ तत्वों को दृश्य के लिए ‘पेस्टेबल’ पहलुओं में विभाजित करता है। स्रोत: https://www.youtube.com/watch?v=Wp4HfOwFGP4

नकारात्मक रूप से, नेरफ का आर्किटेक्चर एक ‘ब्लैक बॉक्स’ की तरह है; यह वर्तमान में संभव नहीं है कि नेरफ वातावरण से एक वस्तु को निकालें और पारंपरिक मेश-आधारित और छवि-आधारित उपकरणों के साथ सीधे मानिपुलेट करें, हालांकि कई शोध प्रयास नेरफ के न्यूरल नेटवर्क लाइव रेंडर वातावरण के पीछे के मैट्रिक्स को विभाजित करने में सफलता प्राप्त करने के लिए शुरू हो रहे हैं।