तंत्रिका प्रतिपादन: एनईआरएफ ताजी हवा में सैर करता है

Google रिसर्च और हार्वर्ड यूनिवर्सिटी के बीच एक सहयोग ने संपूर्ण दृश्यों का 360-डिग्री तंत्रिका वीडियो बनाने के लिए एक नई विधि विकसित की है तंत्रिका चमक क्षेत्र (एनईआरएफ)। नवीन दृष्टिकोण एनईआरएफ को बिना किसी प्रतिबंध के, किसी भी वातावरण में आकस्मिक अमूर्त उपयोग के करीब ले जाता है टेबलटॉप मॉडल or बंद आंतरिक परिदृश्य.

पूरे वीडियो के लिए लेख का अंत देखें। स्रोत: https://www.youtube.com/watch?v=YStDS2-Ln1s

Mip-NeRF 360 विस्तारित पृष्ठभूमि और आकाश जैसी 'अनंत' वस्तुओं को संभाल सकता है, क्योंकि, पिछले अधिकांश संस्करणों के विपरीत, यह प्रकाश किरणों की व्याख्या करने के तरीके पर सीमाएँ निर्धारित करता है और ध्यान की सीमाएँ बनाता है जो अन्यथा लंबे प्रशिक्षण समय को तर्कसंगत बनाती हैं। अधिक उदाहरणों और प्रक्रिया की विस्तृत जानकारी के लिए इस लेख के अंत में दिया गया नया वीडियो देखें।

RSI नया कागज शीर्षक है एमआईपी-एनईआरएफ 360: अनबाउंडेड एंटी-अलियास्ड न्यूरल रेडियंस फील्ड्स, और इसका नेतृत्व Google रिसर्च के वरिष्ठ स्टाफ रिसर्च वैज्ञानिक जॉन बैरन द्वारा किया जाता है।

इस सफलता को समझने के लिए, यह समझना आवश्यक है कि तंत्रिका विकिरण क्षेत्र-आधारित छवि संश्लेषण किस प्रकार कार्य करता है।

एनईआरएफ क्या है?

NeRF नेटवर्क को 'वीडियो' के संदर्भ में वर्णित करना समस्याग्रस्त है, क्योंकि यह पूरी तरह से 3D-प्राप्त के करीब है, लेकिन ऐ आधारित आभासी वातावरण, जहां एक दृश्य को एक साथ जोड़ने के लिए एकल फ़ोटो (वीडियो फ़्रेम सहित) के कई दृष्टिकोण का उपयोग किया जाता है, जो तकनीकी रूप से केवल मशीन लर्निंग एल्गोरिदम के अव्यक्त स्थान में मौजूद होता है - लेकिन जहां से इच्छानुसार असाधारण संख्या में दृष्टिकोण और वीडियो निकाले जा सकते हैं .

एकाधिक कैमरा कैप्चर बिंदुओं का चित्रण जो डेटा प्रदान करता है जिसे एनईआरएफ एक तंत्रिका दृश्य में इकट्ठा करता है (दाएं चित्र)।

योगदान देने वाली तस्वीरों से प्राप्त जानकारी को एक मैट्रिक्स में प्रशिक्षित किया जाता है जो पारंपरिक के समान होता है स्वर ग्रिड सीजीआई वर्कफ़्लोज़ में, 3डी स्पेस में प्रत्येक बिंदु एक मान के साथ समाप्त होता है, जिससे दृश्य नेविगेशन योग्य हो जाता है।

एक पारंपरिक वोक्सेल मैट्रिक्स पिक्सेल जानकारी (जो आम तौर पर 2डी संदर्भ में मौजूद होती है, जैसे जेपीईजी फ़ाइल का पिक्सेल ग्रिड) को त्रि-आयामी स्थान में रखता है। स्रोत: रिसर्चगेट

फोटो के बीच अंतरालीय स्थान की गणना करने के बाद (यदि आवश्यक हो), प्रत्येक योगदान देने वाले फोटो के प्रत्येक संभावित पिक्सेल का पथ प्रभावी रूप से 'रे-ट्रेस्ड' किया जाता है और एक रंग मान दिया जाता है, जिसमें पारदर्शिता मान भी शामिल होता है (जिसके बिना तंत्रिका मैट्रिक्स पूरी तरह से अपारदर्शी या पूरी तरह से खाली होगा)।

वोक्सेल ग्रिड की तरह, और भिन्न CGI-आधारित 3D निर्देशांक स्थान में, NeRF मैट्रिक्स में किसी 'बंद' वस्तु के 'आंतरिक' भाग का कोई अस्तित्व नहीं होता। आप चाहें तो CGI ड्रम किट को खोलकर उसके अंदर देख सकते हैं; लेकिन जहाँ तक NeRF का सवाल है, ड्रम किट का अस्तित्व तब समाप्त हो जाता है जब उसकी सतह का अपारदर्शिता मान '1' के बराबर हो जाता है।

पिक्सेल का व्यापक दृश्य

Mip-NeRF 360 का विस्तार है मार्च 2021 से शोध, जिसने प्रभावी रूप से संपूर्ण सुपरसैंपलिंग के बिना एनईआरएफ में कुशल एंटी-अलियासिंग पेश किया।

एनईआरएफ परंपरागत रूप से केवल एक पिक्सेल पथ की गणना करता है, जो इस तरह का उत्पादन करने के लिए इच्छुक है 'जैगीज़' जो आरंभिक इंटरनेट छवि प्रारूपों की विशेषता बताता है, साथ ही पहले के गेम सिस्टम. इन दांतेदार किनारों को विभिन्न तरीकों से हल किया गया था, जिसमें आमतौर पर आसन्न पिक्सेल का नमूना लेना और औसत प्रतिनिधित्व ढूंढना शामिल था।

क्योंकि पारंपरिक NeRF केवल एक पिक्सेल पथ का नमूना लेता है, Mip-NeRF ने एक 'शंक्वाकार' जलग्रहण क्षेत्र प्रस्तुत किया है, जो एक चौड़ी किरण वाली टॉर्च की तरह है, जो इसके बारे में पर्याप्त जानकारी प्रदान करता है। सटा हुआ बेहतर विवरण के साथ किफायती एंटीएलियासिंग उत्पन्न करने के लिए पिक्सेल।

Mip-NeRF द्वारा प्रयुक्त शंक्वाकार शंकु जलग्रहण को शंक्वाकार छिन्नकों (निचली छवि) में विभाजित किया जाता है, जिन्हें अस्पष्ट गॉसियन रिक्त स्थानों को बनाने के लिए आगे 'धुंधला' किया जाता है, जिनका उपयोग पिक्सेल की सटीकता और अलियासिंग की गणना करने के लिए किया जा सकता है। स्रोत: https://www.youtube.com/watch?v=EpH175PY1A0

मानक एनईआरएफ कार्यान्वयन में सुधार उल्लेखनीय था:

मार्च 2021 में जारी किया गया Mip-NeRF (दाएं), दांतेदार किनारों से बचने के लिए केवल पिक्सल को 'धुंधला' करने के बजाय, अधिक व्यापक लेकिन किफायती अलियासिंग पाइपलाइन के माध्यम से बेहतर विवरण प्रदान करता है। स्रोत: https://jonbarron.info/mipnerf/

एनईआरएफ अनबाउंडेड

मार्च पेपर ने असीमित वातावरण में एमआईपी-एनईआरएफ का उपयोग करने के संबंध में तीन समस्याओं को अनसुलझा छोड़ दिया, जिसमें आसमान सहित बहुत दूर की वस्तुएं शामिल हो सकती हैं। नया पेपर इसे लागू करके हल करता है कलमन-शैली मिप-एनईआरएफ गॉसियन के लिए ताना।

दूसरे, बड़े दृश्यों के लिए अधिक प्रसंस्करण शक्ति और विस्तारित प्रशिक्षण समय की आवश्यकता होती है, जिसे Mip-NeRF 360 एक छोटे 'प्रस्ताव' के साथ दृश्य ज्यामिति को 'आसवन' करके हल करता है मल्टी-लेयर परसेप्ट्रॉन (एमएलपी), जो एक बड़े मानक एनईआरएफ एमएलपी द्वारा अनुमानित ज्यामिति को प्री-बाउंड करता है। इससे प्रशिक्षण की गति तीन गुना बढ़ जाती है।

अंततः, बड़े दृश्य व्याख्या की गई ज्यामिति के विवेकीकरण को अस्पष्ट बना देते हैं, जिसके परिणामस्वरूप उस प्रकार की कलाकृतियाँ उत्पन्न होती हैं जिनसे गेमर्स परिचित हो सकते हैं जब गेम आउटपुट 'टियर' होता है। नया शोधपत्र Mip-NeRF किरण अंतरालों के लिए एक नया रेगुलेटर बनाकर इस समस्या का समाधान करता है।

दाईं ओर, हम इतने बड़े दृश्य को सीमित करने में कठिनाई के कारण मिप-एनईआरएफ में अवांछित कलाकृतियाँ देखते हैं। बाईं ओर, हम देखते हैं कि नए रेगुलराइज़र ने इन गड़बड़ियों को दूर करने के लिए दृश्य को काफी अच्छी तरह से अनुकूलित किया है।

नए पेपर के बारे में और अधिक जानने के लिए, नीचे दिया गया वीडियो देखें मार्च 2021 वीडियो परिचय मिप-एनईआरएफ को। आप चेक आउट करके एनईआरएफ अनुसंधान के बारे में और भी अधिक जानकारी प्राप्त कर सकते हैं हमारा अब तक का कवरेज.

मूल रूप से 25 नवंबर 2021 को प्रकाशित
21 दिसंबर 2021, दोपहर 12:25 बजे - मृत वीडियो बदला गया। – एम.ए