न्यूरल रेंडरिंग: नेर्फ ताजी हवा में चलता है

गूगल रिसर्च और हार्वर्ड विश्वविद्यालय के बीच एक सहयोग ने न्यूरल रेडिएंस फील्ड्स (नेर्फ) का उपयोग करके पूरे दृश्यों के 360-डिग्री न्यूरल वीडियो बनाने के लिए एक नई विधि विकसित की है। यह नया दृष्टिकोण नेर्फ को किसी भी वातावरण में आकस्मिक अमूर्त उपयोग के लिए एक कदम और करीब ले जाता है, बिना टेबलटॉप मॉडल या बंद इंटीरियर दृश्यों तक सीमित हुए।

लेख के अंत में पूरा वीडियो देखें। स्रोत: https://www.youtube.com/watch?v=YStDS2-Ln1s

मिप-नेर्फ 360 विस्तारित पृष्ठभूमि और ‘अनंत’ वस्तुओं जैसे आकाश को संभाल सकता है, क्योंकि यह अधिकांश पिछले संस्करणों के विपरीत, प्रकाश किरणों की व्याख्या के तरीके पर सीमाएं निर्धारित करता है और ध्यान की सीमाएं बनाता है जो अन्यथा लंबे प्रशिक्षण समय को तर्कसंगत बनाता है। इस लेख के अंत में एम्बेडेड नए साथी वीडियो को अधिक उदाहरणों और प्रक्रिया में विस्तार से जानकारी के लिए देखें।

नया शोध पत्र मिप-नेर्फ 360: अनबाउंडेड एंटी-अलियास्ड न्यूरल रेडिएंस फील्ड्स है, और इसका नेतृत्व गूगल रिसर्च के वरिष्ठ स्टाफ रिसर्च वैज्ञानिक जॉन बैरन ने किया है।

इस सफलता को समझने के लिए, न्यूरल रेडिएंस फील्ड-आधारित छवि संश्लेषण कार्य कैसे करता है, इसकी एक मूलभूत समझ होना आवश्यक है।

नेर्फ क्या है?

नेर्फ नेटवर्क को ‘वीडियो’ के रूप में वर्णित करना मुश्किल है, क्योंकि यह एक पूरी तरह से 3डी-वास्तविक किए गए लेकिन एआई-आधारित आभासी वातावरण के करीब है, जहां एकल फोटो (वीडियो फ्रेम सहित) से कई दृष्टिकोण एक दृश्य को एक साथ जोड़ने के लिए उपयोग किए जाते हैं जो तकनीकी रूप से केवल एक मशीन लर्निंग एल्गोरिदम के लेटेंट स्पेस में मौजूद होता है – लेकिन जिससे इच्छानुसार कई दृष्टिकोण और वीडियो निकाले जा सकते हैं।

नेर्फ द्वारा एक न्यूरल दृश्य (दाएं चित्र में) में डेटा को इकट्ठा करने वाले कई कैमरा कैप्चर बिंदुओं का एक चित्रण।[/em>

योगदान करने वाली तस्वीरों से प्राप्त जानकारी को एक मैट्रिक्स में प्रशिक्षित किया जाता है जो पारंपरिक वोक्सेल ग्रिड के समान होता है सीजीआई वर्कफ्लो में, जहां 3डी स्पेस में प्रत्येक बिंदु का एक मान होता है, जिससे दृश्य नेविगेट किया जा सकता है।

एक पारंपरिक वोक्सेल मैट्रिक्स 2डी संदर्भ (जैसे जेपीईजी फ़ाइल का पिक्सेल ग्रिड) में मौजूद पिक्सेल जानकारी को त्रि-आयामी स्थान में रखता है।[/em>

फोटो के बीच के अंतराल की गणना करने के बाद (यदि आवश्यक हो), प्रत्येक योगदान करने वाली तस्वीर के प्रत्येक संभावित पिक्सेल का मार्ग प्रभावी रूप से ‘रे-ट्रेस्ड’ होता है और एक रंग मान सौंपा जाता है, जिसमें एक पारदर्शिता मान (जिसके बिना न्यूरल मैट्रिक्स पूरी तरह से अपारदर्शी या खाली होगा) शामिल है।

जैसे वोक्सेल ग्रिड, और सीजीआई-आधारित 3डी समन्वय स्थान के विपरीत, एक ‘बंद’ वस्तु का ‘अंदर’ एक नेर्फ मैट्रिक्स में कोई अस्तित्व नहीं है। आप एक सीजीआई ड्रम किट को खोल सकते हैं और अंदर देख सकते हैं; लेकिन नेर्फ के लिए, ड्रम किट का अस्तित्व तब समाप्त हो जाता है जब इसकी सतह का अपारदर्शिता मान ‘1’ होता है।

एक पिक्सेल का व्यापक दृश्य

मिप-नेर्फ 360 मार्च 2021 से शोध का एक विस्तार है, जिसने प्रभावी रूप से नेर्फ में कुशल एंटी-अलियासिंग की शुरुआत की थी, बिना थकाऊ सुपरसैंपलिंग के।

नेर्फ पारंपरिक रूप से केवल एक पिक्सेल पथ की गणना करता है, जो प्रारंभिक इंटरनेट छवि प्रारूपों और पूर्व गेम सिस्टम की विशेषता वाले ‘जैगीज’ का उत्पादन करने के लिए प्रवण होता है। इन खुरदुरे किनारों को विभिन्न तरीकों से हल किया गया था, जिनमें से अधिकांश आसपास के पिक्सेल को नमूना लेना और एक औसत प्रतिनिधित्व खोजना शामिल था।

चूंकि पारंपरिक नेर्फ केवल उस एक पिक्सेल पथ का नमूना लेता है, मिप-नेर्फ ने एक ‘कोनिक’ कैचमेंट क्षेत्र पेश किया, जो एक वाइड-बीम टॉर्च की तरह है, जो संबंधित पिक्सेल के बारे में पर्याप्त जानकारी प्रदान करता है ताकि विवरण में सुधार के साथ आर्थिक एंटी-अलियासिंग का उत्पादन किया जा सके।

मिप-नेर्फ द्वारा उपयोग किए जाने वाले शंक्वाकार कैचमेंट को शंक्वाकार फ्रस्टम (नीचे की छवि) में काटा जाता है, जिसे आगे ‘ब्लर’ किया जाता है ताकि एक अस्पष्ट गॉसियन स्पेस बनाया जा सके जिसका उपयोग पिक्सेल की सटीकता और अलियासिंग की गणना के लिए किया जा सकता है।[/em>

मानक नेर्फ कार्यान्वयन पर सुधार उल्लेखनीय था:

मिप-नेर्फ (दाएं), मार्च 2021 में जारी, एक अधिक व्यापक लेकिन आर्थिक एंटी-अलियासिंग पाइपलाइन के माध्यम से विवरण में सुधार प्रदान करता है, न कि केवल खुरदुरे किनारों से बचने के लिए पिक्सेल को ‘ब्लर’ करने के लिए।[/em>

नेर्फ अनबाउंडेड

मार्च के शोध पत्र ने मिप-नेर्फ को अनबाउंडेड वातावरण में उपयोग करने के साथ तीन समस्याओं को हल नहीं किया था, जो बहुत दूर की वस्तुओं, जैसे आकाश, को शामिल कर सकते हैं। नया शोध पत्र इन समस्याओं का समाधान मिप-नेर्फ गॉसियन्स पर एक कलमैन-शैली के वार्प को लागू करके करता है।

दूसरा, बड़े दृश्य अधिक प्रसंस्करण शक्ति और विस्तारित प्रशिक्षण समय की आवश्यकता होती है, जिसे मिप-नेर्फ 360 एक छोटे ‘प्रस्ताव’ मल्टी-लेयर परसेप्ट्रॉन (एमएलपी) के साथ हल करता है, जो एक बड़े मानक नेर्फ एमएलपी द्वारा भविष्य की ज्यामिति को पूर्व-निर्धारित करता है। इससे प्रशिक्षण तीन गुना तेज हो जाता है।

अंत में, बड़े दृश्य अक्सर व्याख्या की गई ज्यामिति के डिस्क्रिटाइजेशन को अस्पष्ट बना देते हैं, जिसके परिणामस्वरूप गेमर्स को ‘टियर’ जैसे आर्टिफैक्ट्स का सामना करना पड़ सकता है। नया शोध पत्र मिप-नेर्फ रे अंतराल के लिए एक नया नियमनकर्ता बनाकर इस समस्या का समाधान करता है।

दाएं, हम मिप-नेर्फ में एक बड़े दृश्य को बाउंड करने में कठिनाई के कारण अवांछित आर्टिफैक्ट देखते हैं। बाएं, हम देखते हैं कि नया नियमनकर्ता पर्याप्त रूप से दृश्य को अनुकूलित करता है ताकि इन विक्षोभों को दूर किया जा सके।[/em>

नया शोध पत्र के बारे में अधिक जानने के लिए, नीचे दिए गए वीडियो को देखें, और मार्च 2021 वीडियो परिचय को भी मिप-नेर्फ के बारे में जानें। आप हमारे कवरेज को देखकर नेर्फ शोध के बारे में अधिक जान सकते हैं।

मूल रूप से 25 नवंबर 2021 को प्रकाशित
21 दिसंबर 2021, 12:25 pm – मृत वीडियो को बदल दिया। – एमए