न्यूरल रेंडरिंग: NeRF ताजी हवा में चलता है

गूगल रिसर्च और हार्वर्ड विश्वविद्यालय के बीच एक सहयोग ने न्यूरल रेडियंस फील्ड्स (NeRF) का उपयोग करके पूरे दृश्य का 360-डिग्री न्यूरल वीडियो बनाने के लिए एक नए तरीके का विकास किया है। यह नए दृष्टिकोण NeRF को किसी भी वातावरण में आकस्मिक अमूर्त उपयोग के लिए एक कदम और करीब ले जाता है, बिना टेबलटॉप मॉडल या बंद इंटीरियर दृश्यों तक सीमित हुए।

लेख के अंत में पूरा वीडियो देखें। स्रोत: https://www.youtube.com/watch?v=YStDS2-Ln1s

Mip-NeRF 360 विस्तारित पृष्ठभूमि और ‘अनंत’ वस्तुओं जैसे आकाश को संभाल सकता है, क्योंकि यह पिछले अधिकांश पिछले संस्करणों के विपरीत, प्रकाश किरणों की व्याख्या के तरीके पर सीमाएं निर्धारित करता है और ध्यान की सीमाएं बनाता है जो अन्यथा लंबे प्रशिक्षण समय को तर्कसंगत बनाती हैं। इस लेख के अंत में एम्बेडेड नए वीडियो को देखें और प्रक्रिया में विस्तार से जानकारी प्राप्त करें।

नया शोध पत्र Mip-NeRF 360: Unbounded Anti-Aliased Neural Radiance Fields नामक है, और इसका नेतृत्व गूगल रिसर्च के वरिष्ठ स्टाफ रिसर्च वैज्ञानिक जॉन बैरन ने किया है।

न्यूरल रेडियंस फील्ड-आधारित छवि संश्लेषण कार्य करने के तरीके की मूल बातों को समझने के लिए यह आवश्यक है।

NeRF क्या है?

एक NeRF नेटवर्क को ‘वीडियो’ के रूप में वर्णित करना मुश्किल है, क्योंकि यह एक पूरी तरह से 3D-वास्तविक किए गए लेकिन एआई-आधारित आभासी वातावरण के करीब है, जहां एकल फोटो (वीडियो फ्रेम सहित) से कई दृष्टिकोण एक दृश्य में जोड़ दिया जाता है जो तकनीकी रूप से केवल एक मशीन लर्निंग अल्गोरिदम के लेटेंट स्पेस में मौजूद होता है – लेकिन जिससे कई दृष्टिकोण और वीडियो निकाले जा सकते हैं।

एक दृश्य में डेटा प्रदान करने वाले कई कैमरा कैप्चर बिंदुओं का एक चित्रण (दाएं चित्र में दिखाया गया है).

योगदान करने वाली तस्वीरों से प्राप्त जानकारी को एक मैट्रिक्स में प्रशिक्षित किया जाता है जो पारंपरिक वोक्सेल ग्रिड के समान होता है, जिसमें 3D स्पेस में हर बिंदु पर एक मान होता है, जिससे दृश्य नेविगेट किया जा सकता है।

एक पारंपरिक वोक्सेल मैट्रिक्स पिक्सेल जानकारी (जो आमतौर पर 2D संदर्भ में मौजूद होती है, जैसे कि जेपीईजी फ़ाइल के पिक्सेल ग्रिड में) को त्रि-आयामी स्थान में रखता है। स्रोत: ResearchGate

तस्वीरों के बीच के अंतराल की गणना करने के बाद (यदि आवश्यक हो), प्रत्येक योगदान करने वाली तस्वीर के प्रत्येक संभावित पिक्सेल का मार्ग प्रभावी रूप से ‘रे-ट्रेस्ड’ होता है और एक रंग मान सौंपा जाता है, जिसमें एक पारदर्शिता मान (जिसके बिना न्यूरल मैट्रिक्स पूरी तरह से अपारदर्शी या पूरी तरह से खाली होगी) शामिल होता है।

जैसे वोक्सेल ग्रिड, और सीजीआई-आधारित 3D समन्वय स्थान के विपरीत, एक ‘बंद’ वस्तु का ‘अंदर’ एक NeRF मैट्रिक्स में मौजूद नहीं है। आप एक सीजीआई ड्रम किट को खोल सकते हैं और अंदर देख सकते हैं; लेकिन जैसा कि NeRF के लिए है, वस्तु का अस्तित्व तब समाप्त हो जाता है जब उसकी सतह का अपारदर्शिता मान ‘1’ होता है।

एक पिक्सेल का व्यापक दृश्य

Mip-NeRF 360 मार्च 2021 से शोध का एक विस्तार है, जिसने NeRF में कुशल एंटी-एलियासिंग को पेश किया था बिना थकाऊ सुपरसैंपलिंग के।

NeRF पारंपरिक रूप से केवल एक पिक्सेल पथ की गणना करता है, जो अक्सर जैग्डेज का कारण बनता है जो पहले के इंटरनेट छवि प्रारूपों और पुराने गेम सिस्टम की विशेषता है। इन जागged किनारों को आमतौर पर आसपास के पिक्सेल को नमूना लेकर और एक औसत प्रतिनिधित्व खोजने से हल किया जाता था।

चूंकि पारंपरिक NeRF केवल एक पिक्सेल पथ का नमूना लेता है, Mip-NeRF ने एक ‘कोनिक’ कैचमेंट क्षेत्र पेश किया, जो एक वाइड-बीम टॉर्च की तरह है, जो आसपास के पिक्सेल के बारे में पर्याप्त जानकारी प्रदान करता है ताकि आर्थिक एंटी-एलियासिंग के साथ विस्तार से उत्पादन किया जा सके।

Mip-NeRF द्वारा उपयोग किए जाने वाले कोनिक कैचमेंट को नीचे कोनिक फ्रस्टम में काटा जाता है, जो आगे एक अस्पष्ट गॉसियन स्पेस बनाने के लिए ‘ब्लर’ किया जाता है जो एक पिक्सेल की सटीकता और एंटी-एलियासिंग की गणना के लिए उपयोग किया जा सकता है। स्रोत: https://www.youtube.com/watch?v=EpH175PY1A0

मानक NeRF की तुलना में सुधार उल्लेखनीय था:

Mip-NeRF (दाएं), मार्च 2021 में जारी, एक अधिक व्यापक लेकिन आर्थिक एंटी-एलियासिंग पाइपलाइन के माध्यम से विस्तार से सुधार प्रदान करता है, न कि केवल पिक्सेल को ‘ब्लर’ करने के लिए जागged किनारों से बचने के लिए। स्रोत: https://jonbarron.info/mipnerf/

NeRF अनबाउंड

मार्च के पत्र ने तीन समस्याओं को हल नहीं किया था जो Mip-NeRF का उपयोग अनबाउंड वातावरण में करने से संबंधित थीं, जिनमें बहुत दूर की वस्तुएं, जैसे कि आकाश, शामिल हो सकती हैं। नए पत्र ने Mip-NeRF गॉसियन पर एक कलमैन-शैली वार्प लागू करके इसे हल किया है।

दूसरा, बड़े दृश्य अधिक प्रसंस्करण शक्ति और विस्तारित प्रशिक्षण समय की आवश्यकता होती है, जिसे Mip-NeRF 360 एक छोटे से ‘प्रस्ताव’ मल्टी-लेयर परसेप्ट्रॉन (एमएलपी) के माध्यम से हल करता है, जो एक बड़े मानक NeRF एमएलपी द्वारा अनुमानित ज्यामिति को पूर्व-निर्धारित करता है। यह प्रशिक्षण समय को तीन गुना तक तेज कर देता है।

अंत में, बड़े दृश्य अक्सर व्याख्या की गई ज्यामिति के विच्छिन्नता को अस्पष्ट बना देते हैं, जिसके परिणामस्वरूप गेमर्स को जाने वाले किस्म के आर्टिफैक्ट हो सकते हैं जब गेम आउटपुट ‘टियर’ होता है। नए पत्र ने Mip-NeRF रे अंतराल के लिए एक नए नियमितकार के निर्माण के माध्यम से इसे हल किया है।

दाएं, हम Mip-NeRF में अवांछित आर्टिफैक्ट देखते हैं जो इतने बड़े दृश्य को बाउंड करने में कठिनाई के कारण होते हैं। बाएं, हम देखते हैं कि नए नियमितकार ने दृश्य को पर्याप्त रूप से अनुकूलित किया है ताकि इन विक्षोभों को दूर किया जा सके।

नए पत्र के बारे में अधिक जानने के लिए, नीचे दिए गए वीडियो को देखें, और मार्च 2021 का वीडियो परिचय भी Mip-NeRF के लिए देखें। आप हमारे द्वारा अब तक की NeRF शोध कवरेज को देखकर NeRF शोध के बारे में अधिक जान सकते हैं।

मूल रूप से 25 नवंबर 2021 को प्रकाशित
21 दिसंबर 2021, 12:25 pm – मृत वीडियो को बदल दिया। – एमए