Artificial Intelligence
तंत्रिका प्रतिपादन: एनईआरएफ ताजी हवा में सैर करता है
Google रिसर्च और हार्वर्ड यूनिवर्सिटी के बीच एक सहयोग ने संपूर्ण दृश्यों का 360-डिग्री तंत्रिका वीडियो बनाने के लिए एक नई विधि विकसित की है तंत्रिका चमक क्षेत्र (एनईआरएफ)। नवीन दृष्टिकोण एनईआरएफ को बिना किसी प्रतिबंध के, किसी भी वातावरण में आकस्मिक अमूर्त उपयोग के करीब ले जाता है टेबलटॉप मॉडल or बंद आंतरिक परिदृश्य.
पूरे वीडियो के लिए लेख का अंत देखें। स्रोत: https://www.youtube.com/watch?v=YStDS2-Ln1s
एमआईपी-एनईआरएफ 360 विस्तारित पृष्ठभूमि और आकाश जैसी 'अनंत' वस्तुओं को संभाल सकता है, क्योंकि पिछले अधिकांश पुनरावृत्तियों के विपरीत, यह प्रकाश किरणों की व्याख्या के तरीके पर सीमाएं निर्धारित करता है, और ध्यान की सीमाएं बनाता है जो अन्यथा लंबे प्रशिक्षण समय को तर्कसंगत बनाता है। अधिक उदाहरणों और प्रक्रिया की विस्तृत जानकारी के लिए इस आलेख के अंत में एम्बेड किया गया नया वीडियो देखें।
RSI नया कागज शीर्षक है एमआईपी-एनईआरएफ 360: अनबाउंडेड एंटी-अलियास्ड न्यूरल रेडियंस फील्ड्स, और इसका नेतृत्व Google रिसर्च के वरिष्ठ स्टाफ रिसर्च वैज्ञानिक जॉन बैरन द्वारा किया जाता है।
सफलता को समझने के लिए, यह बुनियादी समझ होना आवश्यक है कि तंत्रिका चमक क्षेत्र-आधारित छवि संश्लेषण कैसे कार्य करता है।
एनईआरएफ क्या है?
एनईआरएफ नेटवर्क का वर्णन 'वीडियो' के रूप में करना समस्याग्रस्त है, क्योंकि यह पूरी तरह से 3डी-एहसास के करीब है लेकिन ऐ आधारित आभासी वातावरण, जहां एक दृश्य को एक साथ जोड़ने के लिए एकल फ़ोटो (वीडियो फ़्रेम सहित) के कई दृष्टिकोण का उपयोग किया जाता है, जो तकनीकी रूप से केवल मशीन लर्निंग एल्गोरिदम के अव्यक्त स्थान में मौजूद होता है - लेकिन जहां से इच्छानुसार असाधारण संख्या में दृष्टिकोण और वीडियो निकाले जा सकते हैं .
एकाधिक कैमरा कैप्चर बिंदुओं का चित्रण जो डेटा प्रदान करता है जिसे एनईआरएफ एक तंत्रिका दृश्य में इकट्ठा करता है (दाएं चित्र)।
योगदान देने वाली तस्वीरों से प्राप्त जानकारी को एक मैट्रिक्स में प्रशिक्षित किया जाता है जो पारंपरिक के समान है स्वर ग्रिड सीजीआई वर्कफ़्लोज़ में, 3डी स्पेस में प्रत्येक बिंदु एक मान के साथ समाप्त होता है, जिससे दृश्य नेविगेशन योग्य हो जाता है।
एक पारंपरिक वोक्सेल मैट्रिक्स पिक्सेल जानकारी (जो आम तौर पर 2डी संदर्भ में मौजूद होती है, जैसे जेपीईजी फ़ाइल का पिक्सेल ग्रिड) को त्रि-आयामी स्थान में रखता है। स्रोत: रिसर्चगेट
फ़ोटो के बीच अंतरालीय स्थान की गणना करने के बाद (यदि आवश्यक हो), प्रत्येक योगदान करने वाले फोटो के प्रत्येक संभावित पिक्सेल का पथ प्रभावी ढंग से 'रे-ट्रेस्ड' किया जाता है और पारदर्शिता मान सहित एक रंग मान निर्दिष्ट किया जाता है (जिसके बिना तंत्रिका मैट्रिक्स पूरी तरह से अपारदर्शी होगा, या पूरी तरह से खाली)।
वोक्सेल ग्रिड की तरह, और भिन्न सीजीआई-आधारित 3डी समन्वय स्थान, एक 'बंद' वस्तु के 'आंतरिक' का एनईआरएफ मैट्रिक्स में कोई अस्तित्व नहीं है। यदि आप चाहें, तो आप सीजीआई ड्रम किट को खोलकर अंदर देख सकते हैं; लेकिन जहां तक एनईआरएफ का सवाल है, ड्रम किट का अस्तित्व तब समाप्त हो जाता है जब इसकी सतह का अपारदर्शिता मान '1' के बराबर हो जाता है।
पिक्सेल का व्यापक दृश्य
Mip-NeRF 360 का विस्तार है मार्च 2021 से शोध, जिसने प्रभावी रूप से संपूर्ण सुपरसैंपलिंग के बिना एनईआरएफ में कुशल एंटी-अलियासिंग पेश किया।
एनईआरएफ परंपरागत रूप से केवल एक पिक्सेल पथ की गणना करता है, जो इस तरह का उत्पादन करने के लिए इच्छुक है 'गुड़' जो आरंभिक इंटरनेट छवि प्रारूपों की विशेषता बताता है, साथ ही पहले के गेम सिस्टम. इन दांतेदार किनारों को विभिन्न तरीकों से हल किया गया था, जिसमें आमतौर पर आसन्न पिक्सेल का नमूना लेना और औसत प्रतिनिधित्व ढूंढना शामिल था।
क्योंकि पारंपरिक एनईआरएफ केवल एक पिक्सेल पथ का नमूना लेता है, एमआईपी-एनईआरएफ ने एक विस्तृत-बीम टॉर्च की तरह एक 'शंक्वाकार' जलग्रहण क्षेत्र पेश किया, जो इसके बारे में पर्याप्त जानकारी प्रदान करता है सटा हुआ बेहतर विवरण के साथ किफायती एंटीएलियासिंग उत्पन्न करने के लिए पिक्सेल।
Mip-NeRF जिस शंक्वाकार शंकु जलग्रहण क्षेत्र का उपयोग करता है, उसे शंक्वाकार छिन्नक (निचली छवि) में काटा जाता है, जिसे अस्पष्ट गॉसियन रिक्त स्थान बनाने के लिए आगे 'धुंधला' किया जाता है, जिसका उपयोग पिक्सेल की सटीकता और अलियासिंग की गणना करने के लिए किया जा सकता है। स्रोत: https://www.youtube.com/watch?v=EpH175PY1A0
मानक एनईआरएफ कार्यान्वयन में सुधार उल्लेखनीय था:
मार्च 2021 में जारी किया गया एमआईपी-एनईआरएफ (दाएं), दांतेदार किनारों से बचने के लिए केवल 'धुंधला' पिक्सल के बजाय एक अधिक व्यापक लेकिन किफायती अलियासिंग पाइपलाइन के माध्यम से बेहतर विवरण प्रदान करता है। स्रोत: https://jonbarron.info/mipnerf/
एनईआरएफ अनबाउंडेड
मार्च पेपर ने असीमित वातावरण में एमआईपी-एनईआरएफ का उपयोग करने के संबंध में तीन समस्याओं को अनसुलझा छोड़ दिया, जिसमें आसमान सहित बहुत दूर की वस्तुएं शामिल हो सकती हैं। नया पेपर इसे लागू करके हल करता है कलमन-शैली मिप-एनईआरएफ गॉसियन के लिए ताना।
दूसरे, बड़े दृश्यों के लिए अधिक प्रसंस्करण शक्ति और विस्तारित प्रशिक्षण समय की आवश्यकता होती है, जिसे Mip-NeRF 360 एक छोटे 'प्रस्ताव' के साथ दृश्य ज्यामिति को 'आसुत' करके हल करता है। मल्टी-लेयर परसेप्ट्रॉन (एमएलपी), जो एक बड़े मानक एनईआरएफ एमएलपी द्वारा अनुमानित ज्यामिति को प्री-बाउंड करता है। इससे प्रशिक्षण की गति तीन गुना बढ़ जाती है।
अंत में, बड़े दृश्य व्याख्या की गई ज्यामिति के विवेक को अस्पष्ट बनाते हैं, जिसके परिणामस्वरूप गेम आउटपुट 'आंसू' होने पर गेमर्स उस तरह की कलाकृतियों से परिचित हो सकते हैं। नया पेपर एमआईपी-एनईआरएफ किरण अंतराल के लिए एक नया नियमितीकरणकर्ता बनाकर इसे संबोधित करता है।
दाईं ओर, हम इतने बड़े दृश्य को सीमित करने में कठिनाई के कारण मिप-एनईआरएफ में अवांछित कलाकृतियाँ देखते हैं। बाईं ओर, हम देखते हैं कि नए रेगुलराइज़र ने इन गड़बड़ियों को दूर करने के लिए दृश्य को काफी अच्छी तरह से अनुकूलित किया है।
नए पेपर के बारे में और अधिक जानने के लिए, नीचे दिया गया वीडियो देखें मार्च 2021 वीडियो परिचय मिप-एनईआरएफ को। आप चेक आउट करके एनईआरएफ अनुसंधान के बारे में और भी अधिक जानकारी प्राप्त कर सकते हैं हमारा अब तक का कवरेज.
मूल रूप से 25 नवंबर 2021 को प्रकाशित
21 दिसंबर 2021, दोपहर 12:25 बजे - मृत वीडियो बदला गया। – एम.ए
