рдХреГрддреНрд░рд┐рдо рдмреБрджреНрдзрд┐рдорддреНрддрд╛
NeRF: рдиреНрдпреВрд░рд▓ рд░реЗрдбрд┐рдПрдВрд╕ рдлреАрд▓реНрдбреНрд╕ рдХреА рд╕рд╛рдордЧреНрд░реА рдХреЛ рд╕рдВрдкрд╛рджрд┐рдд рдХрд░рдиреЗ рдХреА рдЪреБрдиреМрддреА
इस वर्ष की शुरुआत में NVIDIA ने न्यूरल रेडिएंस फील्ड्स (NeRF) अनुसंधान में महत्वपूर्ण प्रगति की है, विशेष रूप से NeRF के साथ, जो InstantNeRF के माध्यम से कुछ ही सेकंड में अन्वेषण योग्य न्यूरल दृश्यों का उत्पादन करने में सक्षम है। यह तकनीक 2020 में उत्पन्न हुई थी, जब यह अक्सर घंटों या甚至 दिनों में प्रशिक्षित होती थी।
NVIDIA का InstantNeRF प्रभावशाली और तेज परिणाम प्रदान करता है। स्रोत: https://www.youtube.com/watch?v=DJ2hcC1orc4
हालांकि इस प्रकार का अंतर्पोलेशन एक स्थिर दृश्य उत्पन्न करता है, NeRF गति का भी चित्रण करने में सक्षम है, और मूल ‘कॉपी-पेस्ट’ संपादन का, जहां व्यक्तिगत NeRFs को या तो संयुक्त दृश्यों में एकत्र किया जा सकता है या मौजूदा दृश्यों में डाला जा सकता है।
नेस्टेड NeRFs, 2021 में शंघाई टेक यूनिवर्सिटी और डीजीन डिजिटल टेक्नोलॉजी से शोध में चित्रित। स्रोत: https://www.youtube.com/watch?v=Wp4HfOwFGP4
हालांकि, यदि आप एक गणना किए गए NeRF में हस्तक्षेप करना चाहते हैं और वास्तव में इसके अंदर कुछ बदलना चाहते हैं (जैसे कि आप एक पारंपरिक सीजीआई दृश्य में तत्वों को बदल सकते हैं), तो क्षेत्र की रुचि की तेजी से गति ने अब तक बहुत कम समाधान प्रदान किए हैं, और उनमें से कोई भी सीजीआई कार्य प्रवाह की क्षमताओं से मेल नहीं खाता है।
हालांकि ज्यामिति अनुमान NeRF दृश्य बनाने के लिए आवश्यक है, अंतिम परिणाम अपेक्षाकृत ‘लॉक’ मानों से बना होता है। जबकि NeRF में टेक्सचर मान बदलने की दिशा में कुछ प्रगति हो रही है, NeRF दृश्य में वास्तविक वस्तुएं संपादन योग्य पैरामेट्रिक जाल नहीं हैं जिन्हें बदला जा सकता है, बल्कि अधिक कठोर और जमे हुए बिंदु बादलों के समान हैं।
इस परिदृश्य में, एक NeRF में एक प्रतिपादित व्यक्ति मूल रूप से एक मूर्ति है (या वीडियो NeRFs में मूर्तियों की एक श्रृंखला); वे स्वयं और अन्य वस्तुओं पर जो छाया डालते हैं वे टेक्सचर हैं, प्रकाश स्रोतों पर आधारित लचीले गणनाओं के बजाय; और NeRF सामग्री की संपादन योग्यता सीमित है जो स्पार्स स्रोत फोटो लेने वाले फोटोग्राफर द्वारा किए गए विकल्पों तक ही सीमित है। पैरामीटर जैसे छाया और मुद्रा संपादन योग्य नहीं हैं, किसी भी रचनात्मक अर्थ में।
NeRF-संपादन
एक नए शोध सहयोग में चीन और यूके के बीच NeRF-संपादन के साथ इस चुनौती का सामना किया जा रहा है, जहां प्रॉक्सी सीजीआई-शैली के जाल NeRF से निकाले जाते हैं, उपयोगकर्ता द्वारा विकृत किए जाते हैं, और विकृतियों को NeRF के न्यूरल गणनाओं में वापस पारित किया जाता है:
NeRF पपेट्री के साथ NeRF-संपादन, जैसा कि फुटेज से गणना की गई विकृतियों को एक NeRF प्रतिनिधित्व के भीतर समान बिंदुओं पर लागू किया जाता है। स्रोत: http://geometrylearning.com/NeRFEditing/
यह विधि 2021 की NeuS 2021 यूएस/चीन पुनर्निर्माण तकनीक को अनुकूलित करती है, जो एक साइन्ड डिस्टेंस फंक्शन (एसडीएफ, ज्यामिति के भीतर प्रतिनिधित्व की एक बहुत पुरानी विधि) को निकालती है जो NeRF के भीतर प्रतिनिधित्व की गई ज्यामिति सीखने में सक्षम है।
इस एसडीएफ वस्तु उपयोगकर्ता के मूर्तिकार के आधार के रूप में कार्य करती है, जिसमें वार्पिंग और मोल्डिंग क्षमताएं वेनरेबल एज-रिगिड-एज़-पॉसिबल (एआरएपी) तकनीक द्वारा प्रदान की जाती हैं।
एआरएपी उपयोगकर्ता को निकाले गए एसडीएफ जाल को विकृत करने की अनुमति देता है, हालांकि अन्य विधियां, जैसे कि कंकाल-आधारित और पिंजरे-आधारित दृष्टिकोण (अर्थात् नूर्ब्स), भी अच्छी तरह से काम करेंगे। स्रोत: https://arxiv.org/pdf/2205.04978.pdf
विकृतियों को लागू करने के साथ, यह आवश्यक है कि इस जानकारी को वेक्टर से आरजीबी/पिक्सेल स्तर पर अनुवाद किया जाए, जो NeRF के मूल है।
उपयोगकर्ता द्वारा विकृत किए गए जाल के त्रिभुज के शीर्षलेख पहले एक टेट्राहेड्रल जाल में अनुवादित किए जाते हैं, जो उपयोगकर्ता-जाल के चारों ओर एक त्वचा बनाता है। इस अतिरिक्त जाल से एक स्थानिक विच्छिन्न विकृति क्षेत्र निकाला जाता है, और अंत में एक NeRF-अनुकूल निरंतर विकृति क्षेत्र प्राप्त किया जाता है जो न्यूरल रेडिएंस वातावरण में वापस पारित किया जा सकता है, उपयोगकर्ता के परिवर्तनों और संपादनों को प्रतिबिंबित करता है, और सीधे लक्ष्य NeRF में व्याख्या किए गए रेज को प्रभावित करता है।
नई विधि द्वारा विकृत और एनिमेटेड वस्तुएं।
पेपर में कहा गया है:
‘टेट्राहेड्रल जाल को सतह विकृति स्थानांतरित करने के बाद, हम “प्रभावी स्थान” का विच्छिन्न विकृति क्षेत्र प्राप्त कर सकते हैं। हम अब इन विच्छिन्न रूपांतरणों का उपयोग कास्टिंग रेज को मोड़ने के लिए करते हैं। विकृत रेडिएंस फील्ड की एक छवि उत्पन्न करने के लिए, हम टेट्राहेड्रल जाल को निहित स्थान में रेज कास्ट करते हैं।’
पेपर का शीर्षक NeRF-संपादन: न्यूरल रेडिएंस फील्ड्स की ज्यामिति संपादन है, और यह तीन चीनी विश्वविद्यालयों और संस्थानों के शोधकर्ताओं के साथ-साथ कार्डिफ विश्वविद्यालय के कंप्यूटर विज्ञान और सूचना विज्ञान स्कूल के एक शोधकर्ता और अलीबाबा समूह के दो अन्य शोधकर्ताओं से आया है।
सीमाएं
जैसा कि पहले उल्लेख किया गया है, परिवर्तित ज्यामिति किसी भी संबंधित पहलुओं को अपडेट नहीं करेगी जो NeRF में संपादित नहीं किए गए हैं, न ही विकृत तत्व के माध्यम से गुजरने वाले द्वितीयक परिणामों को प्रतिबिंबित करेगी, जैसे कि छाया। शोधकर्ता एक उदाहरण प्रदान करते हैं, जहां एक मानव आकृति पर नीचे की छाया विकृति के बावजूद भी अपरिवर्तित रहती है:
पेपर से: हम देखते हैं कि आकृति की बांह पर क्षैतिज छाया विकृति के बावजूद भी अपनी स्थिति में बनी रहती है।
प्रयोग
लेखकों का अवलोकन है कि NeRF ज्यामिति में सीधे हस्तक्षेप के लिए वर्तमान में कोई तुलनात्मक विधि नहीं है। इसलिए, शोध के लिए किए गए प्रयोग अधिक अन्वेषणात्मक थे rather की तुलनात्मक।
शोधकर्ताओं ने मिक्सामो से पात्रों और मूल NeRF कार्यान्वयन से प्रतिष्ठित लेगो बुलडोजर और कुर्सी सहित कई सार्वजनिक डेटासेट पर NeRF-संपादन का प्रदर्शन किया। उन्होंने FVS डेटासेट से एक वास्तविक कब्जे वाले घोड़े की मूर्ति और अपने स्वयं के मूल कब्जे पर भी प्रयोग किए।
एक घोड़े का सिर झुकाया गया।
भविष्य के कार्य के लिए, लेखक जिटोर जस्ट-इन-टाइम संकलित मशीन लर्निंग फ्रेमवर्क में अपनी प्रणाली को विकसित करने का इरादा रखते हैं।
पहली बार 16 मई 2022 को प्रकाशित।
