Artificial Intelligence

एनईआरएफ: न्यूरल रेडियंस फील्ड्स की सामग्री को संपादित करने की चुनौती

Updated on दिसम्बर 9/2022

इस वर्ष की शुरुआत में NVIDIA ने न्यूरल रेडियंस फील्ड्स को उन्नत किया (एनईआरएफ) विशेष रूप से अनुसंधान के साथ InstantNeRF, जाहिरा तौर पर महज कुछ ही सेकंड में खोजपूर्ण तंत्रिका दृश्य उत्पन्न करने में सक्षम - एक ऐसी तकनीक से, जब यह उभरा 2020 में, प्रशिक्षण में अक्सर घंटों या यहां तक कि दिन भी लग गए।

NVIDIA का InstantNeRF प्रभावशाली और तीव्र परिणाम प्रदान करता है। स्रोत: https://www.youtube.com/watch?v=DJ2hcC1orc4

यद्यपि इस प्रकार का प्रक्षेप एक स्थिर दृश्य उत्पन्न करता है, NeRF भी सक्षम है आंदोलन का चित्रण, और बुनियादी 'कॉपी-एंड-पेस्ट' संपादन, जहां अलग-अलग एनईआरएफ को एकत्रित किया जा सकता है मिश्रित दृश्य or डाला मौजूदा दृश्यों में.

नेस्टेड एनईआरएफ, शंघाई टेक यूनिवर्सिटी और डीजीन डिजिटल टेक्नोलॉजी के 2021 शोध में प्रदर्शित किया गया। स्रोत: https://www.youtube.com/watch?v=Wp4HfOwFGP4

हालाँकि, यदि आप परिकलित एनईआरएफ में हस्तक्षेप करना चाहते हैं और वास्तव में इसके अंदर चल रही किसी चीज़ को बदलना चाहते हैं (उसी तरह आप पारंपरिक सीजीआई दृश्य में तत्वों को बदल सकते हैं), तो सेक्टर की रुचि की तीव्र गति सामने आई है बहुत कुछ समाधान आज तक, और कोई भी ऐसा नहीं है जो सीजीआई वर्कफ़्लो की क्षमताओं से मेल खाता हो।

यद्यपि एनईआरएफ दृश्य बनाने के लिए ज्यामिति का अनुमान आवश्यक है, अंतिम परिणाम काफी हद तक 'लॉक' मूल्यों से बना है। जबकि वहाँ है कुछ प्रगति एनईआरएफ में बनावट मूल्यों को बदलने की दिशा में बनाया जा रहा है, एनईआरएफ दृश्य में वास्तविक वस्तुएं पैरामीट्रिक जाल नहीं हैं जिन्हें संपादित किया जा सकता है और उनके साथ खेला जा सकता है, बल्कि भंगुर और जमे हुए बिंदु बादलों के समान हैं।

इस परिदृश्य में, एनईआरएफ में प्रस्तुत व्यक्ति अनिवार्य रूप से एक मूर्ति (या वीडियो एनईआरएफ में मूर्तियों की एक श्रृंखला) है; वे स्वयं और अन्य वस्तुओं पर जो छाया डालते हैं, वह प्रकाश स्रोतों पर आधारित लचीली गणनाओं के बजाय बनावट होती है; और एनईआरएफ सामग्री की संपादन क्षमता फोटोग्राफर द्वारा चुने गए विकल्पों तक सीमित है जो विरल स्रोत तस्वीरें लेता है जिससे एनईआरएफ उत्पन्न होता है। छाया और मुद्रा जैसे पैरामीटर किसी भी रचनात्मक अर्थ में गैर-संपादन योग्य रहते हैं।

एनईआरएफ-संपादन

चीन और यूके के बीच एक नया अकादमिक अनुसंधान सहयोग इस चुनौती का समाधान करता है एनईआरएफ-संपादन, जहां प्रॉक्सी सीजीआई-शैली जाल को एनईआरएफ से निकाला जाता है, उपयोगकर्ता द्वारा इच्छानुसार विकृत किया जाता है, और विकृतियां एनईआरएफ की तंत्रिका गणना में वापस भेज दी जाती हैं:

एनईआरएफ-संपादन के साथ एनईआरएफ कठपुतली, क्योंकि फुटेज से गणना की गई विकृतियों को एनईआरएफ प्रतिनिधित्व के अंदर समकक्ष बिंदुओं पर लागू किया जाता है। स्रोत: http://geometrylearning.com/NeRFEditing/

विधि को अनुकूलित करता है NeuS 2021 यूएस/चीन पुनर्निर्माण तकनीक, जो एक निष्कर्ष निकालती है हस्ताक्षरित दूरी समारोह (एसडीएफ, वॉल्यूमेट्रिक पुनर्निर्माण की एक बहुत पुरानी विधि) जो एनईआरएफ के अंदर प्रदर्शित ज्यामिति को सीखने में सक्षम है।

यह एसडीएफ ऑब्जेक्ट उपयोगकर्ता की मूर्तिकला का आधार बन जाता है, जिसमें आदरणीय यथा-कठोर-संभव द्वारा प्रदान की गई ताना-बाना और ढलाई क्षमताएं होती हैं (एआरएपी) तकनीक।

एआरएपी उपयोगकर्ताओं को निकाले गए एसडीएफ जाल को विकृत करने की अनुमति देता है, हालांकि अन्य तरीके, जैसे कंकाल-आधारित और पिंजरे-आधारित दृष्टिकोण (यानी एनयूआरबी), भी अच्छी तरह से काम करेंगे। स्रोत: https://arxiv.org/pdf/2205.04978.pdf

लागू विकृतियों के साथ, इस जानकारी को वेक्टर से आरजीबी/पिक्सेल स्तर के मूल निवासी एनईआरएफ में अनुवाद करना आवश्यक है, जो थोड़ी लंबी यात्रा है।

उपयोगकर्ता द्वारा विकृत किए गए जाल के त्रिकोणीय शीर्षों को पहले टेट्राहेड्रल जाल में परिवर्तित किया जाता है, जो उपयोगकर्ता-जाल के चारों ओर एक त्वचा बनाता है। इस अतिरिक्त जाल से एक स्थानिक असतत विरूपण क्षेत्र निकाला जाता है, और अंत में एक एनईआरएफ-अनुकूल निरंतर विरूपण क्षेत्र प्राप्त किया जाता है जिसे तंत्रिका चमक वातावरण में वापस पारित किया जा सकता है, जो उपयोगकर्ता के परिवर्तनों और संपादनों को प्रतिबिंबित करता है, और लक्ष्य में व्याख्या की गई किरणों को सीधे प्रभावित करता है। एनईआरएफ.

नई विधि द्वारा वस्तुएँ विकृत और एनिमेटेड।

पेपर बताता है:

'सतह विरूपण को टेट्राहेड्रल जाल में स्थानांतरित करने के बाद, हम "प्रभावी स्थान" का असतत विरूपण क्षेत्र प्राप्त कर सकते हैं। अब हम कास्टिंग किरणों को मोड़ने के लिए इन असतत परिवर्तनों का उपयोग करते हैं। विकृत चमक क्षेत्र की एक छवि उत्पन्न करने के लिए, हम विकृत टेट्राहेड्रल जाल वाले स्थान पर किरणें डालते हैं।'

RSI काग़ज़ शीर्षक है एनईआरएफ-संपादन: तंत्रिका चमक क्षेत्रों का ज्यामिति संपादन, और तीन चीनी विश्वविद्यालयों और संस्थानों के शोधकर्ताओं से आता है, जिसमें कार्डिफ़ विश्वविद्यालय में कंप्यूटर विज्ञान और सूचना विज्ञान स्कूल के एक शोधकर्ता और अलीबाबा समूह के अन्य दो शोधकर्ता शामिल हैं।

सीमाओं

जैसा कि पहले उल्लेख किया गया है, रूपांतरित ज्यामिति एनईआरएफ में किसी भी संबंधित पहलू को 'अपडेट' नहीं करेगी जिसे संपादित नहीं किया गया है, न ही छाया जैसे विकृत तत्व के माध्यमिक परिणामों को प्रतिबिंबित करेगा। शोधकर्ता एक उदाहरण प्रदान करते हैं, जहां एनईआरएफ में एक मानव आकृति पर छायाएं अपरिवर्तित रहती हैं, भले ही विरूपण से प्रकाश व्यवस्था बदलनी चाहिए:

कागज से: हम देखते हैं कि आकृति की बांह पर क्षैतिज छाया तब भी अपनी जगह पर बनी रहती है, जब हाथ ऊपर की ओर ले जाया जाता है।

प्रयोगों

लेखकों का मानना है कि वर्तमान में एनईआरएफ ज्यामिति में सीधे हस्तक्षेप के लिए कोई तुलनीय तरीके नहीं हैं। इसलिए शोध के लिए किये गये प्रयोग तुलनात्मक से अधिक खोजपरक थे।

शोधकर्ताओं ने कई सार्वजनिक डेटासेट पर एनईआरएफ-संपादन का प्रदर्शन किया, जिसमें मिक्सामो के पात्र और अब-प्रतिष्ठित लेगो बुलडोजर और मूल एनईआरएफ की कुर्सी शामिल है। कार्यान्वयन. उन्होंने असली पकड़ी गई घोड़े की मूर्ति पर भी प्रयोग किया एफवीएस डेटासेट, साथ ही साथ उनकी अपनी मूल तस्वीरें भी।