NeRF: न्यूरल रेडियंस फील्ड्स की सामग्री संपादन की चुनौती

इस साल की शुरुआत में, NVIDIA ने न्यूरल रेडियंस फील्ड्स (NeRF) शोध में महत्वपूर्ण प्रगति की, विशेष रूप से इंस्टेंट NeRF के साथ, जो कुछ सेकंड में एक्सप्लोरेबल न्यूरल दृश्य तैयार कर सकता है – एक तकनीक जो 2020 में शुरू हुई थी और अक्सर प्रशिक्षण के लिए घंटों या दिनों का समय लेती थी।

NVIDIA का इंस्टेंट NeRF प्रभावशाली और तेज़ परिणाम प्रदान करता है। स्रोत: https://www.youtube.com/watch?v=DJ2hcC1orc4

हालांकि इस प्रकार की इंटरपोलेशन एक स्थिर दृश्य उत्पन्न करती है, NeRF गति को भी चित्रित कर सकता है और मूल ‘कॉपी-पेस्ट’ संपादन के लिए सक्षम है, जहां व्यक्तिगत NeRFs को या तो संयुक्त दृश्यों में एकत्र किया जा सकता है या मौजूदा दृश्यों में सम्मिलित किया जा सकता है।

शंघाई टेक यूनिवर्सिटी और डीजीन डिजिटल टेक्नोलॉजी द्वारा 2021 में किए गए शोध में नेस्टेड NeRFs। स्रोत: https://www.youtube.com/watch?v=Wp4HfOwFGP4

हालांकि, यदि आप एक गणना किए गए NeRF में हस्तक्षेप करना चाहते हैं और वास्तव में इसके अंदर कुछ बदलना चाहते हैं (पारंपरिक सीजीआई दृश्य में तत्वों को बदलने के तरीके से), तो क्षेत्र की तेज़ रुचि के बावजूद, अब तक बहुत कम समाधान हैं और कोई भी सीजीआई कार्य प्रवाह की क्षमताओं के करीब नहीं है।

हालांकि ज्यामिति अनुमान न्यूरल रेडियंस फील्ड्स दृश्य बनाने के लिए आवश्यक है, परिणामी परिणाम अपेक्षाकृत ‘लॉक्ड’ मान होते हैं। जबकि NeRF में टेक्सचर मान बदलने की दिशा में कुछ प्रगति हो रही है, न्यूरल रेडियंस फील्ड्स दृश्य में वास्तविक वस्तुएं पैरामेट्रिक जाल नहीं हैं जिन्हें संपादित और बदला जा सकता है, बल्कि अधिक कठोर और जमे हुए बिंदु बादलों के समान हैं।

इस परिदृश्य में, एक न्यूरल रेडियंस फील्ड्स में एक प्रस्तुत व्यक्ति मूल रूप से एक मूर्ति है (या वीडियो न्यूरल रेडियंस फील्ड्स में मूर्तियों की एक श्रृंखला); वे स्वयं और अन्य वस्तुओं पर जो छाया डालते हैं वे टेक्सचर हैं, प्रकाश स्रोतों पर आधारित लचीले गणना नहीं; और न्यूरल रेडियंस फील्ड्स सामग्री की संपादन योग्यता सीमित है फोटोग्राफर द्वारा किए गए विकल्पों तक जो न्यूरल रेडियंस फील्ड्स को उत्पन्न करने के लिए उपयोग की जाने वाली दुर्लभ स्रोत तस्वीरें लेता है। पैरामीटर जैसे छाया और मुद्रा गैर-संपादन योग्य रहते हैं, किसी भी रचनात्मक अर्थ में।

NeRF संपादन

चीन और यूके के बीच एक新的 शैक्षणिक अनुसंधान सहयोग इस चुनौती का सामना NeRF संपादन के साथ करता है, जहां प्रॉक्सी सीजीआई-शैली के जाल न्यूरल रेडियंस फील्ड्स से निकाले जाते हैं, उपयोगकर्ता द्वारा विकृत किए जाते हैं, और विकृतियों को न्यूरल रेडियंस फील्ड्स की न्यूरल गणनाओं में वापस पारित किया जाता है:

NeRF पपेट्री के साथ NeRF संपादन, जैसा कि फुटेज से गणना की गई विकृतियों को एक न्यूरल रेडियंस फील्ड्स प्रतिनिधित्व के भीतर समान बिंदुओं पर लागू किया जाता है। स्रोत: http://geometrylearning.com/NeRFEditing/

यह विधि 2021 की NeuS अमेरिकी-चीनी पुनर्निर्माण तकनीक को अनुकूलित करती है, जो एक साइन्ड डिस्टेंस फंक्शन (एसडीएफ, ज्यामिति के भीतर प्रतिनिधित्व की एक बहुत पुरानी विधि) निकालती है जो न्यूरल रेडियंस फील्ड्स के भीतर प्रतिनिधित्व की गई ज्यामिति सीखने में सक्षम है।

यह एसडीएफ वस्तु उपयोगकर्ता के मूर्तिकार के आधार के रूप में कार्य करती है, जिसमें विकृति और मोल्डिंग क्षमताएं प्रतिष्ठित एस-रिगिड-एज़-पॉसिबल (एआरएपी) तकनीक द्वारा प्रदान की जाती हैं।

एआरएपी उपयोगकर्ता को निकाले गए एसडीएफ जाल को विकृत करने की अनुमति देता है, हालांकि अन्य विधियां, जैसे कि कंकाल-आधारित और पिंजरे-आधारित दृष्टिकोण (अर्थात नूर्ब्स), भी अच्छी तरह से काम करेंगे। स्रोत: https://arxiv.org/pdf/2205.04978.pdf

विकृतियों को लागू करने के बाद, यह आवश्यक है कि इस जानकारी को वेक्टर से आरजीबी/पिक्सेल स्तर पर अनुवाद किया जाए, जो न्यूरल रेडियंस फील्ड्स के लिए मूल है।

उपयोगकर्ता द्वारा विकृत किए गए जाल के त्रिकोणीय शीर्षलेख पहले एक टेट्राहेड्रल जाल में अनुवादित किए जाते हैं, जो उपयोगकर्ता-जाल के चारों ओर एक त्वचा बनाता है। एक स्थानिक विच्छिन्न विकृति क्षेत्र इस अतिरिक्त जाल से निकाला जाता है, और अंत में एक न्यूरल रेडियंस फील्ड्स के लिए मित्रपूर्ण निरंतर विकृति क्षेत्र प्राप्त किया जाता है जो उपयोगकर्ता के परिवर्तनों और संपादनों को प्रतिबिंबित करता है, और सीधे लक्ष्य न्यूरल रेडियंस फील्ड्स में व्याख्या की गई किरणों को प्रभावित करता है।

नई विधि द्वारा विकृत और एनिमेट किए गए वस्तुएं।

लेख में कहा गया है:

‘प्रभावी स्थान’ के विकृति क्षेत्र को टेट्राहेड्रल जाल में स्थानांतरित करने के बाद, हम विकृति क्षेत्र को प्राप्त कर सकते हैं। हम अब इन विच्छिन्न परिवर्तनों का उपयोग करके कास्टिंग किरणों को मोड़ सकते हैं। विकृत प्राकाशिक क्षेत्र की एक छवि उत्पन्न करने के लिए, हम विकृत टेट्राहेड्रल जाल के स्थान में किरणें डालते हैं।’

लेख लेख का शीर्षक NeRF संपादन: न्यूरल रेडियंस फील्ड्स की ज्यामिति संपादन है, और यह तीन चीनी विश्वविद्यालयों और संस्थानों के शोधकर्ताओं के साथ-साथ कार्डिफ विश्वविद्यालय के कंप्यूटर विज्ञान और सूचना स्कूल के एक शोधकर्ता और अलीबाबा समूह के दो अन्य शोधकर्ताओं से आया है।

सीमाएं

जैसा कि पहले उल्लेख किया गया है, परिवर्तित ज्यामिति न्यूरल रेडियंस फील्ड्स में संपादित नहीं किए गए किसी भी संबंधित पहलुओं को अपडेट नहीं करेगी, न ही विकृत तत्व के माध्यम से गुजरने वाले द्वितीयक परिणामों को प्रतिबिंबित करेगी, जैसे कि छाया। शोधकर्ता एक उदाहरण प्रदान करते हैं, जहां न्यूरल रेडियंस फील्ड्स में एक मानव आकृति पर अंडर-शेड्स विकृति के बावजूद अपरिवर्तित रहते हैं:

लेख से: हम देखते हैं कि आकृति की बांह पर क्षैतिज छाया ऊपर की ओर बांह को स्थानांतरित करने के बावजूद अपनी स्थिति बनाए रखती है।

प्रयोग

लेखकों का अवलोकन है कि न्यूरल रेडियंस फील्ड्स ज्यामिति में सीधे हस्तक्षेप के लिए वर्तमान में कोई तुलनात्मक विधि नहीं है। इसलिए, अनुसंधान के लिए किए गए प्रयोग अधिक अन्वेषणात्मक थे niż तुलनात्मक।

शोधकर्ताओं ने न्यूरल रेडियंस फील्ड्स संपादन को कई सार्वजनिक डेटासेट पर प्रदर्शित किया, जिनमें मिक्सामो के पात्र और मूल न्यूरल रेडियंस फील्ड्स कार्यान्वयन से लेगो बुलडोजर और कुर्सी शामिल हैं। उन्होंने एफवीएस डेटासेट से एक वास्तविक कब्जे वाले घोड़े की मूर्ति पर भी प्रयोग किया, साथ ही साथ अपने स्वयं के मूल कब्जे पर।

एक घोड़े का सिर झुका हुआ।

भविष्य के कार्य के लिए, लेखक अपनी प्रणाली को जस्ट-इन-टाइम (जेआईटी) संकलित मशीन लर्निंग फ्रेमवर्क जिटोर में विकसित करने का इरादा रखते हैं।

पहली बार 16 मई 2022 को प्रकाशित।