Anderson का एंगल
न्यूरल रेडियंस फील्ड्स को किसी भी पर्यावरण मानचित्र के साथ पुनः प्रकाशित करना
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
मैक्स प्लैंक इंस्टीट्यूट और एमआईटी से एक नई पेपर ने न्यूरल रेडियंस फील्ड्स (NeRF) सामग्री को प्राप्त करने के लिए एक तकनीक का प्रस्ताव किया है जो वास्तविक विच्छेदन है, जो डेटा एकत्र किए जाने पर मौजूद प्रकाश व्यवस्था से स्वतंत्र है, जिससे एड हॉक पर्यावरण मानचित्र पूरी तरह से न्यूरल रेडियंस फील्ड्स दृश्य में प्रकाश व्यवस्था को बदल सकते हैं:
नई तकनीक को वास्तविक डेटा पर लागू किया गया। यह ध्यान देने योग्य है कि यह विधि इस प्रकार के संग्रहीत डेटा पर भी काम करती है, जो जब डेटा एकत्र किया गया था, तो नए पाइपलाइन को ध्यान में नहीं रखा गया था। इसके बावजूद, वास्तविक और उपयोगकर्ता-निर्दिष्ट प्रकाश नियंत्रण प्राप्त किया जाता है। स्रोत: https://arxiv.org/pdf/2207.13607.pdf
नई दृष्टिकोण में लोकप्रिय ओपन सोर्स 3डी एनिमेशन प्रोग्राम ब्लेंडर का उपयोग करके एक ‘वर्चुअल लाइट स्टेज’ बनाना शामिल है, जहां संभावित प्रकाश परिदृश्यों की कई पुनरावृत्तियां रेंडर की जाती हैं और अंततः न्यूरल रेडियंस फील्ड्स मॉडल में एक विशेष परत में प्रशिक्षित की जाती हैं जो किसी भी पर्यावरण मानचित्र को समायोजित कर सकती है जिसे उपयोगकर्ता दृश्य को प्रकाशित करने के लिए उपयोग करना चाहता है।
निकाले गए ज्यामिति के वर्चुअल लाइट स्टेज दृश्यों को बनाने के लिए ब्लेंडर का उपयोग करने वाले पाइपलाइन के हिस्से का चित्रण। इसी तरह की पिछली विधियों ने वास्तविक प्रकाश मंच का उपयोग किया था, जो विविध वस्तुओं के लिए एक कठिन आवश्यकता है, और बाहरी परिदृश्य दृश्यों के लिए यह असंभव है। दाईं ओर की दो तस्वीरों के ऊपरी बाएं हिस्से में, हम दृश्य को प्रकाशित करने वाले पर्यावरण मानचित्र देख सकते हैं। ये उपयोगकर्ता द्वारा मनमाने ढंग से बनाए जा सकते हैं, जो न्यूरल रेडियंस फील्ड्स को आधुनिक सीजीआई दृष्टिकोण की लचीलेपन की ओर एक कदम और ले जाता है।
इस दृष्टिकोण का परीक्षण मित्सुबा2 व्युत्क्रम रेंडरिंग फ्रेमवर्क के खिलाफ किया गया था, और पिछले कार्यों फाईएसजी, आरएनआर, न्यूरल-पीआईएल और न्यूरफैक्टर के खिलाफ भी, केवल एक सीधे प्रकाश मॉडल का उपयोग करते हुए, और सर्वोत्तम स्कोर प्राप्त किए:
नई तकनीक के परिणाम, विभिन्न नुकसान कार्यों के तहत तुलनात्मक दृष्टिकोणों की तुलना में। शोधकर्ता दावा करते हैं कि उनका दृष्टिकोण उच्चतम गुणवत्ता वाले तरीके प्रदान करता है, जिसका मूल्यांकन पीक सिग्नल-टू-शोर अनुपात (पीएसएनआर), संरचनात्मक समानता सूचक माप (एसएसआईएम), और प्रभावी यदि विचित्र सीखे हुए संवेदी छवि पैच समानता (एलपीआईपीएस) के माध्यम से किया जाता है।
लेख में कहा गया है:
‘हमारे गुणात्मक और मात्रात्मक परिणाम दिखाते हैं कि दृश्य पैरामीटर की वसूली और नए दृश्यों और प्रकाश स्थितियों के तहत सिंथेसिस की गुणवत्ता में एक स्पष्ट प्रगति है, जो पिछले राज्य की तुलना में कला है।’
शोधकर्ता कहते हैं कि वे अंततः परियोजना के लिए कोड जारी करेंगे।
न्यूरल रेडियंस फील्ड्स की संपादकता की आवश्यकता
इस प्रकार का विच्छेदन न्यूरल रेडियंस फील्ड्स में शोधकर्ताओं के लिए एक उल्लेखनीय चुनौती साबित हुई है, क्योंकि न्यूरल रेडियंस फील्ड्स मूल रूप से एक फोटोग्रामेट्री तकनीक है जो एक दृश्य बिंदु से संभावित पथों के हजारों के पिक्सेल मान की गणना करती है, आरजीबीडी मान सौंपती है, और इन मानों को एक वॉल्यूमेट्रिक प्रतिनिधित्व में एक मैट्रिक्स में इकट्ठा करती है। इसके मूल में, न्यूरल रेडियंस फील्ड्स प्रकाश व्यवस्था द्वारा परिभाषित किया जाता है।
वास्तव में, इसकी प्रभावशाली दृश्यों और नVIDIA द्वारा इसके उदार ग्रहण के बावजूद, न्यूरल रेडियंस फील्ड्स नोटब्ली ‘कठोर’ है – सीजीआई शब्दों में, ‘बेक्ड’। इसलिए, शोध समुदाय ने इसकी पारदर्शिता और बहुमुखी प्रतिभा में सुधार करने पर केंद्रित किया है।
महत्व के संदर्भ में, इस तरह के मील के पत्थर के लिए दांव उच्च हैं, और इसमें दृश्य प्रभाव उद्योग को एक रचनात्मक और सहयोगी मॉडल से एक मॉडल में बदलने की संभावना शामिल है, जो जाली पीढ़ी और मोशन डायनामिक्स और टेक्सचरिंग के आसपास केंद्रित है, एक मॉडल में जो व्युत्क्रम रेंडरिंग पर आधारित है, जहां वीएफएक्स पाइपलाइन वास्तविक दुनिया की तस्वीरों से ईंधन देती है (या यहां तक कि वास्तविक और संश्लेषित मॉडल की), न कि अनुमानित, कारीगरी अनुमानों के बजाय।
अब तक, न्यूरल रेडियंस फील्ड्स से दृश्य प्रभाव समुदाय के लिए बहुत कम चिंता का कारण है, कम से कम रिगिंग, नेस्टिंग, गहराई नियंत्रण, कल्पना… और निश्चित रूप से प्रकाश व्यवस्था के संबंध में। साथी वीडियो एक और नई पेपर के लिए, जो न्यूरल रेडियंस फील्ड्स ज्यामिति के लिए मूलभूत विकृतियां प्रदान करता है, सीजीआई और न्यूरल रेंडरिंग तकनीकों के वर्तमान राज्य के बीच विशाल अंतर को दर्शाता है।
तत्वों को छानना
फिर भी, चूंकि यह कहीं से शुरू करना आवश्यक है, नए पेपर के शोधकर्ताओं ने सीजीआई को एक मध्यवर्ती नियंत्रण और उत्पादन तंत्र के रूप में अपनाया है, जो अब जीएनएस और न्यूरल रेडियंस फील्ड्स के कठोर लेटेंट स्पेस के लिए एक सामान्य दृष्टिकोण है।
प्रभावी रूप से, केंद्रीय चुनौती वैश्विक प्रकाश व्यवस्था (जीआई, जिसका न्यूरल रेंडरिंग में सीधा अनुप्रयोग नहीं है) को एक समकक्ष पूर्वकालिक रेडियंस ट्रांसफर (पीआरटी, जिसे न्यूरल रेंडरिंग में अनुकूलित किया जा सकता है) गणना में परिवर्तित करना है।
जीआई एक अब प्रतिष्ठित सीजीआई रेंडरिंग तकनीक है जो यह मॉडल करती है कि प्रकाश कैसे सतहों से टकराता है और अन्य सतहों पर प्रतिबिंबित होता है, और इन प्रतिबिंबित प्रकाश क्षेत्रों को एक रेंडर में शामिल करता है, वास्तविकता के लिए।
(NVDA )पीआरटी का उपयोग नए दृष्टिकोण में एक मध्यवर्ती प्रकाश कार्य के रूप में किया जाता है, और यह एक विच्छिन्न और संपादकीय घटक है जो विच्छेदन प्राप्त करता है। नई विधि न्यूरल रेडियंस फील्ड्स वस्तु के सामग्री को एक सीखे हुए पीआरटी के साथ मॉडल करती है।
मूल डेटा का वास्तविक दृश्य प्रकाश व्यवस्था प्रक्रिया में एक पर्यावरण मानचित्र के रूप में पुनर्प्राप्त की जाती है, और दृश्य ज्यामिति स्वयं एक हस्ताक्षर दूरी क्षेत्र (एसडीएफ) के रूप में निकाली जाती है जो अंततः ब्लेंडर के लिए एक पारंपरिक जाली प्रदान करेगी वर्चुअल लाइट स्टेज में।
नई तकनीक के लिए पाइपलाइन का अवलोकन。
प्रक्रिया का पहला चरण कई दृश्य छवियों से दृश्य ज्यामिति को निकालना है, जो न्यूस अनुसंधान सहयोग में उपयोग की जाने वाली तकनीकों के माध्यम से अंतर्निहित सतह पुनर्निर्माण के माध्यम से किया जाता है।
प्रकाश डेटा को समायोजित करने वाले एक न्यूरल रेडियंस ट्रांसफर फील्ड (एनआरटीएफ) विकसित करने के लिए, शोधकर्ताओं ने मित्सुबा 2 रूपांतरित पथ ट्रेसर का उपयोग किया।
यह एक द्विदिश प्रकाश वितरण कार्य (बीएसडीएफ) के संयुक्त अनुकूलन के साथ-साथ एक प्रारंभिक पर्यावरण मानचित्र के निर्माण की सुविधा प्रदान करता है। एक बार बीएसडीएफ बन जाने के बाद, पथ ट्रेसर का उपयोग ब्लेंडर (ऊपर दिए गए एम्बेडेड वीडियो देखें) में एक-एक करके वर्चुअल ओएलएटी दृश्य रेंडर बनाने के लिए किया जा सकता है।
एनआरटीएफ को फोटोरियल सामग्री प्रभावों और सिंथेटिक डेटा के बीच एक संयुक्त नुकसान के साथ प्रशिक्षित किया जाता है, जो एक दूसरे के साथ जुड़े नहीं होते हैं।
नovel दृश्य सिंथेसिस और पुनः प्रकाश व्यवस्था की चुनौतियों पर न्यूरफैक्टर के साथ तुलना।
प्रकाश की ओर मार्ग
इस तकनीक के प्रशिक्षण आवश्यकताएं, यद्यपि मूल न्यूरल रेडियंस फील्ड्स प्रशिक्षण समय से कम हैं, महत्वहीन नहीं हैं। एक एनवीडिया क्वाड्रो आरटीएक्स 8000 पर 48GB के वीआरएएम के साथ, प्रारंभिक प्रकाश और टेक्सचर अनुमान के लिए प्रारंभिक प्रशिक्षण 30 मिनट लेता है; ओएलएटी प्रशिक्षण (अर्थात वर्चुअल लाइट स्टेज कैप्चर का प्रशिक्षण) 8 घंटे लेता है; और वास्तविक और सिंथेटिक डेटा के बीच अंतिम संयुक्त अनुकूलन 16 घंटे लेता है जब तक कि यह ऑप्टिमल गुणवत्ता तक नहीं पहुंच जाता।
इसके अलावा, परिणामी न्यूरल प्रतिनिधित्व वास्तविक समय में नहीं चल सकता है, शोधकर्ताओं के अनुसार ‘प्रति फ्रेम कई सेकंड’ लेता है।
शोधकर्ता निष्कर्ष निकालते हैं:
‘हमारे परिणाम वर्तमान राज्य की तुलना में एक स्पष्ट सुधार दिखाते हैं, जबकि भविष्य के कार्य में रनटाइम में सुधार और ज्यामिति, सामग्री और दृश्य प्रकाश व्यवस्था के संयुक्त तर्क शामिल हो सकते हैं।’
पहली बार 28 जुलाई 2022 को प्रकाशित किया गया।
