एडोबी: न्यूरल रेंडरिंग के साथ वास्तविक दुनिया को फिर से रोशन करना

एडोबी के शोधकर्ताओं ने वास्तविक दुनिया के इनडोर दृश्यों के लिए एक न्यूरल रेंडरिंग सिस्टम बनाया है जो जटिल रीलाइटिंग, वास्तविक समय इंटरफेस और चमकदार सतहों और प्रतिबिंबों को संभाल सकता है – न्यूरल रेडिएंस फील्ड्स (नेर्फ) जैसी प्रतिस्पर्धी छवि सिंथेसिस विधियों के लिए एक उल्लेखनीय चुनौती।

यहाँ, एक वास्तविक दुनिया का दृश्य कई स्थिर छवियों से पुनर्निर्मित किया गया है, जिससे दृश्य नेविगेट करने योग्य हो जाता है। प्रकाश जोड़ा जा सकता है और रंग और गुणवत्ता में बदला जा सकता है, जबकि प्रतिबिंब सटीक रहते हैं और चमकदार सतहें उपयोगकर्ता के प्रकाश स्रोतों और/या शैलियों में परिवर्तन को सही ढंग से व्यक्त करती हैं। स्रोत: https://www.youtube.com/watch?v=d3ma4opFpgM

नया सिस्टम एक वास्तविक 3डी दृश्य के प्रकाश पहलुओं पर फोटोशॉप-शैली, जीयूआई-निर्देशित नियंत्रण की अनुमति देता है जो एक न्यूरल स्पेस में कब्जा कर लिया गया है, जिसमें छाया और प्रतिबिंब शामिल हैं।

जीयूआई एक उपयोगकर्ता को एक वास्तविक दुनिया के दृश्य में एक प्रकाश स्रोत जोड़ने और समायोजित करने की अनुमति देता है जो कुछ फोटो से पुनर्निर्मित किया गया है, और इसे एक सीजीआई-शैली के मेश-आधारित दृश्य की तरह नेविगेट करने की अनुमति देता है।

पेपर, जो एसीएम ट्रांजेक्शन्स ऑन ग्राफिक्स में जमा किया गया है और जिसका शीर्षक फ्री-व्यूपॉइंट इंडोर न्यूरल रीलाइटिंग फ्रॉम मल्टी-व्यू स्टीरियो है, एडोबी रिसर्च और यूनिवर्सिटी कोटे डी’अज़ूर के शोधकर्ताओं के बीच एक सहयोग है।

स्रोत: https://arxiv.org/ftp/arxiv/papers/2106/2106.13299.pdf (पूर्ण-रेस वेर्जन देखने के लिए क्लिक करें)

न्यूरल रेडिएंस फील्ड्स (नेर्फ) की तरह, सिस्टम फोटोग्रामेट्री (ऊपर बाएं) का उपयोग करता है, जिसमें दृश्य की समझ कुछ फोटोग्राफ से अनुमानित होती है, और ‘गायब’ दृश्यों को मशीन लर्निंग के माध्यम से प्रशिक्षित किया जाता है जब तक कि दृश्य का एक पूर्ण और पूरी तरह से अमूर्त मॉडल व्याख्या के लिए उपलब्ध नहीं हो जाता।

सिस्टम को पूरी तरह से सिंथेटिक (सीजीआई) डेटा पर प्रशिक्षित किया गया है, लेकिन 3डी मॉडल का उपयोग वास्तविक दृश्य की तस्वीरें लेने के लिए किया जाता है। ऊपर दी गई छवि एक सिंथेटिक दृश्य को फिर से रोशन करती है, लेकिन ऊपरी (एनिमेटेड) छवि में ‘बेडरूम’ दृश्य वास्तविक कमरे में ली गई वास्तविक तस्वीरों से प्राप्त किया गया है।

दृश्य का अंतर्निहित प्रतिनिधित्व स्रोत सामग्री से एक कन्वोल्यूशनल न्यूरल नेटवर्क (सीएनएन) के माध्यम से प्राप्त किया जाता है, और प्रतिबिंब, स्रोत विकिरण (रेडियोसिटी/ग्लोबल इल्यूमिनेशन) और अल्बेडो जैसे कई परतों में विभाजित किया जाता है।

एडोबी रीलाइटिंग सिस्टम का आर्किटेक्चर। मल्टी-व्यू डेटासेट को प्रीप्रोसेस किया जाता है, और 3डी मेश ज्यामिति इनपुट डेटा से उत्पन्न की जाती है। जब एक नए प्रकाश स्रोत को जोड़ने की आवश्यकता होती है, तो विकिरण की गणना वास्तविक समय में की जाती है, और रीलिट व्यू सिंथेसाइज़ की जाती है। (पूर्ण-रेस वेर्जन देखने के लिए क्लिक करें)

एल्गोरिदम पारंपरिक रे ट्रेसिंग (मोंटे कार्लो) और इमेज-आधारित रेंडरिंग (आईबीआर, न्यूरल रेंडरिंग) के तत्वों को जोड़ती है।

हाल के कई शोधों में न्यूरल रेडिएंस फील्ड्स के साथ 3डी ज्यामिति को फ्लैट छवियों से निकालने पर ध्यान केंद्रित किया गया है, लेकिन एडोबी का ऑफर पहली बार है जब इस तरीके से उच्च स्तर की रीलाइटिंग का प्रदर्शन किया गया है।

एल्गोरिदम एक और पारंपरिक सीमा को भी दूर करता है, एक पूर्ण प्रतिबिंब मानचित्र की गणना करके, जहां छवि के हर हिस्से को 100% प्रतिबिंबित सामग्री सौंपी जाती है।

मिरर्ड टेक्सचर प्रकाश पथों को मैप आउट करते हैं। (पूर्ण-रेस वेर्जन देखने के लिए क्लिक करें)

इस एकीकृत प्रतिबिंब मानचित्र के साथ, यह संभव है कि विभिन्न प्रकार की सामग्री जैसे लकड़ी, धातु और पत्थर में प्रतिबिंब के विभिन्न स्तरों को समायोजित करने के लिए प्रतिबिंब को ‘डायल डाउन’ किया जा सके। प्रतिबिंब मानचित्र (ऊपर) भी एक पूर्ण टेम्पलेट प्रदान करता है जो प्रकाश मानचित्र के लिए पुनः उपयोग किया जा सकता है।

एडोबी न्यूरल रेंडरिंग सिस्टम की अन्य परतें। (पूर्ण-रेस वेर्जन देखने के लिए क्लिक करें)

दृश्य की प्रारंभिक कब्जा 250-350 रॉ फोटो से की जाती है, जिससे एक मेश की गणना मल्टी-व्यू स्टीरियो के माध्यम से की जाती है। डेटा को 2डी इनपुट फीचर मैप में सारांशित किया जाता है जो तब नए दृश्य में पुनः प्रोजेक्ट किया जाता है। प्रकाश में परिवर्तन की गणना कब्जा किए गए दृश्य की अपारदर्शी और चमकदार परतों को औसत करके की जाती है।

द मिरर-इमेज परत एक तेजी से एकल-रे मिरर गणना (एक बाउंस) के माध्यम से उत्पन्न की जाती है, जो मूल स्रोत मान और फिर लक्ष्य मान का अनुमान लगाती है। दृश्य के मूल प्रकाश के बारे में जानकारी वाले मानचित्रों को न्यूरल डेटा में संग्रहीत किया जाता है, जैसा कि अक्सर पारंपरिक सीजीआई दृश्य डेटा के साथ रेडियोसिटी मानचित्र संग्रहीत किए जाते हैं।

न्यूरल रेंडरिंग प्रतिबिंबों का समाधान

शायद काम की प्राथमिक उपलब्धि प्रतिबिंब जानकारी को अपारदर्शी और अन्य परतों से डिकपलिंग करना है। गणना समय को कम रखा जाता है bằng यह सुनिश्चित करके कि लाइव ‘प्रतिबिंब’-सक्षम दृश्य, जैसे कि दर्पण, केवल सक्रिय उपयोगकर्ता दृश्य के लिए गणना की जाती है, न कि पूरे दृश्य के लिए।

शोधकर्ता दावा करते हैं कि यह काम मुक्त-दृश्य नेविगेशन क्षमताओं के साथ रीलाइटिंग क्षमताओं को मिलाने वाला पहला काम है जो वास्तविक दुनिया के दृश्यों में वास्तविक रूप से प्रतिबिंबित सतहों को पुनरुत्पादित करता है।

इस कार्यक्षमता को प्राप्त करने के लिए कुछ बलिदान दिए गए हैं, और शोधकर्ता स्वीकार करते हैं कि पहले के तरीके जो अधिक जटिल प्रति-दृश्य मेश का उपयोग करते हैं वे छोटे वस्तुओं के लिए बेहतर ज्यामिति प्रदर्शित करते हैं। एडोबी दृष्टिकोण के लिए भविष्य के दिशानिर्देशों में इस पहलू में सुधार के लिए प्रति-दृश्य ज्यामिति का उपयोग शामिल है।