वास्तविक समय में एआई मानवों के साथ न्यूरल लुमिग्राफ रेंडरिंग

वर्तमान में न्यूरल रेडिएंस फील्ड्स (NeRF) में रुचि की लहर के बावजूद, जो एक प्रौद्योगिकी है जो एआई-जनित 3D वातावरण और वस्तुओं का निर्माण कर सकती है, यह नई छवि संश्लेषण प्रौद्योगिकी अभी भी प्रशिक्षण समय की बहुत आवश्यकता है और वास्तविक समय में उच्च प्रतिक्रिया देने वाले इंटरफेस को सक्षम करने वाले कार्यान्वयन की कमी है।

हालांकि, उद्योग और अकादमिक दोनों में कुछ प्रभावशाली नामों के बीच एक सहयोग इस चुनौती पर एक नया दृष्टिकोण प्रदान करता है (जिसे सामान्यतः नोवेल व्यू सिंथेसिस या एनवीएस के रूप में जाना जाता है)।

शोध पत्र, जिसका शीर्षक न्यूरल लुमिग्राफ रेंडरिंग है, दावा करता है कि राज्य की कला में लगभग दो क्रमों की सुधार है, जो वास्तविक समय में सीजी रेंडरिंग के माध्यम से मशीन लर्निंग पाइपलाइनों की ओर कई कदम हैं।

न्यूरल लुमिग्राफ रेंडरिंग (दाएं) पिछले तरीकों की तुलना में ब्लेंडिंग आर्टिफैक्ट्स और ऑक्लूजन के हैंडलिंग में बेहतर रिज़ॉल्यूशन प्रदान करता है। स्रोत.

हालांकि पत्र के लिए श्रेय केवल स्टैनफोर्ड विश्वविद्यालय और होलोग्राफिक डिस्प्ले तकनीक कंपनी रैक्सियम (वर्तमान में गुप्त मोड में संचालित) को दिया जाता है, योगदानकर्ताओं में गूगल में एक प्रमुख मशीन लर्निंग आर्किटेक्ट, एडोब में एक कंप्यूटर वैज्ञानिक, और सीटीओ शामिल हैं। स्टोरीफाइल (जिसने हाल ही में सुर्खियों में एक एआई संस्करण बनाने के लिए विलियम शैटनर के साथ काम किया है)।

हाल के शैटनर प्रचार अभियान के संबंध में, स्टोरीफाइल एनएलआर का उपयोग अपनी नई प्रक्रिया में कर रहा है जो व्यक्तिगत लोगों की विशेषताओं और कथाओं पर आधारित इंटरैक्टिव, एआई-जनित संस्थाओं का निर्माण करती है।

स्टोरीफाइल इस प्रौद्योगिकी का उपयोग संग्रहालय प्रदर्शनियों, ऑनलाइन इंटरैक्टिव कथाओं, होलोग्राफिक प्रदर्शनों, ऑगमेंटेड रियलिटी (एआर), और विरासत दस्तावेजीकरण में करने की कल्पना करता है – और संभावित रूप से भर्ती साक्षात्कार और वर्चुअल डेटिंग अनुप्रयोगों में एनएलआर के नए अनुप्रयोगों पर भी नजर रख रहा है:

स्टोरीफाइल द्वारा एक ऑनलाइन वीडियो से प्रस्तावित उपयोग। स्रोत: https://www.youtube.com/watch?v=2K9J6q5DqRc

नवीन दृश्य संश्लेषण इंटरफेस और वीडियो के लिए वॉल्यूमेट्रिक कैप्चर

वॉल्यूमेट्रिक कैप्चर का सिद्धांत, जो इस विषय पर जमा हो रहे पत्रों की श्रृंखला में, यह विचार है कि एक विषय की स्थिर छवियों या वीडियो लेना और मशीन लर्निंग का उपयोग करके उन दृष्टिकोणों को ‘इन-फिल’ करना जो मूल कैमरों की सरणी द्वारा कवर नहीं किए गए थे।

स्रोत: https://research.fb.com/wp-content/uploads/2019/06/Neural-Volumes-Learning-Dynamic-Renderable-Volumes-from-Images.pdf

उपरोक्त छवि में, जो फेसबुक के 2019 एआई शोध (नीचे देखें) से ली गई है, हम वॉल्यूमेट्रिक कैप्चर के चार चरण देखते हैं: कई कैमरे छवियों/फुटेज प्राप्त करते हैं; एनकोडर/डिकोडर आर्किटेक्चर (या अन्य आर्किटेक्चर) दृष्टिकोणों की सापेक्षता की गणना और संयोजन करता है; रे मार्चिंग एल्गोरिदम प्रत्येक बिंदु के वॉक्सेल (या अन्य एक्सवाईजेड स्थानिक ज्यामितीय इकाइयों) की गणना करता है; और (अधिकांश हाल के पत्रों में) प्रशिक्षण एक पूर्ण इकाई का संश्लेषण करने के लिए होता है जिसे वास्तविक समय में मानिपुलेट किया जा सकता है।

यह अक्सर व्यापक और डेटा-भारी प्रशिक्षण चरण है जो अब तक नोवेल व्यू सिंथेसिस को वास्तविक समय या उच्च प्रतिक्रिया वाले कैप्चर के क्षेत्र से बाहर रखा है।

नवीन दृश्य संश्लेषण एक पूर्ण 3D मानचित्र बनाता है जो एक वॉल्यूमेट्रिक स्थान का है, जो इसे एक पारंपरिक कंप्यूटर जनित मेश में जोड़ने के लिए अपेक्षाकृत सरल बनाता है, जो एक सीजीआई मानव (या किसी अन्य सापेक्ष रूप से बाउंडेड वस्तु) को फ्लाई पर कैप्चर और आर्टिकुलेट करता है।

नेफ़ पर निर्भर दृष्टिकोण बिंदु क्लाउड और गहराई मानचित्र पर निर्भर करते हैं जो कैप्चर उपकरणों के दुर्लभ बिंदुओं के बीच इंटरपोलेशन उत्पन्न करने के लिए:

नेफ़ गहराई मानचित्र की गणना के माध्यम से वॉल्यूमेट्रिक गहराई उत्पन्न कर सकता है, सीजी मेश के निर्माण के बजाय। स्रोत: https://www.youtube.com/watch?v=JuH79E8rdKc

हालांकि नेफ़ मेश की गणना करने में सक्षम है, अधिकांश कार्यान्वयन वॉल्यूमेट्रिक दृश्य उत्पन्न करने के लिए इसका उपयोग नहीं करते हैं।

इसके विपरीत, वेइज़मैन इंस्टीट्यूट ऑफ साइंस द्वारा अक्टूबर 2020 में प्रकाशित इम्प्लिसिट डिफरेंशियल रेंडरर (आईडीआर) दृष्टिकोण, 3D मेश जानकारी का शोषण करता है जो स्वचालित रूप से कैप्चर सरणियों से उत्पन्न होता है:

आईडीआर कैप्चर को इंटरैक्टिव सीजी मेश में बदलने के उदाहरण। स्रोत: https://www.youtube.com/watch?v=C55y7RhJ1fE

जबकि नेफ़ में आईडीआर की आकार अनुमान क्षमता नहीं है, आईडीआर नेफ़ की छवि गुणवत्ता से मेल नहीं खा सकता है, और दोनों को प्रशिक्षित करने और संकलित करने के लिए व्यापक संसाधनों की आवश्यकता होती है (हालांकि नेफ़ में हाल के नवाचार शुरू हो रहे हैं इसे संबोधित करने के लिए)।

एनएलआर का कस्टम कैमरा रिग जिसमें 16 गोप्रो हीरो 7 और 6 केंद्रीय बैक-बोन एच 7 प्रो कैमरे शामिल हैं। ‘रियल टाइम’ रेंडरिंग के लिए, वे कम से कम 60 एफपीएस पर संचालित होते हैं। स्रोत: https://arxiv.org/pdf/2103.11571.pdf

इसके बजाय, न्यूरल लुमिग्राफ रेंडरिंग सायरन (साइनसॉइडल रिप्रेजेंटेशन नेटवर्क) का उपयोग करके प्रत्येक दृष्टिकोण की ताकत को अपने फ्रेमवर्क में शामिल करता है, जो मौजूदा रियल-टाइम ग्राफिक्स पाइपलाइनों में सीधे उपयोग करने योग्य आउटपुट उत्पन्न करने के लिए है।

सायरन का उपयोग समान कार्यान्वयन के लिए पिछले एक वर्ष से किया जा रहा है, और अब छवि संश्लेषण समुदायों में एक लोकप्रिय एपीआई कॉल का प्रतिनिधित्व करता है; हालांकि, एनएलआर का नवाचार दो-आयामी मल्टी-व्यू इमेज पर्यवेक्षण में सायरन को लागू करना है, जो इस सीमा तक है कि सायरन उत्पादन को अधिक फिट करने के बजाय सामान्यीकृत आउटपुट प्रदान करता है।

एक बार सीजी मेश को सरणी छवियों से निकाल लिया जाता है, तो मेश को ओपनजीएल के माध्यम से रास्टराइज़ किया जाता है, और मेश के शीर्षलेख स्थितियों को उपयुक्त पिक्सेल में मैप किया जाता है, जिसके बाद विभिन्न योगदानकर्ता मानचित्रों के मिश्रण की गणना की जाती है।

परिणामी मेश नेफ़ की तुलना में अधिक सामान्य और प्रतिनिधि है (नीचे दी गई छवि देखें), कम गणना की आवश्यकता होती है, और उन क्षेत्रों (जैसे चिकनी चेहरे की त्वचा) में अत्यधिक विवरण नहीं जोड़ता है जो इसका लाभ नहीं उठा सकते हैं:

स्रोत: https://arxiv.org/pdf/2103.11571.pdf

नकारात्मक पक्ष पर, एनएलआर में अभी तक गतिशील प्रकाश या रीलाइटिंग की कोई क्षमता नहीं है, और आउटपुट कैप्चर के समय प्राप्त छाया मानचित्र और अन्य प्रकाश विचारों तक सीमित है। शोधकर्ता भविष्य के कार्य में इसका समाधान करने का इरादा रखते हैं।

इसके अलावा, पत्र स्वीकार करता है कि एनएलआर द्वारा उत्पन्न आकार कुछ वैकल्पिक दृष्टिकोणों की तुलना में उतने सटीक नहीं हैं, जैसे कि पिक्सेलवाइज़ व्यू सिलेक्शन फॉर अनस्ट्रक्चर्ड मल्टी-व्यू स्टीरियो, या वेइज़मैन इंस्टीट्यूट द्वारा उल्लिखित शोध।

वॉल्यूमेट्रिक इमेज सिंथेसिस का उदय

न्यूरल नेटवर्क के साथ सीमित श्रृंखला की तस्वीरों से 3D संस्थाओं का निर्माण करने का विचार नेफ़ से पहले का है, जिसमें 2007 या उससे पहले के दूरदर्शी पत्र हैं। 2019 में, फेसबुक के एआई शोध विभाग ने एक मौलिक शोध पत्र प्रस्तुत किया, न्यूरल वॉल्यूम्स: लर्निंग डायनामिक रेंडरेबल वॉल्यूम्स फ्रॉम इमेजेज, जिसने पहली बार मशीन लर्निंग-आधारित वॉल्यूमेट्रिक कैप्चर द्वारा उत्पन्न सिंथेटिक मानवों के लिए प्रतिक्रियाशील इंटरफेस का निर्माण संभव बनाया।

फेसबुक के 2019 शोध ने एक वॉल्यूमेट्रिक व्यक्ति के लिए एक प्रतिक्रियाशील उपयोगकर्ता इंटरफेस का निर्माण संभव बनाया। स्रोत: https://research.fb.com/publications/neural-volumes-learning-dynamic-renderable-volumes-from-images/