Anderson का एंगल

वास्तविक समय में एआई मानवों के साथ न्यूरल लुमिग्राफ रेंडरिंग

Martin Anderson
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
Neural Lumigraph Rendering
मुख्य बिंदुन्यूरल ल्यूमिग्राफ रेंडरिंग नेफ (NeRF) की तुलना में लगभग दो कोटि (two orders of…
और देखें
  • न्यूरल ल्यूमिग्राफ रेंडरिंग नेफ (NeRF) की तुलना में लगभग दो कोटि (two orders of magnitude) तक सुधार करता है।
  • NLR वास्तविक-समय ग्राफ़िक्स के लिए NeRF और IDR की शक्तियों को संयोजित करने हेतु SIREN नेटवर्क का उपयोग करता है।
  • NLR में गतिशील प्रकाश और पुनःप्रकाश (relighting) क्षमताओं का अभाव है, जिससे आउटपुट कैप्चर-समय की प्रकाश-व्यवस्था तक सीमित रहता है।

वर्तमान में न्यूरल रेडिएंस फील्ड्स (NeRF) में रुचि की लहर के बावजूद, जो एक प्रौद्योगिकी है जो एआई-जनित 3D वातावरण और वस्तुओं का निर्माण कर सकती है, यह नई छवि संश्लेषण प्रौद्योगिकी अभी भी प्रशिक्षण समय की बहुत आवश्यकता है और वास्तविक समय में उच्च प्रतिक्रिया देने वाले इंटरफेस को सक्षम करने वाले कार्यान्वयन की कमी है।

हालांकि, उद्योग और अकादमिक दोनों में कुछ प्रभावशाली नामों के बीच एक सहयोग इस चुनौती पर एक नया दृष्टिकोण प्रदान करता है (जिसे सामान्यतः नोवेल व्यू सिंथेसिस या एनवीएस के रूप में जाना जाता है)।

शोध पत्र, जिसका शीर्षक न्यूरल लुमिग्राफ रेंडरिंग है, दावा करता है कि अत्याधुनिक तकनीक की तुलना में लगभग दो परिमाण-क्रमों (लगभग 100 गुना) का सुधार है, जो वास्तविक समय में सीजी रेंडरिंग के माध्यम से मशीन लर्निंग पाइपलाइनों की ओर कई कदम हैं।

न्यूरल लुमिग्राफ रेंडरिंग (दाएं) पिछले तरीकों की तुलना में ब्लेंडिंग आर्टिफैक्ट्स को बेहतर ढंग से दूर करने और ऑक्लूजन को संभालने की बेहतर क्षमता प्रदान करता है। स्रोत: https://www.youtube.com/watch?v=maVF-7x9644

न्यूरल लुमिग्राफ रेंडरिंग (दाएं) पिछले तरीकों की तुलना में ब्लेंडिंग आर्टिफैक्ट्स को बेहतर ढंग से दूर करने और ऑक्लूजन को संभालने की बेहतर क्षमता प्रदान करता है। स्रोत.

हालांकि पत्र के लिए श्रेय केवल स्टैनफोर्ड विश्वविद्यालय और होलोग्राफिक डिस्प्ले तकनीक कंपनी रैक्सियम (वर्तमान में गुप्त मोड में संचालित) को दिया जाता है, योगदानकर्ताओं में गूगल में एक प्रमुख मशीन लर्निंग आर्किटेक्ट, एडोब में एक कंप्यूटर वैज्ञानिक, और स्टोरीफाइल के सीटीओ शामिल हैं। यह कंपनी (जिसने हाल ही में सुर्खियों में विलियम शैटनर का एआई संस्करण बनाने के कारण जगह बनाई है)।

(ADBE )

हाल के शैटनर प्रचार अभियान के संबंध में, स्टोरीफाइल एनएलआर का उपयोग अपनी नई प्रक्रिया में करता हुआ प्रतीत होता है जो व्यक्तिगत लोगों की विशेषताओं और कथाओं पर आधारित इंटरैक्टिव, एआई-जनित संस्थाओं का निर्माण करती है।

स्टोरीफाइल इस प्रौद्योगिकी का उपयोग संग्रहालय प्रदर्शनियों, ऑनलाइन इंटरैक्टिव कथाओं, होलोग्राफिक प्रदर्शनों, ऑगमेंटेड रियलिटी (एआर), और विरासत दस्तावेजीकरण में करने की कल्पना करता है – और संभावित रूप से भर्ती साक्षात्कार और वर्चुअल डेटिंग अनुप्रयोगों में एनएलआर के नए अनुप्रयोगों पर भी नजर रख रहा है:

स्टोरीफाइल द्वारा एक ऑनलाइन वीडियो से प्रस्तावित उपयोग। स्रोत:

स्टोरीफाइल द्वारा एक ऑनलाइन वीडियो से प्रस्तावित उपयोग।

नवीन दृश्य संश्लेषण इंटरफेस और वीडियो के लिए वॉल्यूमेट्रिक कैप्चर

वॉल्यूमेट्रिक कैप्चर का सिद्धांत, जो इस विषय पर जमा हो रहे पत्रों की श्रृंखला में, यह विचार है कि एक विषय की स्थिर छवियों या वीडियो लेना और मशीन लर्निंग का उपयोग करके उन दृष्टिकोणों को ‘इन-फिल’ करना जो मूल कैमरों की सरणी द्वारा कवर नहीं किए गए थे।

स्रोत: https://research.fb.com/wp-content/uploads/2019/06/Neural-Volumes-Learning-Dynamic-Renderable-Volumes-from-Images.pdf

स्रोत: https://research.fb.com/wp-content/uploads/2019/06/Neural-Volumes-Learning-Dynamic-Renderable-Volumes-from-Images.pdf

उपरोक्त छवि में, जो फेसबुक के 2019 एआई शोध (नीचे देखें) से ली गई है, हम वॉल्यूमेट्रिक कैप्चर के चार चरण देखते हैं: कई कैमरे छवियों/फुटेज प्राप्त करते हैं; एनकोडर/डिकोडर आर्किटेक्चर (या अन्य आर्किटेक्चर) दृष्टिकोणों की सापेक्षता की गणना और संयोजन करता है; रे मार्चिंग एल्गोरिदम प्रत्येक बिंदु के वॉक्सेल (या अन्य एक्सवाईजेड स्थानिक ज्यामितीय इकाइयों) की गणना करता है; और (अधिकांश हाल के पत्रों में) प्रशिक्षण एक पूर्ण इकाई का संश्लेषण करने के लिए होता है जिसे वास्तविक समय में मानिपुलेट किया जा सकता है।

यह अक्सर व्यापक और डेटा-भारी प्रशिक्षण चरण है जो अब तक नोवेल व्यू सिंथेसिस को वास्तविक समय या उच्च प्रतिक्रिया वाले कैप्चर के क्षेत्र से बाहर रखा है।

नवीन दृश्य संश्लेषण एक पूर्ण 3D मानचित्र बनाता है जो एक वॉल्यूमेट्रिक स्थान का है, जो इसे एक पारंपरिक कंप्यूटर जनित मेश में जोड़ने के लिए अपेक्षाकृत सरल बनाता है, जो एक सीजीआई मानव (या किसी अन्य सापेक्ष रूप से बाउंडेड वस्तु) को फ्लाई पर कैप्चर और आर्टिकुलेट करता है।

NeRF पर निर्भर दृष्टिकोण बिंदु क्लाउड और गहराई मानचित्र पर निर्भर करते हैं जो कैप्चर उपकरणों के विरल दृष्टिकोणों के बीच इंटरपोलेशन उत्पन्न करने के लिए:

NeRF गहराई मानचित्र की गणना के माध्यम से वॉल्यूमेट्रिक गहराई उत्पन्न कर सकता है, सीजी मेश के निर्माण के बजाय। स्रोत: https://www.youtube.com/watch?v=JuH79E8rdKc

NeRF गहराई मानचित्र की गणना के माध्यम से वॉल्यूमेट्रिक गहराई उत्पन्न कर सकता है, सीजी मेश के निर्माण के बजाय। स्रोत: https://www.youtube.com/watch?v=JuH79E8rdKc

हालांकि NeRF मेश की गणना करने में सक्षम है, अधिकांश कार्यान्वयन वॉल्यूमेट्रिक दृश्य उत्पन्न करने के लिए इसका उपयोग नहीं करते हैं।

इसके विपरीत, वेइज़मैन इंस्टीट्यूट ऑफ साइंस द्वारा अक्टूबर 2020 में प्रकाशित इम्प्लिसिट डिफरेंशियल रेंडरर (आईडीआर) दृष्टिकोण, 3D मेश जानकारी का शोषण करता है जो स्वचालित रूप से कैप्चर सरणियों से उत्पन्न होता है:

आईडीआर कैप्चर को इंटरैक्टिव सीजी मेश में बदलने के उदाहरण। स्रोत: https://www.youtube.com/watch?v=C55y7RhJ1fE

आईडीआर कैप्चर को इंटरैक्टिव सीजी मेश में बदलने के उदाहरण। स्रोत: https://www.youtube.com/watch?v=C55y7RhJ1fE

जबकि NeRF में आईडीआर की आकार अनुमान क्षमता नहीं है, आईडीआर NeRF की छवि गुणवत्ता से मेल नहीं खा सकता है, और दोनों को प्रशिक्षित करने और संकलित करने के लिए व्यापक संसाधनों की आवश्यकता होती है (हालांकि NeRF में हाल के नवाचार शुरू हो रहे हैं इसे संबोधित करने के लिए)।

एनएलआर का कस्टम कैमरा रिग जिसमें 16 GoPro HERO7 और 6 केंद्रीय Back-Bone H7PRO कैमरे शामिल हैं। 'रियल टाइम' रेंडरिंग के लिए, वे कम से कम 60 एफपीएस पर संचालित होते हैं। स्रोत: https://arxiv.org/pdf/2103.11571.pdf

एनएलआर का कस्टम कैमरा रिग जिसमें 16 GoPro HERO7 और 6 केंद्रीय Back-Bone H7PRO कैमरे शामिल हैं। ‘रियल टाइम’ रेंडरिंग के लिए, वे कम से कम 60 एफपीएस पर संचालित होते हैं। स्रोत: https://arxiv.org/pdf/2103.11571.pdf

इसके बजाय, न्यूरल लुमिग्राफ रेंडरिंग SIREN (साइनसॉइडल रिप्रेजेंटेशन नेटवर्क) का उपयोग करके प्रत्येक दृष्टिकोण की ताकत को अपने फ्रेमवर्क में शामिल करता है, जो मौजूदा रियल-टाइम ग्राफिक्स पाइपलाइनों में सीधे उपयोग करने योग्य आउटपुट उत्पन्न करने के लिए है।

SIREN का उपयोग समान कार्यान्वयन के लिए पिछले एक वर्ष से किया जा रहा है, और अब छवि संश्लेषण समुदायों में शौकिया Colab नोटबुक के लिए एक लोकप्रिय एपीआई कॉल का प्रतिनिधित्व करता है; हालांकि, एनएलआर का नवाचार दो-आयामी मल्टी-व्यू इमेज पर्यवेक्षण में SIREN को लागू करना है, यह चुनौतीपूर्ण है क्योंकि SIREN सामान्यीकृत परिणामों के बजाय अतिअनुकूलित (ओवरफिट) परिणाम उत्पन्न करता है।

एक बार सीजी मेश को सरणी छवियों से निकाल लिया जाता है, तो मेश को OpenGL के माध्यम से रास्टराइज़ किया जाता है, और मेश के शीर्ष बिंदुओं की स्थितियों को उपयुक्त पिक्सेल में मैप किया जाता है, जिसके बाद विभिन्न योगदानकर्ता मानचित्रों के मिश्रण की गणना की जाती है।

परिणामी मेश NeRF की तुलना में अधिक सामान्य और प्रतिनिधि है (नीचे दी गई छवि देखें), कम गणना की आवश्यकता होती है, और उन क्षेत्रों (जैसे चिकनी चेहरे की त्वचा) में अत्यधिक विवरण नहीं जोड़ता है जो इसका लाभ नहीं उठा सकते हैं:

स्रोत: https://arxiv.org/pdf/2103.11571.pdf

स्रोत: https://arxiv.org/pdf/2103.11571.pdf

नकारात्मक पक्ष पर, एनएलआर में अभी तक गतिशील प्रकाश या रीलाइटिंग की कोई क्षमता नहीं है, और आउटपुट कैप्चर के समय प्राप्त छाया मानचित्र और अन्य प्रकाश विचारों तक सीमित है। शोधकर्ता भविष्य के कार्य में इसका समाधान करने का इरादा रखते हैं।

इसके अलावा, पत्र स्वीकार करता है कि एनएलआर द्वारा उत्पन्न आकार कुछ वैकल्पिक दृष्टिकोणों की तुलना में उतने सटीक नहीं हैं, जैसे कि पिक्सेलवाइज़ व्यू सिलेक्शन फॉर अनस्ट्रक्चर्ड मल्टी-व्यू स्टीरियो, या वेइज़मैन इंस्टीट्यूट द्वारा उल्लिखित शोध।

वॉल्यूमेट्रिक इमेज सिंथेसिस का उदय

न्यूरल नेटवर्क के साथ सीमित श्रृंखला की तस्वीरों से 3D संस्थाओं का निर्माण करने का विचार NeRF से पहले का है, जिसमें 2007 या उससे पहले के दूरदर्शी पत्र हैं। 2019 में, फेसबुक के एआई शोध विभाग ने एक मौलिक शोध पत्र प्रस्तुत किया, न्यूरल वॉल्यूम्स: लर्निंग डायनामिक रेंडरेबल वॉल्यूम्स फ्रॉम इमेजेज, जिसने पहली बार मशीन लर्निंग-आधारित वॉल्यूमेट्रिक कैप्चर द्वारा उत्पन्न सिंथेटिक मानवों के लिए प्रतिक्रियाशील इंटरफेस का निर्माण संभव बनाया।

फेसबुक के 2019 शोध ने एक वॉल्यूमेट्रिक व्यक्ति के लिए एक प्रतिक्रियाशील उपयोगकर्ता इंटरफेस का निर्माण संभव बनाया। स्रोत: https://research.fb.com/publications/neural-volumes-learning-dynamic-renderable-volumes-from-images/

फेसबुक के 2019 शोध ने एक वॉल्यूमेट्रिक व्यक्ति के लिए एक प्रतिक्रियाशील उपयोगकर्ता इंटरफेस का निर्माण संभव बनाया। स्रोत: https://research.fb.com/publications/neural-volumes-learning-dynamic-renderable-volumes-from-images/

Martin Anderson

मशीन लर्निंग पर लेखक, मानव छवि संश्लेषण में डोमेन विशेषज्ञ। Metaphysic.ai में शोध सामग्री के पूर्व प्रमुख, जब तक यह DNEG की Brahma.ai में विलीन नहीं हो गया।
वेबसाइट: martinanderson.ai
संपर्क: martin@martinanderson.ai