रिगएनआरएफ: एक नया डीपफेक्स तरीका जो न्यूरल रेडिएंस फील्ड्स का उपयोग करता है

एडोबी में विकसित नए शोध ने न्यूरल रेडिएंस फील्ड्स (NeRF) पर आधारित पहली व्यावहारिक और प्रभावी डीपफेक्स तरीका प्रदान किया है – शायद 2017 में डीपफेक्स के उदय के बाद पांच वर्षों में वास्तुकला या दृष्टिकोण में पहली वास्तविक नवाचार।

इस तरीके को रिगएनआरएफ कहा जाता है, जो 3D मोर्फेबल फेस मॉडल (3DMMs) का उपयोग एक मध्यवर्ती परत के रूप में करता है जो वांछित इनपुट (अर्थात् नेरफ रेंडर में लगाया जाने वाला पहचान) और न्यूरल स्पेस के बीच एक मध्यवर्ती परत के रूप में कार्य करता है, जो एक तरीका है जो हाल के वर्षों में जेनरेटिव एडवर्सेरियल नेटवर्क (GAN) फेस सिंथेसिस दृष्टिकोण द्वारा व्यापक रूप से अपनाया गया है, जिनमें से कोई भी अभी तक वीडियो के लिए कार्यात्मक और उपयोगी चेहरा प्रतिस्थापन फ्रेमवर्क नहीं दिया है।

पारंपरिक डीपफेक्स वीडियो के विपरीत, यहाँ दिखाए गए गतिशील सामग्री में से कोई भी ‘वास्तविक’ नहीं है, बल्कि एक अन्वेषणीय न्यूरल स्पेस है जो संक्षिप्त फुटेज पर प्रशिक्षित किया गया है। दाईं ओर हम 3D मोर्फेबल फेस मॉडल (3DMM) को नेरफ विज़ुअलाइज़ेशन के सामान्य-स्तब्ध पैरामीटर और वांछित हेरफेर (‘मुस्कराएं’, ‘बाएं देखें’, ‘ऊपर देखें’, आदि) के बीच एक इंटरफ़ेस के रूप में कार्य करते हुए देखते हैं। इस क्लिप के उच्च-रिज़ॉल्यूशन संस्करण के लिए, साथ ही अन्य उदाहरण, परियोजना पृष्ठ पर जाएं, या इस लेख के अंत में एम्बेडेड वीडियो देखें। स्रोत: https://shahrukhathar.github.io/2022/06/06/RigNeRF.html स्रोत: https://shahrukhathar.github.io/2022/06/06/RigNeRF.html

3DMMs प्रभावी रूप से फेस के सीजीआई मॉडल हैं, जिनके पैरामीटर को अधिक अमूर्त छवि संश्लेषण प्रणालियों में अनुकूलित किया जा सकता है, जैसे कि नेरफ और जीएन, जो अन्यथा नियंत्रित करने में कठिन होते हैं।

उपरोक्त छवि में (मध्य छवि, नीले शर्ट वाला आदमी), साथ ही नीचे की छवि (बाएं, नीले शर्ट वाला आदमी) में, एक ‘वास्तविक’ वीडियो में एक छोटा सा ‘नकली’ चेहरा नहीं है, बल्कि एक पूरी तरह से संश्लेषित दृश्य है जो केवल एक वॉल्यूमेट्रिक न्यूरल रेंडरिंग के रूप में मौजूद है – इसमें शरीर और पृष्ठभूमि भी शामिल है:

उपरोक्त उदाहरण में, वास्तविक जीवन का वीडियो (लाल पोशाक वाली महिला) रिगएनआरएफ के माध्यम से बाएं (नीले शर्ट वाला आदमी) पर कब्जा किए गए पहचान को ‘पपेट’ करने के लिए उपयोग किया जाता है, जो (लेखकों का दावा है) पहला नेरफ-आधारित प्रणाली है जो मुद्रा और अभिव्यक्ति को अलग करते हुए नए दृश्य संश्लेषण करने में सक्षम है।

उपरोक्त छवि में बाएं स्थित पुरुष को 70 सेकंड के स्मार्टफोन वीडियो से ‘कैप्चर’ किया गया था, और इनपुट डेटा (संपूर्ण दृश्य जानकारी सहित) को 4 वी100 जीपीयू पर प्रशिक्षित किया गया था ताकि दृश्य प्राप्त किया जा सके।

चूंकि 3DMM-शैली के पैरामेट्रिक रिग्स पूरे शरीर के पैरामेट्रिक सीजीआई प्रॉक्सी के रूप में भी उपलब्ध हैं (केवल चेहरे के रिग्स के बजाय), रिगएनआरएफ पूरे शरीर के डीपफेक्स की संभावना को खोलता है, जहां वास्तविक मानव आंदोलन, बनावट और अभिव्यक्ति सीजीआई-आधारित पैरामेट्रिक परत में पारित की जाती है, जो तब क्रिया और अभिव्यक्ति को नेरफ वातावरण और वीडियो में अनुवादित करती है।

रिगएनआरएफ के बारे में – क्या यह वर्तमान अर्थ में एक डीपफेक्स तरीका के रूप में योग्य है जिस तरह से हेडलाइंस इस शब्द को समझते हैं? या यह केवल डीपफेसलैब और अन्य श्रमसाध्य, 2017-युग के ऑटोएनकोडर डीपफेक्स प्रणालियों के लिए एक और अर्ध-विकलांग भी है?

नया पेपर के शोधकर्ता इस बिंदु पर स्पष्ट हैं:

‘चेहरों को पुनः जीवित करने में सक्षम होने के नाते, रिगएनआरएफ खराब अभिनेताओं द्वारा डीपफेक्स बनाने के लिए दुरुपयोग के लिए प्रवण है।’

नया पेपर शीर्षक रिगएनआरएफ: पूरी तरह से नियंत्रित न्यूरल 3डी पोर्ट्रेट है, और स्टोनीब्रुक विश्वविद्यालय के शाहरुख अथर से आता है, जो रिगएनआरएफ के विकास के दौरान एडोबी में एक इंटर्न था, और एडोबी रिसर्च से चार अन्य लेखक।

ऑटोएनकोडर-आधारित डीपफेक्स से परे

पिछले कुछ वर्षों में सुर्खियों में आए अधिकांश वायरल डीपफेक्स ऑटोएनकोडर-आधारित प्रणालियों द्वारा उत्पादित किए जाते हैं, जो 2017 में प्रतिबंधित r/deepfakes सबरेडिट पर प्रकाशित कोड से व्युत्पन्न होते हैं – हालांकि इससे पहले कि यह गिटहब पर कॉपी किया गया था, जहां यह वर्तमान में एक हजार से अधिक बार फोर्क किया गया है, जिसमें लोकप्रिय (हालांकि विवादास्पद) डीपफेसलैब वितरण भी शामिल है, और फेसस्वैप परियोजना भी।

इसके अलावा जीएन और नेरफ, ऑटोएनकोडर फ्रेमवर्क ने भी 3DMMs को चेहरे संश्लेषण फ्रेमवर्क में सुधार के लिए ‘मार्गदर्शक’ के रूप में प्रयोग किया है। जुलाई 2021 से हिफीफेस प्रोजेक्ट इसका एक उदाहरण है। हालांकि, इस दृष्टिकोण से कोई भी उपयोगी या लोकप्रिय पहल नहीं लगती है जो अब तक विकसित हुई है।

रिगएनआरएफ दृश्यों के लिए डेटा छोटे स्मार्टफोन वीडियो को कैप्चर करके प्राप्त किया जाता है। परियोजना के लिए, रिगएनआरएफ के शोधकर्ताओं ने सभी प्रयोगों के लिए एक आईफोन एक्सआर या एक आईफोन 12 का उपयोग किया। कैप्चर के पहले भाग के लिए, विषय को विभिन्न चेहरे के भाव और बोलते समय अपने सिर को स्थिर रखते हुए विभिन्न चेहरे के भाव करने के लिए कहा जाता है, जबकि कैमरा उनके चारों ओर घूमता है।

कैप्चर के दूसरे भाग के लिए, कैमरा एक निश्चित स्थिति बनाए रखता है, जबकि विषय को विभिन्न अभिव्यक्तियों को प्रदर्शित करते हुए अपना सिर घुमाना होता है। परिणामी 40-70 सेकंड का फुटेज (लगभग 1200-2100 फ्रेम) प्रशिक्षण के लिए उपयोग किए जाने वाले पूरे डेटासेट का प्रतिनिधित्व करता है।

डेटा-संग्रह में कटौती

इसके विपरीत, ऑटोएनकोडर प्रणालियों जैसे डीपफेसलैब को विभिन्न फोटो के संग्रह और क्यूरेशन की आवश्यकता होती है, जो अक्सर यूट्यूब वीडियो और अन्य सोशल मीडिया चैनलों से ली जाती हैं, साथ ही सेलिब्रिटी डीपफेक्स के मामले में फिल्मों से।

परिणामी प्रशिक्षित ऑटोएनकोडर मॉडल अक्सर विभिन्न स्थितियों में उपयोग किए जाने के लिए अभिप्रेत होते हैं। हालांकि, सबसे अधिक उत्साही ‘सेलिब्रिटी’ डीपफेकर एकल वीडियो के लिए पूरी तरह से मॉडल को प्रशिक्षित कर सकते हैं,尽管 प्रशिक्षण में एक सप्ताह या अधिक का समय लग सकता है।

नए काम में रेखांकित डेटा कैप्चर पर प्रतिबंधों को देखते हुए, यह सीमित डेटासेट वाले डीपफेक्स प्रणाली जैसे रिगएनआरएफ में दुरुपयोग के खिलाफ एक अतिरिक्त सुरक्षा के रूप में साबित हो सकता है, जिसकी दृश्य-विशिष्ट विधि है।

डीपफेक्स वीडियो के लिए नेरफ को अनुकूलित करना

नेरफ एक फोटोग्राममेट्री-आधारित विधि है जिसमें विभिन्न दृष्टिकोणों से ली गई छोटी संख्या में स्रोत चित्रों को एक अन्वेषणीय 3डी न्यूरल स्पेस में इकट्ठा किया जाता है। यह दृष्टिकोण इस साल की शुरुआत में प्रमुखता से आया जब एनवीडिया ने अपनी इंस्टेंट नेरफ प्रणाली का अनावरण किया, जो नेरफ के लिए अत्यधिक प्रशिक्षण समय को मिनटों या甚至 सेकंड तक कम कर सकती है:

इंस्टेंट नेरफ। स्रोत: https://www.youtube.com/watch?v=DJ2hcC1orc4

परिणामी न्यूरल रेडिएंस फील्ड दृश्य मूल रूप से एक स्थिर वातावरण है जिसे अन्वेषण किया जा सकता है, लेकिन जिसे संपादित करना मुश्किल है। शोधकर्ता ध्यान देते हैं कि दो पूर्व नेरफ-आधारित पहल – हाइपरनेरफ + ई/पी और नरफेस – ने चेहरे के वीडियो संश्लेषण का प्रयास किया है, और (स्पष्ट रूप से पूर्णता और दृढ़ता के लिए) रिगएनआरएफ को इन दोनों फ्रेमवर्क के खिलाफ एक परीक्षण दौर में रखा है:

रिगएनआरएफ, हाइपरनेरफ और नरफेस के बीच एक गुणात्मक तुलना। उच्च-गुणवत्ता वाले संस्करण के लिए जुड़े स्रोत वीडियो और पीडीएफ देखें। स्थिर छवि स्रोत: https://arxiv.org/pdf/2012.03065.pdf

हालांकि, इस मामले में परिणाम, जो रिगएनआरएफ को पसंद करते हैं, काफी असामान्य हैं, दो कारणों से: पहला, लेखकों का观察 है कि ‘कोई भी मौजूदा काम एक से एक तुलना के लिए नहीं है’; दूसरा, यह रिगएनआरएफ की क्षमताओं को कम करने की आवश्यकता को कम करता है ताकि यह पूर्ववर्ती प्रणालियों की अधिक प्रतिबंधित कार्यक्षमता से मेल खा सके।

चूंकि परिणाम पिछले काम पर एक क्रमिक सुधार का प्रतिनिधित्व नहीं करते हैं, बल्कि नेरफ की संपादनीयता और उपयोगिता में एक ‘ब्रेकथ्रू’ का प्रतिनिधित्व करते हैं, इसलिए हम परीक्षण दौर को अलग रख देंगे और इसके बजाय देखेंगे कि रिगएनआरएफ अपने पूर्ववर्तियों से अलग क्या कर रहा है।

संयुक्त ताकत

नरफेस की प्राथमिक सीमा यह है कि यह मानता है कि स्रोत फुटेज एक स्थिर कैमरे के साथ कब्जा किया जाएगा। यह प्रभावी रूप से एक प्रणाली का उत्पादन करता है जो ‘मूविंग पोर्ट्रेट’ बना सकता है, लेकिन डीपफेक्स-शैली के वीडियो के लिए उपयुक्त नहीं है।

हाइपरनेरफ, दूसरी ओर, जबकि नई और हाइपर-वास्तविक दृश्यों का उत्पादन करने में सक्षम है, सिर की मुद्रा या चेहरे के भाव को बदलने की कोई साधन नहीं है, जो फिर से ऑटोएनकोडर-आधारित डीपफेक्स के लिए कोई प्रतिस्पर्धी नहीं है।

रिगएनआरएफ दो अलग-अलग कार्यक्षमताओं को एक ‘कैनोनिकल स्पेस’ बनाकर जोड़ सकता है, एक डिफ़ॉल्ट बेसलाइन जिससे 3DMM मॉड्यूल से इनपुट के माध्यम से विचलन और विकृतियाँ की जा सकती हैं।

एक ‘कैनोनिकल स्पेस’ (कोई मुद्रा, कोई अभिव्यक्ति) बनाना, जिस पर 3DMM द्वारा उत्पादित विकृतियाँ (अर्थात मुद्रा और अभिव्यक्तियाँ) कार्य कर सकती हैं।

चूंकि 3DMM प्रणाली कब्जा किए गए विषय के साथ बिल्कुल मेल नहीं खाएगी, इसलिए इस प्रक्रिया में इसके लिए क्षतिपूर्ति करना महत्वपूर्ण है। रिगएनआरएफ एक विकृति क्षेत्र प्राथमिक को पूरा करता है जो स्रोत फुटेज से एक मल्टीलेयर परसेप्ट्रॉन (एमएलपी) से व्युत्पन्न होता है।

विकृतियों की गणना के लिए आवश्यक कैमरा पैरामीटर कोलमैप के माध्यम से प्राप्त किए जाते हैं, जबकि प्रत्येक फ्रेम के लिए अभिव्यक्ति और आकार पैरामीटर डीईसीए से प्राप्त किए जाते हैं।

स्थिति को लैंडमार्क फिटिंग और कोलमैप के कैमरा पैरामीटर के माध्यम से आगे अनुकूलित किया जाता है, और, कंप्यूटिंग संसाधन प्रतिबंधों के कारण, वीडियो आउटपुट को प्रशिक्षण के लिए 256×256 रिज़ॉल्यूशन में डाउनसैंपल किया जाता है (एक हार्डवेयर-निर्धारित संकुचन प्रक्रिया जो ऑटोएनकोडर डीपफेकिंग दृश्य को भी प्रभावित करती है)।

इसके बाद, विकृति नेटवर्क को चार वी100 पर प्रशिक्षित किया जाता है – एक शक्तिशाली हार्डवेयर जो शौकिया उत्साही लोगों की पहुंच से बाहर नहीं होने की संभावना है (हालांकि, जहां मशीन लर्निंग प्रशिक्षण का संबंध है, यह अक्सर संभव होता है कि भार के लिए समय का व्यापार किया जाए और मॉडल प्रशिक्षण को दिनों या सप्ताहों का विषय बनाया जाए)।

निष्कर्ष में, शोधकर्ता कहते हैं:

‘अन्य तरीकों के विपरीत, रिगएनआरएफ, 3DMM-निर्देशित विकृति मॉड्यूल का उपयोग करके, सिर की मुद्रा, चेहरे के भाव और पूरे 3D पोर्ट्रेट दृश्य को उच्च विश्वसनीयता के साथ मॉडल करने में सक्षम है, जिससे तेज विवरण के साथ बेहतर पुनर्निर्माण होता है।’

विस्तृत विवरण और परिणाम फुटेज के लिए नीचे दिए गए एम्बेडेड वीडियो देखें。

पहली बार 15 जून 2022 को प्रकाशित।