डीपफेक की अगली क्रांति है डिसेंटैंग्लमेंट

सीजीआई डेटा ऑगमेंटेशन का उपयोग एक नए परियोजना में डीपफेक छवियों पर अधिक नियंत्रण प्राप्त करने के लिए किया जा रहा है। हालांकि आप अभी भी प्रभावी ढंग से सीजीआई सिरों का उपयोग डीपफेक चेहरे के डेटासेट में缺失 गैप को भरने के लिए नहीं कर सकते हैं, डिसेंटैंग्लमेंट की पहचान से संदर्भ के बारे में शोध का एक नया तरंग आने वाले वर्षों में इसकी आवश्यकता नहीं हो सकती है।

पिछले कुछ वर्षों में सबसे सफल वायरल डीपफेक वीडियो के निर्माता अपने स्रोत वीडियो का चयन बहुत सावधानी से करते हैं, जिसमें सुसंगत प्रोफाइल शॉट्स (अर्थात पुलिस गिरफ्तारी प्रक्रियाओं द्वारा लोकप्रिय किए गए पार्श्व-मुख्य चित्र) को टालकर, तीव्र कोणों और असामान्य या अतिरंजित अभिव्यक्तियों से बचते हैं। बढ़ते हुए, वायरल डीपफेकर्स द्वारा उत्पादित प्रदर्शन वीडियो संपादित संकलन हैं जो ‘सबसे आसान’ कोणों और अभिव्यक्तियों का चयन करते हैं।

वास्तव में, डीपफेक में एक प्रसिद्ध व्यक्ति को डालने के लिए सबसे अधिक अनुकूल लक्ष्य वीडियो वह है जहां मूल व्यक्ति (जिसकी पहचान डीपफेक द्वारा मिटा दी जाएगी) सीधे कैमरे की ओर देख रहा है, न्यूनतम अभिव्यक्ति श्रृंखला के साथ।

हाल के वर्षों में सबसे लोकप्रिय डीपफेक्स ने विषयों को सीधे कैमरे की ओर देखते हुए दिखाया है, और या तो लोकप्रिय अभिव्यक्तियों (जैसे मुस्कराते हुए) को ही दिखाया है, जो लाल कालीना पपराज़ी आउटपुट से आसानी से निकाले जा सकते हैं, या (जैसे 2019 के सिल्वेस्टर स्टैलोन के टर्मिनेटर के नकली वीडियो में) आदर्श रूप से कोई अभिव्यक्ति नहीं है, क्योंकि तटस्थ अभिव्यक्तियां बहुत आम हैं, जो डीपफेक मॉडल में शामिल करने में आसान हैं।

क्योंकि डीपफेक प्रौद्योगिकियां जैसे DeepFaceLab और FaceSwap इन सरल स्वैप्स को बहुत अच्छी तरह से करती हैं, हमें लगता है कि वे जो हासिल करते हैं उसे देखकर हम इतने प्रभावित हो जाते हैं कि हमें यह नहीं दिखता कि वे क्या करने में असमर्थ हैं और – अक्सर – यहां तक कि कोशिश भी नहीं करते हैं:

अर्नोल्ड श्वार्ज़नेगर को सिल्वेस्टर स्टैलोन में बदलने वाले एक प्रसिद्ध डीपफेक वीडियो के ग्रैब्स – जब तक कि कोण बहुत मुश्किल न हों। प्रोफाइल अभी भी वर्तमान डीपफेक दृष्टिकोण के साथ एक लंबे समय से चली आ रही समस्या है, आंशिक रूप से इसलिए कि डीपफेक फ्रेमवर्क में चेहरे की मुद्रा को परिभाषित करने के लिए उपयोग किया जाने वाला ओपन सोर्स सॉफ्टवेयर पार्श्व दृश्यों के लिए अनुकूलित नहीं है, लेकिन मुख्य रूप से इसलिए कि आवश्यक डेटासेट में से एक या दोनों में उपयुक्त स्रोत सामग्री की कमी है। स्रोत: https://www.youtube.com/watch?v=AQvCmQFScMA

नए शोध इज़राइल से सिंथेटिक डेटा का उपयोग करके डीपफेक को 2020 के दशक में लाने के लिए एक नए तरीके का प्रस्ताव करते हैं, जैसे कि सीजीआई सिर, चेहरे की पहचान को संदर्भ से वास्तव में अलग करने के द्वारा (अर्थात ‘टॉम क्रूज़’ की मूल चेहरे की विशेषताओं को सभी कोणों से)।

नया सिस्टम व्यक्ति की पहचान के एन्कोडिंग से मुद्रा और संदर्भ (अर्थात, एक आंख को झपकाना) को विच्छिन्न रूप से अलग करता है, असंबंधित सिंथेटिक चेहरे के डेटा (बाएं चित्र) का उपयोग करता है। शीर्ष पंक्ति में, हम देखते हैं कि एक ‘झपकी’ को बराक ओबामा की पहचान में स्थानांतरित किया गया है, जो जीएन के लेटेंट स्पेस के गैर-रेखीय पथ द्वारा सीखा गया है, जो बाएं चित्र में सीजीआई छवि द्वारा दर्शाया गया है। नीचे की पंक्ति में, हम देखते हैं कि मुंह के कोने की विशेषता को पूर्व राष्ट्रपति में स्थानांतरित किया गया है। नीचे दाईं ओर, हम दोनों विशेषताओं को एक साथ लागू करते हैं। स्रोत: https://arxiv.org/pdf/2111.08419.pdf

यह केवल डीपफेक हेड-पपेट्री नहीं है, एक तकनीक जो अवतार और आंशिक चेहरे के होंठ-सिंक्रोनाइजेशन के लिए अधिक उपयुक्त है, और जिसकी पूर्ण डीपफेक वीडियो परिवर्तनों के लिए सीमित क्षमता है।

इसके बजाय, यह एक मूलभूत अलगाव के लिए एक तरीका प्रस्तुत करता है जो एक उच्च-स्तरीय, ‘व्युत्पन्न’ छवि सिंथेसिस-आधारित डीपफेक फ्रेमवर्क की पेशकश करता है, जो एक साधन के रूप में (जैसे कि ‘सिर के कोण को बदलें’, ‘एक मुंह बनाएं’) की पहचान से अलग है।

नया पत्र डेल्टा-जीएन-एनकोडर: एक्सप्लिसिट इमेज एडिटिंग के लिए सेमेंटिक परिवर्तनों को एनकोड करना, कुछ सिंथेटिक नमूनों का उपयोग करते हुए शीर्षक से है, और यह तकनीक – इज़राइल प्रौद्योगिकी संस्थान से शोधकर्ताओं द्वारा आता है।

वर्तमान डीपफेक प्रौद्योगिकी को क्या रोक रहा है के बारे में जानने के लिए, आइए देखें कि डीपफेक्स वर्तमान में कैसे उत्पादित किए जाते हैं, चाहे वह डीपफेक पोर्न साइटों पर हो या इंडस्ट्रियल लाइट एंड मैजिक (चूंकि डीपफेसलैब ओपन सोर्स रिपॉजिटरी वर्तमान में दोनों ‘शौकिया’ और पेशेवर डीपफेकिंग में प्रमुख है)।

वर्तमान डीपफेक प्रौद्योगिकी को क्या रोक रहा है?

वर्तमान में, डीपफेक्स एक एनकोडर/डीकोडर मशीन लर्निंग मॉडल को दो फोल्डरों में चेहरे की छवियों पर प्रशिक्षित करके बनाए जाते हैं – जिस व्यक्ति को आप ‘पेंट ओवर’ करना चाहते हैं (पिछले उदाहरण में, अर्नी है) और जिस व्यक्ति को आप फुटेज में सुपरिम्पोज़ करना चाहते हैं (स्ली है)।

दो चेहरे सेटों में मुद्रा और प्रकाश व्यवस्था की स्थिति में भिन्नता। नोट करें कि तीसरी पंक्ति में कॉलम ए में विशिष्ट अभिव्यक्ति, जो दूसरे डेटासेट में एक समान के साथ मेल नहीं खाती।

एनकोडर/डीकोडर सिस्टम तब प्रत्येक फोल्डर में प्रत्येक छवि की तुलना दूसरे के साथ करता है, इस ऑपरेशन को सैकड़ों हजारों पुनरावृत्तियों के लिए बनाए रखता है (अक्सर एक सप्ताह के लिए), जब तक कि यह दोनों पहचानों की मूल विशेषताओं को पर्याप्त रूप से समझने में सक्षम न हो जाए कि वे इच्छानुसार उन्हें स्वैप कर सकें।

स्वैपिंग में शामिल दोनों लोगों के लिए, जो पहचान के बारे में डीपफेक आर्किटेक्चर सीखता है वह संदर्भ के साथ जुड़ा हुआ है। यह किसी भी पहचान के लिए एक सामान्य मुद्रा ‘के लिए अच्छा और सभी’ के बारे में सिद्धांतों को सीखने और लागू करने में सक्षम नहीं है, बल्कि प्रशिक्षण डेटासेट में प्रत्येक पहचान के लिए प्रत्येक मुद्रा के लिए बहुत सारे उदाहरणों की आवश्यकता होती है जो शामिल की जानी है।

चेहरे की पहचान और मुद्रा की विशेषताएं वर्तमान में इतनी जुड़ी हुई हैं कि दो चेहरे के डेटासेट में अभिव्यक्ति, सिर की मुद्रा और (कम हद तक) प्रकाश व्यवस्था की विस्तृत समानता की आवश्यकता होती है ताकि डीपफेसलैब जैसे सिस्टम पर एक प्रभावी डीपफेक मॉडल को प्रशिक्षित किया जा सके। यदि कोई विशिष्ट कॉन्फ़िगरेशन (जैसे ‘प्रोफाइल/मुस्कराते हुए/सूरज की रोशनी में’) दोनों चेहरे के सेटों में कम है, तो यह डीपफेक वीडियो में उतनी ही कम सटीकता से प्रस्तुत किया जाएगा, यदि आवश्यक हो।

यदि आप दो पहचानों को स्वैप करना चाहते हैं जो कुछ और असामान्य कर रहे हैं, तो आपको बहुत सारे उदाहरणों की आवश्यकता होगी कि विशिष्ट मुद्रा/पहचान दोनों फेस-सेट में है: