प्रसिद्ध व्यक्तियों के डीपफेक्स की पहचान बाहरी चेहरे के क्षेत्रों से

माइक्रोसॉफ्ट और एक चीनी विश्वविद्यालय के बीच एक नए सहयोग ने प्रसिद्ध व्यक्तियों के डीपफेक्स की पहचान करने के लिए एक नए तरीके का प्रस्ताव किया है, जिसमें वर्तमान डीपफेक तकनीकों की कमियों का लाभ उठाकर पहचान की जा सके जो अन्य लोगों पर ‘प्रोजेक्ट’ की गई हैं।

इस दृष्टिकोण को आईडेंटिटी कंसिस्टेंसी ट्रांसफॉर्मर (आईसीटी) कहा जाता है, और यह चेहरे के बाहरी हिस्सों (जव, गाल, बालों की रेखा, और अन्य बाहरी मार्जिनल विशेषताओं) की तुलना चेहरे के अंदरूनी हिस्से से करता है। यह प्रणाली प्रसिद्ध लोगों की सार्वजनिक रूप से उपलब्ध छवियों का लाभ उठाती है, जो इसकी प्रभावशीलता को सीमित करती है क्योंकि यह केवल उन प्रसिद्ध हस्तियों के लिए काम करती है जिनकी छवियां व्यापक रूप से उपलब्ध हैं।

सात तकनीकों में फेक चेहरों की छलावरण क्षेत्र: डीपफेक इन एफएफ+; डीपफेक इन गूगल डीपफेक डिटेक्शन; डीपफेसलैब; फेस2फेस; एफएसजीएन; और डीएफ-वीएई। लोकप्रिय पैकेज जैसे कि डीपफेसलैब और फेसस्वैप समान रूप से सीमित कवरेज प्रदान करते हैं। स्रोत: https://arxiv.org/pdf/2203.01318.pdf

चित्र के रूप में, वर्तमान में लोकप्रिय डीपफेक विधियां संसाधन-सीमित हैं और मेजबान-चेहरों/शरीरों को अपनी पहचान को बदलने के लिए उपयोग करती हैं ताकि चेहरे की अदला-बदली के साक्ष्य को कम किया जा सके।

विभिन्न तरीकों में माथे और ठोड़ी के क्षेत्रों को शामिल किया जा सकता है, लेकिन वे सभी मेजबान चेहरे के फ्रेम के भीतर सीमित हैं।

आईसीटी द्वारा गणना की गई ‘आंतरिक’ और ‘बाहरी’ पहचान पर जोर देने वाला एक सaliency मानचित्र। जहां एक आंतरिक चेहरे का मिलान स्थापित किया जाता है, लेकिन बाहरी पहचान मेल नहीं खाती, आईसीटी छवि को झूठा मानता है।

परीक्षणों में, आईसीटी ने कम रिज़ॉल्यूशन वीडियो जैसे फेक-मित्र वातावरण में डीपफेक सामग्री का पता लगाने में सक्षम साबित किया, जहां पूरे वीडियो की सामग्री संपीड़न कलाकृतियों द्वारा खराब हो जाती है, जो डीपफेक प्रक्रिया के अवशेष साक्ष्य को छिपाने में मदद करती है – एक परिस्थिति जो कई प्रतिस्पर्धी डीपफेक डिटेक्शन विधियों को भ्रमित करती है।

आईसीटी प्रतिद्वंद्वियों को डीपफेक सामग्री की पहचान करने में बेहतर प्रदर्शन करता है। लेख के अंत में अधिक उदाहरणों और बेहतर रिज़ॉल्यूशन के लिए नीचे एम्बेडेड वीडियो देखें। लेख के अंत में एम्बेडेड स्रोत वीडियो देखें。 स्रोत: https://www.youtube.com/watch?v=zgF50dcymj8

विश्वसनीयता की खाई

लोकप्रिय चेहरा अदला-बदली एल्गोरिदम जैसे डीपफेसलैब और फेसस्वैप बाहरी पहचान को नजरअंदाज करने के कम से कम दो कारण हैं।

पहला, डीपफेक मॉडल को प्रशिक्षित करना समय लेने वाला और संसाधन-महत्वपूर्ण है, और ‘संगत’ मेजबान चेहरों/शरीरों को अपनाने से जीपीयू चक्र और युगों को मुक्त करने में मदद मिलती है ताकि हम चेहरे के अंदरूनी क्षेत्रों पर ध्यान केंद्रित कर सकें जिनका उपयोग हम पहचान को बताने के लिए करते हैं (क्योंकि वजन में उतार-चढ़ाव और उम्र बढ़ने जैसे परिवर्तन अल्पावधि में इन मूल चेहरे की विशेषताओं को बदलने की संभावना कम है)।

दूसरा, अधिकांश डीपफेक दृष्टिकोण (और यह निश्चित रूप से डीपफेसलैब के साथ मामला है, जो सबसे लोकप्रिय या कुख्यात अभ्यासियों द्वारा उपयोग किया जाने वाला सॉफ्टवेयर है) की बाहरी मार्जिन जैसे गाल और ठोड़ी के क्षेत्रों को दोहराने की सीमित क्षमता है, और यह सीमित है क्योंकि उनके अपस्ट्रीम (2017) कोड ने इस मुद्दे को व्यापक रूप से संबोधित नहीं किया था।

जहां पहचान अच्छी तरह से मेल नहीं खाती, डीपफेक एल्गोरिदम को चेहरे के आसपास के पृष्ठभूमि क्षेत्रों को ‘इनपेंट’ करना होगा, जो सबसे अच्छे डीपफेकर्स के हाथों में भी सबसे अच्छा करता है, जैसे कि कंट्रोल शिफ्ट फेस, जिसका आउटपुट इस पत्र के अध्ययन में उपयोग किया गया था।

सर्वश्रेष्ठ: कंट्रोल-शिफ्ट-फेस से एक डीपफेक वीडियो के स्टिल, जिम कैरी को गैरी ओल्डमैन पर स्वैप करते हुए। यह काम वास्तव में डीपफेसलैब और पोस्ट-प्रोसेसिंग तकनीकों के माध्यम से उपलब्ध सर्वोत्तम आउटपुट का प्रतिनिधित्व करता है। फिर भी, स्वैप बाहरी चेहरे पर ध्यान देने की कमी के कारण सीमित रहता है, जिसके लिए बाहरी सबसे अधिक रेखाओं को संबोधित करने के लिए डेटा क्यूरेशन और प्रशिक्षण का एक हेरकुलियन प्रयास की आवश्यकता होती है। स्रोत: https://www.youtube.com/watch?v=x8igrh1eyLk

विभाजित पहचान

नई पत्र में उल्लेख किया गया है कि अधिकांश पिछली डीपफेक पहचान विधियां स्वैप प्रक्रिया को धोखा देने वाली कलाकृतियों पर निर्भर करती हैं, जैसे कि असंगत सिर मुद्राएं और पलक झपकाना, अन्य तकनीकों के बीच अनेक अन्य तकनीकों के बीच। केवल इस सप्ताह, एक और नई डीपफेक पहचान पत्र ने प्रस्तावित किया है कि फेसस्वैप फ्रेमवर्क में विभिन्न मॉडल प्रकारों के ‘हस्ताक्षर’ का उपयोग करके फेसस्वैप के साथ बनाई गई झूठी वीडियो की पहचान करने में मदद मिल सकती है (नीचे दी गई छवि देखें)।

फेसस्वैप फ्रेमवर्क में विभिन्न मॉडल प्रकारों के ‘हस्ताक्षर’ को पहचानने के लिए डीपफेक्स की पहचान करना। स्रोत: https://arxiv.org/pdf/2202.12951.pdf

इसके विपरीत, आईसीटी की वास्तुकला एक व्यक्ति के लिए दो अलग-अलग नेस्टेड पहचान बनाती है, जिनमें से प्रत्येक को सत्यापित किया जाना चाहिए trước कि पूरी पहचान को ‘सच्ची’ फुटेज या छवि के रूप में निष्कर्ष निकाला जा सके।

आईसीटी के प्रशिक्षण और परीक्षण चरणों की वास्तुकला।

पहचान का विभाजन एक दृष्टि ट्रांसफॉर्मर द्वारा सुविधा प्रदान की जाती है, जो चेहरे की पहचान करने से पहले सर्वेक्षित क्षेत्रों को आंतरिक या बाहरी पहचान से संबंधित टोकन में विभाजित करता है।

दो समानांतर पहचान संकेतकों के बीच पैच वितरित करना।

पत्र में कहा गया है:

‘दुर्भाग्य से, मौजूदा चेहरे की पहचान विधियां आमतौर पर सबसे अधिक भेदभावपूर्ण क्षेत्र, अर्थात आंतरिक चेहरे की पहचान की विशेषता को चित्रित करने के लिए趋势 करती हैं और बाहरी चेहरे में पहचान जानकारी को पकड़ने में विफल रहती हैं। आईडेंटिटी कंसिस्टेंसी ट्रांसफॉर्मर के साथ, हम एक मॉडल को प्रशिक्षित करते हैं जो एक जोड़ी पहचान वेक्टर सीखता है, एक आंतरिक चेहरे के लिए और दूसरा बाहरी चेहरे के लिए, एक ट्रांसफॉर्मर को डिज़ाइन करके जो आंतरिक और बाहरी पहचान को एक ही मॉडल में एक साथ सीखने की अनुमति देता है।’

चूंकि इस पहचान प्रोटोकॉल के लिए कोई मौजूदा मॉडल नहीं है, लेखकों ने एक नई प्रकार की संगति हानि का आविष्कार किया है जो प्रामाणिकता के लिए एक मीट्रिक के रूप में कार्य कर सकता है। पहचान निष्कर्षण मॉडल से परिणामी ‘आंतरिक टोकन’ और ‘बाहरी टोकन’ को चेहरे की पहचान फ्रेमवर्क द्वारा उत्पादित पैच एम्बेडिंग में जोड़ा जाता है।

डेटा और प्रशिक्षण

आईसीटी नेटवर्क को माइक्रोसॉफ्ट रिसर्च के एमएस-सेलिब्रिटी-1एम डेटासेट पर प्रशिक्षित किया गया था, जिसमें 10 मिलियन सेलिब्रिटी चेहरे की छवियां शामिल हैं जो 1 मिलियन पहचानों को कवर करती हैं, जिनमें अभिनेता, राजनेता और कई अन्य प्रकार के प्रमुख व्यक्ति शामिल हैं। पिछली विधि फेस एक्स-रे (एक अन्य माइक्रोसॉफ्ट रिसर्च पहल) की प्रक्रिया के अनुसार, आईसीटी का अपना फेक-जेनरेशन रूटीन डेटासेट से चेहरों के आंतरिक और बाहरी क्षेत्रों को स्वैप करने के लिए डेटा तैयार करने के लिए उपयोग किया जाता है जिस पर एल्गोरिदम का परीक्षण किया जा सकता है।

इन आंतरिक स्वैप करने के लिए, आईसीटी डेटासेट में दो छवियों की पहचान करता है जो समान सिर मुद्रा और चेहरे की विशेषताओं को प्रदर्शित करती हैं, एक मास्क क्षेत्र का उत्पादन करता है (जिसमें एक स्वैप किया जा सकता है), और आरजीबी रंग सुधार के साथ एक डीपफेक स्वैप करता है।

आईसीटी को केवल सेलिब्रिटी पहचान तक सीमित करने का कारण यह है कि यह एक नए संदर्भ सेट पर निर्भर करता है जो केंद्रीय कोरपस (इस मामले में एमएस-सेलिब्रिटी-1एम, हालांकि संदर्भ को नेटवर्क-सुलभ छवियों तक बढ़ाया जा सकता है) से व्युत्पन्न चेहरे के वेक्टर को शामिल करता है, जो केवल प्रसिद्ध सार्वजनिक हस्तियों के लिए मौजूद होने की संभावना है।

इन विधियों से प्राप्त टोकन ‘उच्च-स्तरीय’ विशेषताओं का प्रतिनिधित्व करते हैं, जिसके परिणामस्वरूप एक डीपफेक पहचान प्रक्रिया होती है जो चुनौतीपूर्ण वातावरण जैसे कम रिज़ॉल्यूशन या अन्यथा खराब वीडियो में अधिक संभावना है कि वह जीवित रहेगी।

आवश्यक रूप से, आईसीटी कलाकृति-आधारित साक्ष्य की तलाश में नहीं है, बल्कि पहचान सत्यापन विधियों पर केंद्रित है जो चेहरे की पहचान तकनीकों के अनुरूप हैं – एक दृष्टिकोण जो कम मात्रा वाले डेटा के साथ कठिन है, जैसा कि गैर-प्रसिद्ध लक्ष्यों के खिलाफ डीपफेक बदला पोर्न की जांच के मामले में।

परीक्षण

एमएस-सेलिब्रिटी-1एम पर प्रशिक्षित, आईसीटी को फिर संदर्भ-सहायता प्राप्त और ‘अंधे’ संस्करणों में विभाजित किया गया और विभिन्न प्रतिस्पर्धी डेटासेट और विधियों के खिलाफ परीक्षण किया गया। इनमें फेसफोरेंसिक्स++ (एफएफ++), एक डेटासेट शामिल है जिसमें चार तरीकों सहित डीपफेक और वास्तविक वीडियो के 1000 वीडियो हैं, जिनमें फेस2फेस और फेसस्वैप शामिल हैं; गूगल का डीपफेक डिटेक्शन (डीएफडी), जो हजारों गूगल-जनित डीपफेक वीडियो से बना है; सेलिब्रिटी-डीपफेक वी1 (सीडी1), जिसमें 408 वास्तविक और 795 सिंथेटिक, कम-आर्टिफैक्ट वीडियो हैं; सेलिब्रिटी-डीपफेक वी2, जो वी1 का एक विस्तार है जिसमें 590 वास्तविक और 5,639 नकली वीडियो हैं; और चीन का 2020 डीपर-फोरेंसिक (डीपर)।

वे डेटासेट हैं; परीक्षण चुनौतियों में पहचान विधियां मल्टी-टास्क, मेसोइनसी4, कैप्सूल, एक्सेप्शन-सी0, सी2 (एक विधि जो एफएफ++ में नियोजित की जाती है), एफडब्ल्यूए/डीएसपी-एफडब्ल्यू अल्बानी विश्वविद्यालय से, टू-ब्रांच, पीसीएल+आई2जी, और युवाल निरकिन की संदर्भ-विचलन विधि शामिल हैं।

उपरोक्त पहचान विधियां विशिष्ट प्रकार के चेहरे के हेरफेर का पता लगाने के लिए हैं। इसके अलावा, नए पत्र के लेखकों ने अधिक सामान्य डीपफेक पहचान पेशकशों का परीक्षण किया फेस एक्स-रे, मिशिगन स्टेट यूनिवर्सिटी का एफएफडी, सीएनएनडिटेक्शन, और पैच-फोरेंसिक एमआईटी सीएसएआईएल से।

परीक्षण के सबसे स्पष्ट परिणाम यह है कि प्रतिस्पर्धी विधियां वीडियो रिज़ॉल्यूशन और गुणवत्ता में गिरावट के साथ काफी हद तक अपनी प्रभावशीलता खो देती हैं। चूंकि डीपफेक के हमारी विवेकशील शक्तियों में प्रवेश करने की सबसे गंभीर संभावना में से एक (वर्तमान में) गैर-एचडी या अन्यथा गुणवत्ता-समस्याग्रस्त वीडियो में निहित है, यह एक महत्वपूर्ण परिणाम प्रतीत होता है।

उपरोक्त परिणाम ग्राफ में, नीली और लाल रेखाएं आईसीटी विधियों की विकृति के प्रति लचीलापन को दर्शाती हैं (गॉसियन शोर के अपवाद के साथ, जो ज़ूम और वेबकैम शैली के फुटेज में एक संभावना नहीं है), जबकि प्रतिस्पर्धी विधियों की विश्वसनीयता गिर जाती है।

नीचे दी गई परिणाम तालिका में, हम देख सकते हैं कि विभिन्न डीपफेक पहचान विधियों की प्रभावशीलता अनदेखी डेटासेट पर है। ग्रे और तारांकित परिणाम मूलतः बंद-स्रोत परियोजनाओं से प्रकाशित परिणामों की तुलना दर्शाते हैं, जिन्हें बाहरी रूप से सत्यापित नहीं किया जा सकता है। लगभग सभी तुलनात्मक फ्रेमवर्क पर, आईसीटी प्रतिद्वंद्वी डीपफेक पहचान दृष्टिकोणों (बोल्ड में दिखाया गया है) से बेहतर प्रदर्शन करता है।

एक अतिरिक्त परीक्षण के रूप में, लेखकों ने प्रशंसित डीपफेकर कंट्रोल शिफ्ट फेस के यूट्यूब चैनल से सामग्री चलाई, और पाया कि प्रतिद्वंद्वी विधियों ने उल्लेखनीय रूप से कम पहचान स्कोर हासिल किए:

यह ध्यान देने योग्य है कि एफएफ++ विधियों (एक्सेप्शन-सी23) और एफएफडी, जो कुछ परीक्षण डेटा पर उच्च स्कोर प्राप्त करते हैं, यहां एक ‘वास्तविक दुनिया’ संदर्भ में उच्च-प्रयास डीपफेक सामग्री में आईसीटी की तुलना में बहुत कम स्कोर प्राप्त करते हैं।

लेखक इस पत्र के परिणामों से आशा करते हैं कि वे डीपफेक पहचान समुदाय को इसी तरह की पहल की ओर मोड़ेंगे जो उच्च-स्तरीय विशेषताओं पर केंद्रित हैं, और कलाकृति-प्रकार की पहचान से दूर हैं जिसमें नवीनतम विधियां नियमित रूप से डीपफेक फ्रेमवर्क में विकास द्वारा बायपास की जाती हैं, या अन्य कारकों द्वारा जो ऐसी विधियों को कम लचीला बनाते हैं।

वैकल्पिक विधियों को बायपास करने वाली आईसीटी द्वारा पहचाने जाने वाली डीपफेक सामग्री के अधिक उदाहरणों के लिए लेख के अंत में संलग्नक वीडियो देखें।

पहली बार 4 मार्च 2022 को प्रकाशित।