गोट्चा – एक लाइव डीपफ़ेक्स के लिए कैप्चा सिस्टम

न्यूयॉर्क विश्वविद्यालय से नए शोध में यह संकेत मिलता है कि हमें जल्द ही खुद को प्रमाणित करने के लिए डीपफ़ेक्स के समकक्ष ‘नशे का परीक्षण’ लेना पड़ सकता है, जैसे कि एक संवेदनशील वीडियो कॉल शुरू करने से पहले, जैसे कि एक कार्य-संबंधित वीडियोकॉन्फ़्रेंस, या किसी भी अन्य संवेदनशील परिदृश्य जो धोखेबाजों को आकर्षित कर सकता है जो रियल-टाइम डीपफ़ेक्स स्ट्रीमिंग सॉफ़्टवेयर का उपयोग कर रहे हैं।

प्रस्तावित प्रणाली को गोट्चा नाम दिया गया है – एक कैप्चा प्रणाली के लिए एक श्रद्धांजलि, जो पिछले 10-15 वर्षों में वेब ब्राउज़िंग के लिए एक बढ़ती हुई बाधा बन गई है, जिसमें स्वचालित प्रणालियों को उपयोगकर्ता से ऐसे कार्य करने की आवश्यकता होती है जो मशीनों के लिए कठिन होते हैं, जैसे कि जानवरों की पहचान करना या विकृत पाठ को समझना (और, विरोधाभासी, इन चुनौतियों को प्रायः उपयोगकर्ता को एक नि:शुल्क एएमटी-शैली के आउटसोर्स्ड एनोटेटर में बदल देती हैं)।

मूल रूप से, गोट्चा अगस्त 2022 के डीएफ-कैप्चा पेपर को बढ़ाता है, जो बेन-गुरियन विश्वविद्यालय से है, जो पहली बार किसी को कॉल के दूसरे छोर पर खड़े व्यक्ति को अपनी प्रामाणिकता साबित करने के लिए कुछ दृश्य सेमांटिक छलांग लगाने का प्रस्ताव करता है।

बेन गुरियन विश्वविद्यालय के अगस्त 2022 के पेपर में उपयोगकर्ता के लिए एक श्रृंखला के इंटरएक्टिव परीक्षणों का प्रस्ताव किया गया है, जिसमें अपना चेहरा ढकना या त्वचा को दबाना शामिल है – जो कार्य अच्छी तरह से प्रशिक्षित लाइव डीपफ़ेक्स प्रणालियों द्वारा भी नहीं किए जा सकते हैं या फोटोरियलिस्टिक रूप से सामने नहीं आ सकते हैं। स्रोत: https://arxiv.org/pdf/2208.08524.pdf

नोट करने योग्य बात यह है कि गोट्चा में ‘निष्क्रिय’ विधियों को एक ‘कैस्केड’ के प्रस्तावित परीक्षणों में जोड़ा गया है, जिसमें उपयोगकर्ता के चेहरे पर अवास्तविक तत्वों का स्वचालित रूप से ओवरले करना और स्रोत प्रणाली के माध्यम से जाने वाले फ्रेम्स को ‘ओवरलोड’ करना शामिल है। हालांकि, केवल उपयोगकर्ता-प्रतिक्रिया कार्यों का मूल्यांकन विशेष अनुमतियों के बिना किया जा सकता है – जो संभवतः लोकप्रिय प्रणालियों जैसे स्काइप और ज़ूम के लिए स्थानीय मॉड्यूल या एड-ऑन के रूप में आएगा, या विशिष्ट प्रोप्राइटरी सॉफ़्टवेयर के रूप में जो धोखेबाजों को बाहर निकालने के लिए विशेष रूप से कार्य करता है।

पेपर से, गोट्चा में कॉलर और प्रणाली के बीच परस्पर क्रिया का एक चित्रण, जिसमें निर्णय प्रवाह के रूप में डैश्ड लाइनें हैं।

शोधकर्ताओं ने 47 प्रतिभागियों से 2.5 मिलियन से अधिक वीडियो-फ्रेम्स वाले एक नए डेटासेट पर प्रणाली को मान्य किया, जिनमें से प्रत्येक ने गोट्चा से 13 चुनौतियों का सामना किया। वे दावा करते हैं कि ढांचा धोखेबाज उपयोगकर्ताओं के लिए डीपफ़ेक्स सामग्री की गुणवत्ता में ‘निरंतर और मापने योग्य’ कमी का कारण बनता है, स्थानीय प्रणाली को तब तक तनाव देता है जब तक कि धोखाधड़ी स्पष्ट रूप से मानव आंखों को दिखाई न दे।

नया पेपर शीर्षक है गोट्चा: रियल-टाइम डीपफ़ेक्स डिटेक्शन के लिए एक चुनौती-प्रतिक्रिया प्रणाली (प्रणाली का नाम प्रकाशन के शीर्षक में पूंजीकृत नहीं है, हालांकि यह एक संक्षिप्त नाम नहीं है)।

चुनौतियों की एक श्रृंखला

बेन गुरियन पेपर के अनुसार, वास्तविक उपयोगकर्ता-सामना करने वाली चुनौतियों को कई प्रकार के कार्यों में विभाजित किया जाता है।

ओक्लूज़न के लिए, उपयोगकर्ता को अपने चेहरे को अपने हाथ से ढकने या अन्य वस्तुओं से ढकने की आवश्यकता होती है, या एक ऐसे कोण पर अपना चेहरा प्रस्तुत करना होता है जो एक डीपफ़ेक्स मॉडल में प्रशिक्षित नहीं हो सकता है (आमतौर पर ‘अजीब’ मुद्राओं की कमी के कारण – ऊपर दिए गए पहले चित्रण में छवियों की श्रृंखला देखें)।

उपयोगकर्ता द्वारा स्वयं निर्देशों के अनुसार किए जाने वाले कार्यों के अलावा, गोट्चा यादृच्छिक चेहरे के कटआउट, स्टिकर और ऑगमेंटेड रियलिटी फिल्टर को उपयोगकर्ता के चेहरे पर ओवरले कर सकता है, ताकि एक स्थानीय प्रशिक्षित डीपफ़ेक्स मॉडल की उम्मीद की जा सके कि वह फ़ेस-स्ट्रीम को ‘भ्रष्ट’ कर दे, जिससे यह विफल हो जाए। जैसा कि पहले उल्लेख किया गया है, हालांकि यह उपयोगकर्ता के लिए एक ‘निष्क्रिय’ प्रक्रिया है, यह सॉफ़्टवेयर के लिए एक आक्रामक है, जिसे अंत-संवादी की धारा में सीधे हस्तक्षेप करने की आवश्यकता है।

उपयोगकर्ता को अपने चेहरे को असामान्य चेहरे के भावों में रखने की आवश्यकता हो सकती है जो किसी भी प्रशिक्षण डेटासेट में अनुपस्थित या कम प्रतिनिधित्व वाले हो सकते हैं, जिससे डीपफ़ेक्ड आउटपुट की गुणवत्ता में कमी आती है (ऊपर दिए गए पहले चित्रण में दूसरी कॉलम से बाएं, छवि ‘बी’)।

इस परीक्षणों की श्रृंखला के हिस्से के रूप में, उपयोगकर्ता को एक पाठ पढ़ने या बातचीत करने की आवश्यकता हो सकती है जो एक स्थानीय लाइव डीपफ़ेकिंग प्रणाली को चुनौती देने के लिए डिज़ाइन की गई है, जिसने पर्याप्त श्रेणी के फोनीम्स या मुंह के डेटा को प्रशिक्षित नहीं किया होगा जो इस तरह की जांच के तहत सटीक होठ की गति का पुनर्निर्माण कर सके।

अंत में, (और यह एक ऐसी चुनौती है जो अंतिम संवादी की अभिनय प्रतिभा को चुनौती दे सकती है), इस श्रेणी में, उपयोगकर्ता को एक ‘माइक्रो-एक्सप्रेशन’ करने के लिए कहा जा सकता है – एक छोटी और अनैच्छिक चेहरे का भाव जो एक भावना को प्रकट करता है। इस बारे में पेपर कहता है कि ‘[यह] आमतौर पर 0.5-4.0 सेकंड तक रहता है, और नकली नहीं हो सकता’।

हालांकि पेपर यह नहीं बताता है कि माइक्रो-एक्सप्रेशन को कैसे निकाला जाए, तार्किक रूप से यही लगता है कि इसे निकालने का एकमात्र तरीका यह है कि अंतिम उपयोगकर्ता में एक उपयुक्त भावना पैदा की जाए, शायद परीक्षण के दौरान उन्हें प्रस्तुत की जाने वाली कुछ चौंकाने वाली सामग्री के साथ।

चेहरे का विकृतीकरण, प्रकाश और अप्रत्याशित मेहमान

इसके अतिरिक्त, अगस्त के पेपर के सुझावों के अनुसार, नई कार्य में अंतिम उपयोगकर्ता से असामान्य चेहरे के विकृतीकरण और हेरफेर करने के लिए कहा जाता है, जैसे कि अपनी उंगली को अपने गाल में दबाना, अपने चेहरे और/या बालों के साथ बातचीत करना, और अन्य गतिविधियों को करना जो वर्तमान में किसी भी लाइव डीपफ़ेक्स प्रणाली द्वारा संभाला नहीं जा सकता है, क्योंकि वे हाशिए की क्रियाएं हैं – भले ही वे प्रशिक्षण डेटासेट में मौजूद हों, उनका पुनरुत्पादन कम गुणवत्ता वाला होगा, अन्य ‘आउटलियर’ डेटा के साथ।

एक मुस्कान, लेकिन यह ‘उदास चेहरा’ एक स्थानीय लाइव डीपफ़ेक्स प्रणाली द्वारा अच्छी तरह से अनुवादित नहीं है।

एक अतिरिक्त चुनौती यह है कि उपयोगकर्ता के आसपास की प्रकाश स्थितियों को बदलना, क्योंकि यह संभव है कि डीपफ़ेक्स मॉडल का प्रशिक्षण मानक वीडियोकॉन्फ़्रेंसिंग प्रकाश स्थितियों के लिए अनुकूलित किया गया हो, या यहां तक कि कॉल में मौजूद प्रकाश स्थितियों के लिए भी।

इसलिए, उपयोगकर्ता को अपने मोबाइल फोन पर टॉर्च को अपने चेहरे पर चमकाने या किसी अन्य तरीके से प्रकाश को बदलने के लिए कहा जा सकता है (और यह ध्यान देने योग्य है कि यह दृष्टिकोण एक अन्य लाइव डीपफ़ेक्स डिटेक्शन पेपर का केंद्रीय प्रस्ताव है जो इस गर्मी में आया था)।

लाइव डीपफ़ेक्स प्रणालियों को अप्रत्याशित प्रकाश से चुनौती दी जाती है – और यहां तक कि एक स्ट्रीम में एक से अधिक लोगों से भी, जहां यह केवल एक व्यक्ति की उम्मीद कर रही थी।

प्रस्तावित प्रणाली के पास स्थानीय उपयोगकर्ता-स्ट्रीम (जो एक डीपफ़ेक्स मध्यवर्ती का संदेह है) में हस्तक्षेप करने की क्षमता है, अप्रत्याशित पैटर्न जोड़कर (ऊपर दिए गए चित्रण में मध्य स्तंभ देखें) डीपफ़ेक्स एल्गोरिदम की सिमुलेशन बनाए रखने की क्षमता को खतरे में डाल सकते हैं।

इसके अतिरिक्त, हालांकि यह अप्रत्याशित है कि एक संवादी के पास प्रमाणीकरण के लिए अतिरिक्त लोगों को हाथ में रखना संभव होगा, प्रणाली अतिरिक्त चेहरों (दाएं से सबसे दूर की छवि) को अंतर्वेश कर सकती है, और देख सकती है कि क्या कोई स्थानीय डीपफ़ेक्स प्रणाली ध्यान को स्विच करने की गलती करती है – या यहां तक कि उन सभी को डीपफ़ेक्स करने का प्रयास करती है (ऑटोएनकोडर डीपफ़ेक्स प्रणालियों में कोई ‘पहचान स्वीकृति’ क्षमता नहीं है जो एक व्यक्ति पर ध्यान केंद्रित रख सके)।

स्टेगनोग्राफी और ओवरलोडिंग

गोट्चा में एक दृष्टिकोण भी शामिल है जो पहले यूसी सैन डिएगो द्वारा अप्रैल में प्रस्तावित किया गया था, जो उपयोगकर्ता के स्थानीय वीडियो स्ट्रीम में एक संदेश को स्टेगनोग्राफी द्वारा एन्क्रिप्ट करता है। डीपफ़ेक्स दिनचर्या इस संदेश को पूरी तरह से नष्ट कर देगी, जिससे प्रमाणीकरण विफल हो जाएगा।

अप्रैल 2022 के पेपर से, कैलिफोर्निया विश्वविद्यालय सैन डिएगो और सैन डिएगो स्टेट यूनिवर्सिटी से, एक विधि जो यह देखने के लिए कि एक स्टेगनोग्राफिक सिग्नल को उपयोगकर्ता के वीडियो स्ट्रीम में भेजा जाता है और स्थानीय लूप में सुरक्षित रहता है – यदि यह नहीं होता है, तो डीपफ़ेक्स चालाकी हो सकती है। स्रोत: https://arxiv.org/pdf/2204.01960.pdf

इसके अतिरिक्त, गोट्चा स्थानीय प्रणाली (प्रवेश और अनुमति देने पर) को ओवरलोड करने में सक्षम है, स्ट्रीम की प्रतिलिपि बनाकर और किसी भी स्थानीय प्रणाली को ‘अत्यधिक’ डेटा प्रस्तुत करके एक स्थानीय डीपफ़ेक्स प्रणाली में प्रतिकृति विफलता का कारण बनता है।

प्रणाली में आगे परीक्षण शामिल हैं (विवरण के लिए पेपर देखें), जिसमें स्मार्टफोन-आधारित संवादी के मामले में अपने फोन को उल्टा करने की चुनौती शामिल है, जो एक स्थानीय डीपफ़ेक्स प्रणाली को विकृत कर देगी:

फिर से, यह प्रकार की चीज केवल तभी काम करेगी जब उपयोगकर्ता के पास एक मजबूत उपयोग का मामला होगा, जहां उपयोगकर्ता को स्थानीय धारा में स्थानीय पहुंच देने के लिए मजबूर किया जाता है, और इसे केवल निष्क्रिय मूल्यांकन द्वारा लागू नहीं किया जा सकता है, जैसे कि इंटरएक्टिव परीक्षण (जैसे कि अपनी उंगली को अपने चेहरे पर दबाना)।

व्यावहारिकता

पेपर इस बात पर संक्षेप में चर्चा करता है कि इस प्रकार के परीक्षण उपयोगकर्ता को कितना परेशान कर सकते हैं, या उन्हें किसी तरह से असुविधा पहुंचा सकते हैं – जैसे कि उपयोगकर्ता को परीक्षणों के लिए आवश्यक कई वस्तुओं को हाथ में रखने के लिए मजबूर करना, जैसे कि धूप के चश्मे।

यह स्वीकार करता है कि यह शक्तिशाली संवादी को परीक्षण दिनचर्या का पालन करने में मुश्किल हो सकता है। सीईओ के साथ एक वीडियो कॉल के मामले में, लेखक कहते हैं:

‘उपयोगकर्ता की सुविधा यहां महत्वपूर्ण हो सकती है, इसलिए अनौपचारिक या फ्रिवोलस चुनौतियां (जैसे कि चेहरे के विकृतीकरण या अभिव्यक्तियां) उपयुक्त नहीं हो सकती हैं। बाहरी भौतिक लेखों का उपयोग करने वाली चुनौतियां वांछनीय नहीं हो सकती हैं। यहां संदर्भ उपयुक्त रूप से संशोधित किया गया है और गोट्चा अपनी चुनौतियों के सूट को इसी तरह से अनुकूलित करता है।’

डेटा और परीक्षण

गोट्चा का परीक्षण चार स्थानीय लाइव डीपफ़ेक्स प्रणालियों के खिलाफ किया गया था, जिसमें दो संस्करण शामिल थे जो बहुत लोकप्रिय ऑटोएनकोडर डीपफ़ेक्स निर्माता डीपफ़ेसेलैब (‘डीएफएल’, हालांकि आश्चर्य की बात है कि पेपर डीपफ़ेसेलाइव का उल्लेख नहीं करता है, जो अगस्त 2021 से डीपफ़ेसेलैब का ‘लाइव’ कार्यान्वयन रहा है, और एक संभावित धोखेबाज के लिए सबसे अधिक संभावित प्रारंभिक संसाधन प्रतीत होता है)।

चार प्रणालियों में डीएफएल शामिल था, जो एक गैर-प्रसिद्ध व्यक्ति पर ‘हल्के’ प्रशिक्षण पर और एक सेलिब्रिटी पर प्रशिक्षित किया गया था; डीएफएल को 2 मिलियन से अधिक पुनरावृत्तियों या चरणों तक पूरी तरह से प्रशिक्षित किया गया था, जहां एक अधिक प्रदर्शन करने वाला मॉडल की अपेक्षा करेगा; लेटेंट इमेज एनिमेटर (एलआईए); और फेस स्वैपिंग जेनरेटिव एडवर्सेरियल नेटवर्क (एफएसजीएन)।

डेटा के लिए, शोधकर्ताओं ने 47 उपयोगकर्ताओं से 2.5 मिलियन से अधिक वीडियो-फ्रेम्स को कैप्चर और क्यूरेट किया, जिनमें से प्रत्येक ने गोट्चा से 13 सक्रिय चुनौतियों का सामना किया। लेखक यह भी कहते हैं कि यह डेटा अंततः सार्वजनिक रूप से जारी किया जाएगा।

विचलन का पता लगाना मानव पर्यवेक्षक या एल्गोरिदम द्वारा किया जा सकता है। बाद के विकल्प के लिए, प्रणाली को फेसफोरेंसिक्स डेटासेट से 600 चेहरों पर प्रशिक्षित किया गया था। प्रतिगामी हानि फ़ंक्शन शक्तिशाली सीखा हुआ प्रतिगामी छवि पैच समानता (एलपीआईपीएस) था, जबकि द्विआधारी क्रॉस-एंट्रोपी का उपयोग वर्गीकरणकर्ता को प्रशिक्षित करने के लिए किया गया था। आइगेंकैम का उपयोग डिटेक्टर के वजन को विज़ुअलाइज़ करने के लिए किया गया था।

गोट्चा के लिए प्राथमिक परिणाम।

शोधकर्ताओं ने पाया कि चार प्रणालियों पर परीक्षणों के पूरे कैस्केड के लिए, सबसे कम संख्या और गंभीरता के विचलन (अर्थात, कलाकृतियां जो डीपफ़ेक्स प्रणाली की उपस्थिति को प्रकट करेंगी) उच्च प्रशिक्षित डीएफएल वितरण द्वारा प्राप्त किए गए थे। कम प्रशिक्षित संस्करण ने विशेष रूप से जटिल होठ की गतिविधियों (जो फ्रेम का बहुत कम हिस्सा है, लेकिन जो उच्च मानव ध्यान प्राप्त करता है) को पुनरुत्पादन करने में संघर्ष किया, जबकि एफएसजीएन ने दो डीएफएल संस्करणों के बीच मध्य मैदान में कब्जा कर लिया, और एलआईए इस कार्य के लिए पूरी तरह से असमर्थ साबित हुई, शोधकर्ताओं का मानना है कि एलआईए वास्तविक तैनाती में विफल हो जाएगी। पहली बार 17 अक्टूबर 2022 को प्रकाशित किया गया था।

पहली बार 17 अक्टूबर 2022 को प्रकाशित किया गया था।