मॉनिटर रोशनी के माध्यम से डीपफेक वीडियो कॉल का पता लगाना

संयुक्त राज्य अमेरिका की राष्ट्रीय सुरक्षा एजेंसी (एनएसए) के एक शोधकर्ता और बर्कले में कैलिफोर्निया विश्वविद्यालय के बीच एक नया सहयोग लाइव वीडियो संदर्भ में डीपफेक सामग्री का पता लगाने के लिए एक उपन्यास विधि प्रदान करता है - मॉनिटर प्रकाश के प्रभाव को देखकर। वीडियो कॉल के दूसरे छोर पर मौजूद व्यक्ति.

लोकप्रिय डीपफेसलाइव उपयोगकर्ता ड्रुज़िल टेक एंड गेम्स अपने अनुयायियों के साथ एक लाइव सत्र में अपने स्वयं के क्रिश्चियन बेल डीपफेसलैब मॉडल को आज़माते हैं, जबकि प्रकाश स्रोत बदलते हैं। स्रोत: https://www.youtube.com/watch?v=XPQLDnogLKA

सिस्टम उपयोगकर्ता की स्क्रीन पर एक ग्राफिक तत्व रखकर काम करता है जो एक विशिष्ट डीपफेक सिस्टम की तुलना में तेजी से अपने रंग की एक संकीर्ण सीमा को बदलता है - भले ही वास्तविक समय डीपफेक स्ट्रीमिंग कार्यान्वयन की तरह हो डीपफेसलाइव (ऊपर चित्रित), इसमें लाइव रंग हस्तांतरण को बनाए रखने और परिवेश प्रकाश व्यवस्था के लिए लेखांकन की कुछ क्षमता है।

दूसरे छोर पर बैठे व्यक्ति (यानी संभावित डीपफेक धोखेबाज) के मॉनिटर पर प्रदर्शित एकसमान रंग की छवि रंग-परिवर्तन की एक सीमित विविधता के माध्यम से चक्रित होती है जो कि वेबकैम के स्वचालित सफेद संतुलन और अन्य को सक्रिय करने के लिए नहीं डिज़ाइन की गई है। तदर्थ रोशनी मुआवजा प्रणाली, जो विधि से समझौता करेगी।

कागज से, उपयोगकर्ता के सामने मॉनिटर से प्रकाश की स्थिति में बदलाव का एक चित्रण, जो प्रभावी रूप से एक फैला हुआ 'क्षेत्र प्रकाश' के रूप में काम करता है। स्रोत: https://farid.berkeley.edu/downloads/publications/cvpr22a.pdf

दृष्टिकोण के पीछे सिद्धांत यह है कि लाइव डीपफेक सिस्टम ऑन-स्क्रीन ग्राफ़िक में दर्शाए गए परिवर्तनों पर समय पर प्रतिक्रिया नहीं दे सकता है, जिससे रंग स्पेक्ट्रम के कुछ हिस्सों में डीपफेक प्रभाव का 'अंतराल' बढ़ जाता है, जिससे इसकी उपस्थिति का पता चलता है।

प्रतिबिंबित मॉनिटर प्रकाश को सटीक रूप से मापने में सक्षम होने के लिए, सिस्टम को सामान्य पर्यावरणीय प्रकाश के प्रभाव को ध्यान में रखना होगा और फिर मॉनिटर से प्रकाश से असंबंधित है। इसके बाद यह सक्रिय-रोशनी रंग और उपयोगकर्ताओं के चेहरे के रंग की माप में कमी को अलग करने में सक्षम है, जो प्रत्येक के बीच 1-4 फ्रेम के अंतर के अस्थायी बदलाव का प्रतिनिधित्व करता है:

ऑन-स्क्रीन 'डिटेक्टर' ग्राफ़िक में रंग विविधताओं को सीमित करके, और यह सुनिश्चित करके कि उपयोगकर्ता के वेबकैम को मॉनिटर रोशनी के स्तर में अत्यधिक परिवर्तन से अपनी कैप्चर सेटिंग्स को स्वचालित रूप से समायोजित करने के लिए प्रेरित नहीं किया जाता है, शोधकर्ता एक बात समझने में सक्षम हुए हैं- प्रकाश परिवर्तन के लिए डीपफेक सिस्टम के समायोजन में कहानी का अंतराल।

पेपर का निष्कर्ष है:

'लाइव वीडियो कॉल पर हमारे उचित विश्वास और हमारे व्यक्तिगत और व्यावसायिक जीवन में वीडियो कॉल की बढ़ती सर्वव्यापकता के कारण, हम प्रस्ताव करते हैं कि वीडियो (और ऑडियो) कॉल को प्रमाणित करने की तकनीकों का महत्व केवल बढ़ेगा।'

RSI अध्ययन शीर्षक है सक्रिय रोशनी का उपयोग करके वास्तविक समय में गहरे-नकली वीडियो का पता लगाना, और अमेरिकी रक्षा विभाग के एक अनुप्रयुक्त अनुसंधान गणितज्ञ कैंडिस आर. गेर्स्टनर और बर्कले के प्रोफेसर हनी फरीद से आता है।

विश्वास का क्षरण

पिछले छह महीनों में डीपफेक विरोधी शोध परिदृश्य में उल्लेखनीय बदलाव आया है, जो सामान्य डीपफेक पहचान (अर्थात पूर्व-रिकॉर्ड किए गए वीडियो और अश्लील सामग्री को लक्षित करना) से हटकर 'लाइवनेस' पहचान की ओर बढ़ रहा है, जिसका कारण वीडियो कॉन्फ्रेंस कॉल में डीपफेक के उपयोग की बढ़ती घटनाएं, तथा दूरस्थ कार्य के लिए अनुप्रयोगों में ऐसी प्रौद्योगिकियों के बढ़ते उपयोग के संबंध में एफबीआई की हाल की चेतावनी है।

यहां तक ​​कि जहां एक वीडियो कॉल डीपफेक नहीं किया गया है, वहां भी एआई-संचालित वीडियो प्रतिरूपणकर्ताओं के लिए अवसरों में वृद्धि हुई है व्यामोह पैदा करना शुरू कर दिया.

नया पेपर कहता है:

'लाइव वीडियो या फोन कॉल के आसपास विश्वास की सामान्य भावना और कॉल के सामने आने पर वास्तविक समय में डीप फेक का पता लगाने की चुनौती के कारण वास्तविक समय में डीप फेक का निर्माण अद्वितीय खतरा उत्पन्न करता है।'

अनुसंधान समुदाय ने लंबे समय से डीपफेक सामग्री के अचूक संकेत खोजने का लक्ष्य निर्धारित किया है जिसकी आसानी से भरपाई नहीं की जा सकती है। हालाँकि मीडिया ने इसे आमतौर पर सुरक्षा शोधकर्ताओं और डीपफेक डेवलपर्स के बीच एक तकनीकी युद्ध के रूप में चित्रित किया है, लेकिन शुरुआती दृष्टिकोणों (जैसे कि) के अधिकांश निषेध आँख झपकाने का विश्लेषण, शीर्षासन का विवेक, तथा व्यवहार विश्लेषण) केवल इसलिए हुआ है क्योंकि डेवलपर्स और उपयोगकर्ता सुरक्षा समुदाय द्वारा पहचाने गए नवीनतम 'बताओ' को विशेष रूप से संबोधित करने के बजाय सामान्य रूप से अधिक यथार्थवादी डीपफेक बनाने की कोशिश कर रहे थे।

लाइव डीपफेक वीडियो पर प्रकाश डालते हुए

लाइव वीडियो वातावरण में डीपफेक का पता लगाने में खराब वीडियो कनेक्शन के लिए लेखांकन का बोझ होता है, जो वीडियो-कॉन्फ्रेंसिंग परिदृश्यों में बहुत आम है। हस्तक्षेप करने वाली डीपफेक परत के बिना भी, वीडियो सामग्री नासा-शैली अंतराल, कलाकृतियों के प्रतिपादन और ऑडियो और वीडियो में अन्य प्रकार की गिरावट के अधीन हो सकती है। ये वीडियो और दोनों के संदर्भ में, लाइव डीपफेकिंग आर्किटेक्चर में खुरदरे किनारों को छिपाने का काम कर सकते हैं ऑडियो डीपफेक.

लेखकों की नई प्रणाली उन परिणामों और विधियों में सुधार करती है जो इसमें शामिल हैं 2020 प्रकाशन फिलाडेल्फिया में टेम्पल यूनिवर्सिटी में नेटवर्क कंप्यूटिंग केंद्र से।

2020 के पेपर से, हम उपयोगकर्ता की स्क्रीन की सामग्री में बदलाव के साथ 'इन-फिल्ड' चेहरे की रोशनी में बदलाव देख सकते हैं। स्रोत: https://cis.temple.edu/~jiewu/research/publications/Publication_files/FakeFace__ICDCS_2020.pdf

नए काम में अंतर यह है कि यह इस बात पर ध्यान देता है कि वेबकैम प्रकाश परिवर्तन पर किस तरह प्रतिक्रिया करता है। लेखक समझाते हैं:

'क्योंकि सभी आधुनिक वेबकैम ऑटो एक्सपोज़र करते हैं, उच्च तीव्रता वाली सक्रिय रोशनी का प्रकार [पूर्व कार्य में उपयोग किया गया] कैमरे के ऑटो एक्सपोज़र को ट्रिगर करने की संभावना है जो बदले में रिकॉर्ड किए गए चेहरे की उपस्थिति को भ्रमित कर देगा। इससे बचने के लिए, हम एक सक्रिय रोशनी का उपयोग करते हैं जिसमें रंग में आइसोल्यूमिनेंट परिवर्तन शामिल होता है।

'हालांकि यह कैमरे के ऑटो एक्सपोज़र से बचाता है, यह कैमरे के सफेद संतुलन को ट्रिगर कर सकता है जो रिकॉर्ड किए गए चेहरे की उपस्थिति को फिर से भ्रमित कर देगा। इससे बचने के लिए, हम एक रंग सीमा में काम करते हैं जिसे हमने अनुभवजन्य रूप से निर्धारित किया है कि यह सफेद संतुलन को ट्रिगर नहीं करता है।'

इस पहल के लिए, लेखकों ने इसी तरह के पूर्व प्रयासों पर भी विचार किया, जैसे लाइवस्क्रीन, जो डीपफेक सामग्री को प्रकट करने के प्रयास में अंतिम-उपयोगकर्ता के मॉनिटर पर एक अस्पष्ट प्रकाश पैटर्न को मजबूर करता है।

हालाँकि उस प्रणाली ने 94.8% सटीकता दर हासिल की, शोधकर्ताओं ने निष्कर्ष निकाला कि प्रकाश पैटर्न की सूक्ष्मता इस तरह के गुप्त दृष्टिकोण को उज्ज्वल रोशनी वाले वातावरण में लागू करना मुश्किल बना देगी, और इसके बजाय उनका स्वयं का सिस्टम, या समान रेखाओं वाला एक पैटर्न प्रस्तावित है, लोकप्रिय वीडियो-कॉन्फ्रेंसिंग सॉफ़्टवेयर में सार्वजनिक रूप से और डिफ़ॉल्ट रूप से शामिल किया जा सकता है:

'हमारा प्रस्तावित हस्तक्षेप या तो एक कॉल प्रतिभागी द्वारा महसूस किया जा सकता है जो बस अपनी स्क्रीन साझा करता है और अस्थायी रूप से भिन्न पैटर्न प्रदर्शित करता है, या, आदर्श रूप से, इसे सीधे वीडियो-कॉल क्लाइंट में एकीकृत किया जा सकता है।'

टेस्ट

लेखकों ने अपने परीक्षण के लिए सिंथेटिक और वास्तविक दुनिया के विषयों के मिश्रण का उपयोग किया Dlib-संचालित डीपफेक डिटेक्टर। सिंथेटिक परिदृश्य के लिए, उन्होंने उपयोग किया मित्सुबा, लॉज़ेन में स्विस फेडरल इंस्टीट्यूट ऑफ टेक्नोलॉजी से एक फॉरवर्ड और इनवर्स रेंडरर।

सिम्युलेटेड पर्यावरण परीक्षणों के नमूने, जिनमें अलग-अलग त्वचा का रंग, प्रकाश स्रोत का आकार, परिवेश प्रकाश की तीव्रता और कैमरे से निकटता शामिल है।

चित्रित दृश्य में 90° दृश्य क्षेत्र के साथ एक आभासी कैमरे से कैप्चर किया गया एक पैरामीट्रिक सीजीआई हेड शामिल है। प्रमुखों की विशेषता है लैंबर्टियन परावर्तन और तटस्थ त्वचा टोन, और आभासी कैमरे के सामने 2 फीट की दूरी पर स्थित हैं।

संभावित त्वचा टोन और सेट-अप की एक श्रृंखला में ढांचे का परीक्षण करने के लिए, शोधकर्ताओं ने क्रमिक रूप से विविध पहलुओं को बदलते हुए परीक्षणों की एक श्रृंखला चलाई। बदले गए पहलुओं में त्वचा का रंग, निकटता और रोशनी का आकार शामिल है।

लेखक टिप्पणी करते हैं:

'सिमुलेशन में, हमारी विभिन्न धारणाओं के संतुष्ट होने के साथ, हमारी प्रस्तावित तकनीक इमेजिंग कॉन्फ़िगरेशन की एक विस्तृत श्रृंखला के लिए अत्यधिक मजबूत है।'

वास्तविक दुनिया के परिदृश्य के लिए, शोधकर्ताओं ने विभिन्न वातावरणों में विभिन्न त्वचा टोन वाले 15 स्वयंसेवकों का उपयोग किया। प्रत्येक को प्रतिबंधित रंग भिन्नता के दो चक्रों के अधीन किया गया था, ऐसी स्थितियों के तहत जहां 30 हर्ट्ज डिस्प्ले ताज़ा दर वेबकैम पर सिंक्रनाइज़ की गई थी, जिसका अर्थ है कि सक्रिय रोशनी एक समय में केवल एक सेकंड तक ही रहेगी। परिणाम मोटे तौर पर सिंथेटिक परीक्षणों के साथ तुलनीय थे, हालांकि अधिक रोशनी मूल्यों के साथ सहसंबंध उल्लेखनीय रूप से बढ़ गए।

भविष्य की रूप रेखा

शोधकर्ताओं का मानना ​​है कि यह प्रणाली सामान्य चेहरे की रुकावटों, जैसे कि बैंग्स, चश्मा या चेहरे के बाल के लिए जिम्मेदार नहीं है। हालाँकि, उन्होंने ध्यान दिया कि इस प्रकार की मास्किंग को बाद के सिस्टम (लेबलिंग और बाद के सिमेंटिक विभाजन के माध्यम से) में जोड़ा जा सकता है, जिसे लक्ष्य विषय में कथित त्वचा क्षेत्रों से विशेष रूप से मूल्य लेने के लिए प्रशिक्षित किया जा सकता है।

लेखकों का यह भी सुझाव है कि डीपफेक ऑडियो कॉल का पता लगाने के लिए एक समान प्रतिमान को नियोजित किया जा सकता है, और आवश्यक ध्वनि का पता लगाने को सामान्य मानव श्रवण सीमा से बाहर आवृत्ति में चलाया जा सकता है।

शायद सबसे दिलचस्प बात यह है कि शोधकर्ताओं का यह भी सुझाव है कि एक समृद्ध कैप्चर फ्रेमवर्क में चेहरे से परे मूल्यांकन क्षेत्र का विस्तार करने से डीपफेक का पता लगाने की संभावना में उल्लेखनीय सुधार हो सकता है*:

'एक अधिक परिष्कृत 3-डी प्रकाश व्यवस्था का अनुमान  संभवतः एक समृद्ध उपस्थिति मॉडल प्रदान करेगा जिसे किसी जालसाज़ के लिए टालना और भी कठिन होगा। जबकि हमने केवल चेहरे पर ध्यान केंद्रित किया, कंप्यूटर डिस्प्ले गर्दन, ऊपरी शरीर और आसपास की पृष्ठभूमि को भी रोशन करता है, जिससे समान माप किया जा सकता है।

'ये अतिरिक्त माप जालसाज को केवल चेहरे पर ही नहीं बल्कि संपूर्ण 3-डी दृश्य पर विचार करने के लिए बाध्य करेंगे।'

* लेखकों के इनलाइन उद्धरणों का हाइपरलिंक में मेरा रूपांतरण।

पहली बार 6 जुलाई 2022 को प्रकाशित।