वीडियो-कॉन्फ़्रेंस डीपफ़ेक का पता लगाने के लिए एक स्मार्टफ़ोन के ‘वाइब्रेट’ फ़ंक्शन का उपयोग

सिंगापुर से नए शोध में एक नवीन तरीके का प्रस्ताव किया गया है जिसमें यह पता लगाने के लिए एक स्मार्टफ़ोन वीडियो कॉन्फ़्रेंसिंग टूल का उपयोग किया जाता है कि क्या दूसरी तरफ से कोई व्यक्ति DeepFaceLive जैसे तरीकों का उपयोग करके किसी और को नकली बनाने की कोशिश कर रहा है या नहीं।

इस नए दृष्टिकोण को SFake नाम दिया गया है, जो अधिकांश प्रणालियों द्वारा नियोजित निष्क्रिय तरीकों को त्याग देता है और उपयोगकर्ता के फ़ोन को वाइब्रेट करने का कारण बनता है (स्मार्टफ़ोन में सामान्य ‘वाइब्रेट’ तंत्र का उपयोग करके) और उनके चेहरे को धुंधला करता है।

हालांकि लाइव डीपफ़ेक सिस्टम विभिन्न रूप से गति धुंधला की नकल करने में सक्षम हैं, जब तक कि धुंधला फुटेज प्रशिक्षण डेटा में शामिल किया गया हो या कम से कम पूर्व-प्रशिक्षण डेटा में, वे इस तरह के अप्रत्याशित धुंधला का जवाब देने के लिए पर्याप्त तेजी से प्रतिक्रिया नहीं कर सकते हैं और अभी भी चेहरे के धुंधला खंडों को बाहर निकाल देते हैं, जो एक डीपफ़ेक सम्मेलन कॉल के अस्तित्व को प्रकट करता है।

DeepFaceLive कैमरा कंपन के कारण होने वाले धुंधला की नकल करने के लिए पर्याप्त तेजी से प्रतिक्रिया नहीं कर सकता है। स्रोत: https://arxiv.org/pdf/2409.10889v1

परीक्षण परिणाम शोधकर्ताओं के स्व-निर्मित डेटासेट (क्योंकि सक्रिय कैमरा हिलाने वाले डेटासेट नहीं हैं) पर पाए गए कि SFake ने प्रतिस्पर्धी वीडियो-आधारित डीपफ़ेक पता लगाने के तरीकों को भी पार किया, यहां तक कि चुनौतीपूर्ण परिस्थितियों में भी, जैसे कि प्राकृतिक हाथ आंदोलन जो तब होता है जब वीडियो कॉन्फ़्रेंस में दूसरा व्यक्ति कैमरा को हाथ से पकड़कर रखता है, न कि स्थिर फ़ोन माउंट का उपयोग करता है।

वीडियो-आधारित डीपफ़ेक पता लगाने की बढ़ती आवश्यकता

वीडियो-आधारित डीपफ़ेक पता लगाने के लिए शोध में हाल ही में वृद्धि हुई है। कई वर्षों के सफल आवाज़-आधारित डीपफ़ेक लूट के बाद, इस वर्ष की शुरुआत में एक वित्त कार्यकर्ता को धोखा दिया गया था एक डीपफ़ेक वीडियो कॉल में जिसमें एक सीएफओ की नकल करने वाले एक धोखेबाज़ ने $25 मिलियन डॉलर हस्तांतरित करने के लिए कहा था।

हालांकि इस तरह की प्रणाली के लिए उच्च स्तर के हार्डवेयर एक्सेस की आवश्यकता होती है, कई स्मार्टफ़ोन उपयोगकर्ता पहले से ही वित्तीय और अन्य प्रकार की सत्यापन सेवाओं से परिचित हैं जो हमें अपने चेहरे की विशेषताओं को रिकॉर्ड करने के लिए कहते हैं चेहरा-आधारित प्रमाणीकरण के लिए (वास्तव में, यह लिंक्डइन की सत्यापन प्रक्रिया का एक हिस्सा है)।

इसलिए, यह संभावना है कि ऐसे तरीके वीडियो कॉन्फ़्रेंसिंग प्रणालियों के लिए बढ़ते हुए लागू किए जाएंगे, क्योंकि इस तरह के अपराध लगातार सुर्खियां बना रहे हैं।

अधिकांश समाधान जो वास्तविक समय वीडियो कॉन्फ़्रेंस डीपफ़ेक को संबोधित करते हैं, एक बहुत ही स्थिर परिदृश्य को मानते हैं, जहां संचारकर्ता एक स्थिर वेबकैम का उपयोग कर रहा है, और कोई आंदोलन या अत्यधिक पर्यावरणीय या प्रकाश परिवर्तन की अपेक्षा नहीं की जाती है। एक स्मार्टफ़ोन कॉल ऐसी ‘निश्चित’ स्थिति प्रदान नहीं करता है।

इसके बजाय, SFake एक हाथ में पकड़े हुए स्मार्टफ़ोन-आधारित वीडियो कॉन्फ़्रेंस में दृश्य विविधताओं की उच्च संख्या के लिए मुआवजा देने के लिए कई पता लगाने के तरीकों का उपयोग करता है, और यह स्मार्टफ़ोन में निर्मित मानक कंपन उपकरण का उपयोग करके इस मुद्दे को संबोधित करने वाली पहली शोध परियोजना प्रतीत होती है।

कागज़ का शीर्षक Shaking the Fake: Detecting Deepfake Videos in Real Time via Active Probes है, और सिंगापुर के नानयांग टेक्नोलॉजिकल यूनिवर्सिटी के दो शोधकर्ताओं से आता है।

विधि

SFake को एक क्लाउड-आधारित सेवा के रूप में डिज़ाइन किया गया है, जहां एक स्थानीय ऐप डेटा को एक दूरस्थ एपीआई सेवा में भेजने के लिए और परिणामों को वापस भेजने के लिए होता है।

हालांकि, इसका केवल 450mb फुटप्रिंट और अनुकूलित विधि यह संभव बनाता है कि यह पूरी तरह से डीपफ़ेक पता लगाने को डिवाइस पर ही संसाधित कर सकता है, जहां नेटवर्क कनेक्शन से भेजे गए छवियों को अत्यधिक संपीड़ित करने से नैदानिक प्रक्रिया पर प्रभाव पड़ सकता है।

इस तरह ‘स्थानीय रूप से’ चलाने का अर्थ है कि प्रणाली को सीधे उपयोगकर्ता के कैमरा फीड तक पहुंच होगी, बिना कोडेक हस्तक्षेप के, जो अक्सर वीडियो कॉन्फ़्रेंसिंग से जुड़ा होता है।

औसत विश्लेषण समय में चार-सेकंड वीडियो नमूने की आवश्यकता होती है, जिसके दौरान उपयोगकर्ता को स्थिर रहने के लिए कहा जाता है, और जिसके दौरान SFake ‘प्रोब’ भेजता है ताकि कैमरा कंपन हो, चयनित रूप से यादृच्छिक अंतराल पर जो प्रणालियों जैसे DeepFaceLive को समय पर प्रतिक्रिया देने में सक्षम नहीं हैं।

(यह फिर से जोर दिया जाना चाहिए कि कोई भी हमलावर जिसने प्रशिक्षण डेटासेट में धुंधला सामग्री शामिल नहीं की है, यह संभावना नहीं है कि वह एक मॉडल तैयार कर सकता है जो धुंधला उत्पन्न कर सकता है, यहां तक कि अधिक अनुकूल परिस्थितियों में भी, और DeepFaceLive बस इस कार्यक्षमता को एक मॉडल में जोड़ नहीं सकता है जो एक कम-संकलित डेटासेट पर प्रशिक्षित है।)

प्रणाली चेहरे के क्षेत्रों को चुनती है जो संभावित डीपफ़ेक सामग्री के क्षेत्र हो सकते हैं, जिसमें आंखें और भौहें शामिल नहीं हैं (क्योंकि इस क्षेत्र में पलक झपकाना और अन्य चेहरे की गति धुंधला पता लगाने के दायरे से बाहर है और एक आदर्श संकेतक नहीं है)।

SFake के लिए概念 स्कीमा

जैसा कि हम उपरोक्त概念 स्कीमा में देख सकते हैं, उपयुक्त और अप्रत्याशित कंपन पैटर्न चुनने के बाद, सबसे अच्छे फोकल लंबाई पर बसने के बाद, और चेहरे की पहचान करने (एक Dlib घटक के माध्यम से जो 68 चेहरे की भूमि चिह्नों का अनुमान लगाता है), SFake इन ग्रेडियंट्स से ग्रेडियंट्स प्राप्त करता है और चयनित क्षेत्रों पर केंद्रित होता है।

वेरिएंस अनुक्रम को तब प्राप्त किया जाता है जब अध्ययन के तहत लघु क्लिप में प्रत्येक फ्रेम का क्रमिक रूप से विश्लेषण किया जाता है, जब तक कि औसत या ‘आदर्श’ अनुक्रम नहीं मिल जाता, और शेष को त्याग दिया जाता है।

यह निकाले गए विशेषताओं प्रदान करता है जो डीपफ़ेक सामग्री की संभावना के लिए एक मात्रा के रूप में उपयोग की जा सकती हैं, जो प्रशिक्षित डेटाबेस (जिसके बारे में अधिक बाद में) पर आधारित है।

प्रणाली को 1920×1080 पिक्सेल के छवि रिज़ॉल्यूशन की आवश्यकता होती है, साथ ही लेंस के लिए कम से कम 2x ज़ूम आवश्यकता होती है। कागज़ में उल्लेख किया गया है कि ऐसे रिज़ॉल्यूशन (और यहां तक कि उच्च रिज़ॉल्यूशन) माइक्रोसॉफ्ट टीम्स, स्काइप, ज़ूम और टेंसेंट मीटिंग में समर्थित हैं।

अधिकांश स्मार्टफ़ोन में एक फ्रंट-फेसिंग और सेल्फ-फेसिंग कैमरा होता है, और अक्सर केवल एक ही ज़ूम क्षमता होती है जो SFake की आवश्यकता होती है; ऐप को इसलिए संचारकर्ता को जो दो कैमरों में से कोई भी आवश्यकता को पूरा करता है उसे उपयोग करने की आवश्यकता होगी।

यहाँ का उद्देश्य उपयोगकर्ता के चेहरे का सही अनुपात प्राप्त करना है जो प्रणाली द्वारा विश्लेषण की जाने वाली वीडियो स्ट्रीम में होगा। कागज़ में उल्लेख किया गया है कि महिलाओं द्वारा मोबाइल डिवाइस का उपयोग करने की औसत दूरी 34.7cm है, और पुरुषों के लिए 38.2cm (जैसा कि जورنल ऑफ़ ऑप्टोमेट्री में रिपोर्ट किया गया है), और SFake इन दूरियों पर बहुत अच्छा काम करता है।

चूंकि स्थिरता हाथ में पकड़े हुए वीडियो के साथ एक मुद्दा है, और क्योंकि हाथ की गति से होने वाला धुंधला SFake के कार्य के लिए एक बाधा है, शोधकर्ताओं ने मुआवजे के लिए कई तरीकों की कोशिश की। इनमें से सबसे सफल यह था कि अनुमानित भूमि चिह्नों के केंद्र बिंदु की गणना की जाए और इसे एक ‘एंकर’ के रूप में उपयोग किया जाए – प्रभावी रूप से एक एल्गोरिदमिक स्थिरीकरण तकनीक। इस विधि से, 92% की सटीकता प्राप्त की गई।

डेटा और परीक्षण

चूंकि उपयुक्त डेटासेट मौजूद नहीं थे, शोधकर्ताओं ने अपना खुद का डेटासेट विकसित किया:

‘हम 8 विभिन्न ब्रांडों के स्मार्टफ़ोन का उपयोग 15 प्रतिभागियों को विभिन्न लिंग और उम्र के साथ रिकॉर्ड करने के लिए करते हैं ताकि हमारा अपना डेटासेट बनाया जा सके। हम स्मार्टफ़ोन को प्रतिभागी से 20 सेमी दूर फ़ोन होल्डर पर रखते हैं और दो बार ज़ूम इन करके प्रतिभागी के चेहरे पर केंद्रित करते हैं ताकि सभी चेहरे की विशेषताओं को शामिल किया जा सके, जबकि स्मार्टफ़ोन को विभिन्न पैटर्न में कंपन करने के लिए। ‘

‘जिन फ़ोनों के फ्रंट कैमरे ज़ूम नहीं कर सकते हैं, हम पीछे के कैमरे का उपयोग करते हैं। हम 150 लंबे वीडियो रिकॉर्ड करते हैं, प्रत्येक 20 सेकंड की अवधि का। डिफ़ॉल्ट रूप से, हम मानते हैं कि पता लगाने की अवधि 4 सेकंड तक रहती है। हम एक लंबे वीडियो से 4 सेकंड लंबे 10 क्लिप को यादृच्छिक रूप से शुरू करने का समय करके ट्रिम करते हैं। इसलिए, हम कुल 1500 वास्तविक क्लिप प्राप्त करते हैं, प्रत्येक 4 सेकंड लंबी।’

हालांकि DeepFaceLive (गिटहब लिंक) इस अध्ययन का केंद्रीय लक्ष्य था, क्योंकि यह वर्तमान में सबसे व्यापक रूप से उपयोग किया जाने वाला ओपन-सोर्स लाइव डीपफ़ेक सिस्टम है, शोधकर्ताओं ने अपने आधार पता लगाने के मॉडल को प्रशिक्षित करने के लिए चार अन्य तरीकों को शामिल किया: Hififace; FS-GANV2; RemakerAI; और MobileFaceSwap – последний एक विशेष रूप से उपयुक्त विकल्प, लक्ष्य वातावरण को देखते हुए।

1500 नकली वीडियो को प्रशिक्षण के लिए उपयोग किया गया था, साथ ही समान संख्या में वास्तविक और अपरिवर्तित वीडियो भी।

SFake को विभिन्न वर्गीकरणकर्ताओं के खिलाफ परीक्षण किया गया था, जिनमें SBI; FaceAF; CnnDetect; LRNet; DefakeHop वेरिएंट; और मुफ्त ऑनलाइन डीपफ़ेक पता लगाने वाली सेवा Deepaware। प्रत्येक डीपफ़ेक तरीके के लिए, 1500 नकली और 1500 वास्तविक वीडियो प्रशिक्षित किए गए थे।

बेस टेस्ट वर्गीकरणकर्ता के लिए, एक सरल दो-परत न्यूरल नेटवर्क का उपयोग किया गया था जिसमें एक ReLU सक्रियण कार्य था। 1000 वास्तविक और 1000 नकली वीडियो यादृच्छिक रूप से चुने गए थे (हालांकि नकली वीडियो विशेष रूप से DeepFaceLive के उदाहरण थे)।

रिसीवर ऑपरेटिंग चार्ट के नीचे क्षेत्र (AUC/AUROC) और सटीकता (ACC) को मीट्रिक के रूप में उपयोग किया गया था।

प्रशिक्षण और अनुमान के लिए, एक NVIDIA RTX 3060 का उपयोग किया गया था, और परीक्षण Ubuntu के तहत चलाए गए थे। परीक्षण वीडियो एक Xiaomi Redmi 10x, एक Xiaomi Redmi K50, एक OPPO Find x6, एक Huawei Nova9, एक Xiaomi 14 Ultra, एक Honor 20, एक Google Pixel 6a, और एक Huawei P60 के साथ रिकॉर्ड किए गए थे।

मौजूदा पता लगाने वाले तरीकों के अनुरूप, परीक्षण PyTorch में लागू किए गए थे। प्राथमिक परीक्षण परिणाम नीचे दी गई तालिका में दिखाए गए हैं:

SFake के खिलाफ प्रतिस्पर्धी तरीकों के लिए परिणाम

यहाँ लेखक टिप्पणी करते हैं:

‘सभी मामलों में, SFake की पता लगाने की सटीकता 95% से अधिक थी। पांच डीपफ़ेक अल्गोरिदम में से, Hififace को छोड़कर, SFake अन्य डीपफ़ेक अल्गोरिदम के खिलाफ अन्य छह पता लगाने वाले तरीकों की तुलना में बेहतर प्रदर्शन करता है। जैसा कि हमारा वर्गीकरणकर्ता DeepFaceLive द्वारा उत्पन्न नकली छवियों का उपयोग करके प्रशिक्षित किया गया है, यह DeepFaceLive का पता लगाने में 98.8% की सटीकता दर तक पहुंचता है। ‘

‘जब RemakerAI द्वारा उत्पन्न नकली चेहरों का सामना करना पड़ता है, तो अन्य पता लगाने वाले तरीके खराब प्रदर्शन करते हैं। हम अनुमान लगाते हैं कि यह इंटरनेट से वीडियो डाउनलोड करते समय स्वचालित रूप से वीडियो के संपीड़न के कारण हो सकता है, जिससे छवि विवरण का नुकसान होता है और पता लगाने की सटीकता कम हो जाती है। हालांकि, यह SFake को प्रभावित नहीं करता है, जो RemakerAI के खिलाफ 96.8% की सटीकता प्राप्त करता है।’

लेखक आगे टिप्पणी करते हैं कि SFake 2x ज़ूम लागू होने पर सबसे अधिक प्रदर्शन करने वाला सिस्टम है, क्योंकि यह आंदोलन को बढ़ाता है और एक अत्यंत चुनौतीपूर्ण परिदृश्य है। यहां तक कि इस स्थिति में, SFake 2.5 और 3 गुणा ज़ूम के लिए क्रमशः 84% और 83% की मान्यता सटीकता प्राप्त करने में सक्षम था।

निष्कर्ष

एक परियोजना जो एक लाइव डीपफ़ेक सिस्टम की कमजोरियों का उपयोग करके उसे अपने खिलाफ उपयोग करती है, यह एक ताज़ा पेशकश है एक वर्ष में जब डीपफ़ेक पता लगाने में शोध आवृत्ति विश्लेषण के आसपास के पारंपरिक तरीकों को हिलाने वाले पत्रों से भरा हुआ है (जो डीपफ़ेक स्थान में नवाचारों के प्रति प्रतिरक्षा से बहुत दूर है)।

2022 के अंत में, एक अन्य प्रणाली ने मॉनिटर चमक परिवर्तन को एक पता लगाने वाले हुक के रूप में उपयोग किया; और उसी वर्ष में, मेरा अपना प्रदर्शन DeepFaceLive की 90-डिग्री प्रोफ़ाइल दृश्यों को संभालने में असमर्थता को सामुदायिक रुचि प्राप्त की।

DeepFaceLive ऐसी परियोजना के लिए सही लक्ष्य है, क्योंकि यह लगभग निश्चित रूप से वीडियो कॉन्फ़्रेंसिंग धोखाधड़ी के संबंध में आपराधिक हित का केंद्र है।

हालांकि, मैंने हाल ही में कुछ अनुभवजन्य साक्ष्य देखा है कि LivePortrait सिस्टम, जो वर्तमान में VFX समुदाय में बहुत लोकप्रिय है, DeepFaceLive की तुलना में प्रोफ़ाइल दृश्यों को बहुत बेहतर तरीके से संभालता है; यह देखना दिलचस्प होगा कि क्या यह अध्ययन में शामिल किया जा सकता था।

मंगलवार, 24 सितंबर, 2024 को पहली बार प्रकाशित