डीपफ़ेक डिटेक्शन आधारित मूल मानव बायोमेट्रिक विशेषताओं पर

इटली और जर्मनी के शोधकर्ताओं द्वारा एक नए शोध पत्र में एक तरीका प्रस्तावित किया गया है जो चेहरे और आवाज़ के व्यवहार पर आधारित डीपफ़ेक वीडियो का पता लगाने के लिए, न कि चेहरे संश्लेषण प्रणालियों द्वारा बनाए गए कलाकृतियों, महंगे वॉटरमार्किंग समाधानों या अन्य अधिक जटिल दृष्टिकोणों के आधार पर।

इस फ्रेमवर्क को विषय के 10 या अधिक विविध, गैर-नकली वीडियो की आवश्यकता होती है। हालांकि, इसके लिए विशिष्ट प्रशिक्षण, पुनः प्रशिक्षण या प्रति-मामले वीडियो पर प्रशिक्षित करने की आवश्यकता नहीं है, क्योंकि इसके एकीकृत मॉडल ने पहले से ही वास्तविक और नकली वीडियो के बीच संभावित वेक्टर दूरी को एक व्यापक रूप से लागू करने वाले तरीके से स abstract किया है।

संकल्पनात्मक सीखने के दृष्टिकोण से POI-फोरेंसिक्स का दृष्टिकोण। स्रोत सामग्री से वेक्टर व्युत्पन्न किए गए हैं, जो एक संभावित नकली वीडियो में समान वेक्टर की तुलना में वीडियो और ऑडियो घटकों से विशेषताओं और विशेषताओं को आकर्षित करते हैं। स्रोत: https://arxiv.org/pdf/2204.03083.pdf

इस दृष्टिकोण को POI-फोरेंसिक्स नाम दिया गया है, जो वास्तविक व्यक्ति की विशिष्ट गति और ऑडियो संकेतों पर निर्भर करता है।

इस प्रणाली को पूरी तरह से स्वचालित, ‘प्री-रेंडर्ड’ प्रमाणीकरण फ्रेमवर्क के रूप में उपयोग किया जा सकता है, जो हस्तियों, राजनेताओं, यूट्यूब प्रभावितों और अन्य लोगों के लिए जिनके लिए बहुत सारा वीडियो सामग्री आसानी से उपलब्ध है। यह एक ऐसे फ्रेमवर्क में भी अनुकूलित किया जा सकता है जहां सामान्य लोग डीपफ़ेक प्रौद्योगिकियों के शिकार हो सकते हैं और अपने खिलाफ हमलों की असलीपन को साबित करने के लिए एक मंच प्रदान कर सकते हैं।

POI-फोरेंसिक्स में वास्तविक और नकली वीडियो के चार विषयों से निकाले गए विशेषताओं के दृश्यांकन, t-SNE फ्रेमवर्क के माध्यम से।

लेखकों का दावा है कि POI-फोरेंसिक्स डीपफ़ेक डिटेक्शन में एक नए राज्य की स्थापना करता है। इस क्षेत्र में सामान्य डेटासेट में, फ्रेमवर्क उच्च गुणवत्ता वाले वीडियो के लिए 3%, निम्न गुणवत्ता वाले वीडियो के लिए 10%, और ‘हमला’ वीडियो के लिए 7% के AUC स्कोर में सुधार करता है। शोधकर्ता जल्द ही कोड जारी करने का वादा करते हैं।

POI-फोरेंसिक्स का प्रतिद्वंद्वी SOTA फ्रेमवर्क pDFDC, DeepFakeTIMIT, FakeAVCelebV2, और KoDF के खिलाफ प्रदर्शन। प्रत्येक मामले में प्रशिक्षण FaceForensics++, ID-Reveal और लेखकों के तरीके पर VoxCeleb2 पर किया गया था। परिणाम उच्च और निम्न गुणवत्ता वाले वीडियो शामिल हैं।

लेखकों का कहना है:

‘प्रशिक्षण केवल वास्तविक बोलते चेहरे वीडियो पर किया जाता है, इसलिए डिटेक्टर किसी विशिष्ट हेरफेर विधि पर निर्भर नहीं करता है और उच्चतम सामान्यीकरण क्षमता प्रदान करता है। इसके अलावा, हमारी विधि एकल-मोडलिटी (ऑडियो-केवल, वीडियो-केवल) और मल्टी-मोडलिटी (ऑडियो-वीडियो) हमलों का पता लगा सकती है, और निम्न गुणवत्ता वाले या दूषित वीडियो के लिए उच्च स्तरीय सेमांटिक विशेषताओं पर निर्माण करके मजबूत है।’

नया पत्र, जो 2021 में लेखकों के कुछ दृश्य-आधारित ID-Reveal परियोजना के तत्वों को शामिल करता है, का शीर्षक ऑडियो-विज़ुअल पर्सन-ऑफ-इंटरेस्ट डीपफ़ेक डिटेक्शन है, और यह नेपल्स में फेडेरिको II विश्वविद्यालय और म्यूनिख तकनीकी विश्वविद्यालय के बीच एक संयुक्त प्रयास है।

डीपफ़ेक हथियारों की दौड़

इस प्रकार की डिटेक्शन प्रणाली को हराने के लिए, डीपफ़ेक और मानव संश्लेषण प्रणालियों को लक्षित संश्लेषण के लिए दृश्य और ऑडियो बायोमेट्रिक संकेतों को कम से कम अनुकरण करने की क्षमता की आवश्यकता होगी – जो प्रौद्योगिकी कई वर्षों से दूर है और संभवतः वीएफएक्स कंपनियों द्वारा विकसित महंगी और प्रोप्राइटरी बंद प्रणालियों के पerview में रहेगी, जो लक्षित व्यक्ति (या मृत व्यक्ति के मामले में उनकी संपत्ति) के सहयोग और भागीदारी का लाभ उठाएगी।

लेखकों का पिछला दृष्टिकोण, ID-Reveal, पूरी तरह से दृश्य जानकारी पर केंद्रित था। स्रोत: https://arxiv.org/pdf/2012.02512.pdf

सफल और लोकप्रिय डीपफ़ेक विधियों जैसे FaceSwap और DeepFaceLab/Live वर्तमान में ऐसे सूक्ष्म बायोमेट्रिक अनुमानों को बनाने की क्षमता नहीं रखते हैं, जो सबसे अच्छे मामले में प्रतिभाशाली प्रतिरूपणकर्ताओं पर निर्भर करते हैं जिन पर नकली पहचान लगाई जाती है, और अधिक बार ‘समान’ लोगों के वाइल्ड फुटेज पर निर्भर करते हैं। न ही मूल 2017 कोड की संरचना, जिसमें बहुत कम मॉड्यूलरिटी है और जो DFL और FaceSwap के लिए अपस्ट्रीम स्रोत बनी हुई है, इस तरह की कार्यक्षमता जोड़ने को संभव बनाती है।

इन दो प्रमुख डीपफ़ेक पैकेज ऑटोएनकोडर पर आधारित हैं। मानव संश्लेषण के वैकल्पिक तरीके जनरेटिव एडवर्सेरियल नेटवर्क (GAN) या न्यूरल रेडिएंस फील्ड (NeRF) दृष्टिकोण का उपयोग करके मानव पहचान को पुनर्निर्माण करने के लिए उपयोग किए जा सकते हैं; लेकिन दोनों शोध रेखाएं पूरी तरह से फोटोरियलिस्टिक मानव वीडियो बनाने के लिए आगे काम करने से पहले वर्षों से दूर हैं।

ऑडियो (नकली आवाज़) को छोड़कर, बायोमेट्रिक सिमुलेशन मानव छवि संश्लेषण के सामने आने वाली चुनौतियों की सूची में बहुत नीचे है। किसी भी मामले में, मानव आवाज़ की तिम्ब्र और अन्य गुणों को पुनरुत्पादित करना इसकी विचित्रता और ‘बताओ’ को पुनरुत्पादित नहीं करता है, या वास्तविक विषय द्वारा सेमांटिक निर्माण का उपयोग कैसे किया जाता है। इसलिए, यहां तक कि एआई-जनित आवाज़ सिमुलेशन की खामियों को पूरा करने से बायोमेट्रिक प्रामाणिकता की संभावित आग की दीवार का समाधान नहीं होता है।

Arxiv पर अकेले, डीपफ़ेक डिटेक्शन रणनीतियों और नवाचारों को प्रति सप्ताह जारी किया जाता है। हाल के दृष्टिकोणों में वॉइस-फेस होमोजीनिटी, लोकल बाइनरी पैटर्न हिस्टोग्राम (FF-LBPH), मानव धारणा ऑडियो डीपफ़ेक, चेहरे की सीमाओं का विश्लेषण, वीडियो क्षय के लिए खाता, और ‘फोरेंसिक बैलिस्टिक्स’ – अन्य लोगों के बीच शामिल हैं।

हिस्टोग्राम विश्लेषण डीपफ़ेक डिटेक्शन में सुधार के लिए नवीनतम तकनीकों में से एक है। स्रोत: https://arxiv.org/pdf/2203.09928.pdf

दृष्टिकोण, डेटा और वास्तुकला

POI-फोरेंसिक्स पहचान सत्यापन के लिए एक बहु-मोडल दृष्टिकोण लेता है, जो दृश्य और ऑडियो संकेतों पर आधारित सॉफ्ट बायोमेट्रिक्स का लाभ उठाता है। फ्रेमवर्क में अलग-अलग ऑडियो और वीडियो नेटवर्क हैं, जो अंततः विशिष्ट वेक्टर डेटा को व्युत्पन्न करते हैं जो एक संभावित डीपफ़ेक वीडियो में निकाले गए समान विशेषताओं की तुलना में किया जा सकता है।

POI-फोरेंसिक्स का संरचनात्मक आर्किटेक्चर。

अलग-अलग (ऑडियो या वीडियो) और फ्यूजन विश्लेषण दोनों को लक्ष्य क्लिप पर किया जा सकता है, जो अंततः एक POI समानता सूचकांक पर पहुंचता है। उपयोग की जाने वाली विरोधी हानि फंक्शन 2021 में गूगल रिसर्च, बोस्टन विश्वविद्यालय, स्नैप इंक। और एमआईटी के बीच एक अकादमिक सहयोग पर आधारित है।

आधार डेटासेट को प्रति-पहचान के आधार पर विभाजित किया गया था। 4608 पहचान को प्रशिक्षण के लिए उपयोग किया गया था, जबकि 512 को सत्यापन के लिए आरक्षित किया गया था। FakeAVCelebV2 (एक परीक्षण उम्मीदवार, नीचे देखें) में उपयोग किए जाने वाले 500 पहचान को गैर-ध्रुवीकृत परिणाम प्राप्त करने के लिए बाहर रखा गया था।

दोनों नेटवर्क को 12 युगों के लिए प्रशिक्षित किया गया था, जो असामान्य रूप से बड़े बैच आकार 2304 बैच प्रति युग के साथ था, प्रत्येक बैच में 8×8 वीडियो सेगमेंट – 8 सेगमेंट 8 अलग-अलग पहचान के लिए। एडम ऑप्टिमाइज़र का उपयोग डिकपल्ड वेट डिके के साथ 10^(-4) की लर्निंग दर और 0.01 के वेट डिके के साथ किया गया था।

परीक्षण और परिणाम

परियोजना के लिए परीक्षण किए गए डीपफ़ेक डेटासेट में पूर्वावलोकन डीपफ़ेक डिटेक्शन चुनौती डेटासेट शामिल था, जिसमें 68 विषयों के चेहरे के स्वैप शामिल थे, जिनमें से 44 पहचानें चुनी गईं जिनके पास नौ से अधिक संबंधित वीडियो थे, कुल 920 वास्तविक वीडियो और 2925 नकली वीडियो; DeepFake-TIMIT, एक GAN-आधारित डेटासेट जिसमें 32 विषयों के 320 वीडियो शामिल थे, कुल 290 वास्तविक वीडियो और चार सेकंड से अधिक अवधि के 580 नकली वीडियो; FakeAVCelebV2, जिसमें Voxceleb2 से 500 वास्तविक वीडियो और विभिन्न डेटासेट से लगभग 20,000 नकली वीडियो शामिल थे, जिनमें SV2TTS के साथ संगतता के लिए नकली क्लोन ऑडियो जोड़ा गया था; और KoDF, एक कोरियाई डीपफ़ेक डेटासेट जिसमें FaceSwap, DeepFaceLab, और FSGAN के माध्यम से 403 पहचानें शामिल थीं, साथ ही FOMM के तीन प्रथम क्रम मOTION मॉडल भी शामिल थे।

बाद में ऑडियो-चालित चेहरा संश्लेषण ATFHP और Wav2Lip का आउटपुट भी शामिल था, जिसमें शोधकर्ताओं ने 276 वास्तविक वीडियो और 544 नकली वीडियो वाले एक व्युत्पन्न डेटासेट का उपयोग किया था।

उपयोग किए गए मेट्रिक्स में रिसीवर ऑपरेटिंग विशेषता कर्व (AUC) और 10% ‘फाल्स अलार्म दर’ शामिल थी, जो उन फ्रेमवर्क में समस्याग्रस्त होगी जो नकली डेटा पर प्रशिक्षित और प्रशिक्षित होते हैं, लेकिन जो चिंता को दूर करता है क्योंकि POI-फोरेंसिक्स केवल वास्तविक वीडियो फुटेज को अपने इनपुट के रूप में लेता है।

विधियों का सेफेरबेकोव डीपफ़ेक डिटेक्टर के खिलाफ परीक्षण किया गया था, जिसने कागल डीपफ़ेक डिटेक्शन चुनौती में पहला स्थान हासिल किया था; FTCN (पूरी तरह से समयिक कन्वोल्यूशनल नेटवर्क), चीन के शियामेन विश्वविद्यालय और माइक्रोसॉफ्ट रिसर्च एशिया के बीच एक सहयोग; लिपफोरेंसिक्स, 2021 में इम्पीरियल कॉलेज लंदन और फेसबुक के बीच एक संयुक्त कार्य; और ID-Reveal, इस पत्र के शोधकर्ताओं की एक पिछली परियोजना, जो ऑडियो पहलू को छोड़ देती है और डीपफ़ेक आउटपुट का पता लगाने के लिए 3D मॉर्फेबल मॉडल के संयोजन में एक प्रतिद्वंद्वी गेम दृश्य का उपयोग करती है।

परिणामों में (उपरोक्त तालिका देखें), POI-फोरेंसिक्स ने संदर्भ नेता सेफेरबेकोव को 2.5% के AUC में और 1.5% के सटीकता में पीछे छोड़ दिया। उच्च गुणवत्ता वाले डेटासेट पर प्रदर्शन अधिक प्रतिस्पर्धी था।

हालांकि, नया दृष्टिकोण निम्न गुणवत्ता वाले वीडियो के लिए सभी प्रतिद्वंद्वी संदर्भ विधियों पर एक उल्लेखनीय बढ़त दिखाया, जो ‘वास्तविक दुनिया’ संदर्भों में आकस्मिक दर्शकों को धोखा देने के लिए डीपफ़ेक के सबसे अधिक संभावित परिदृश्य हैं।

लेखकों का कहना है:

‘वास्तव में, इस चुनौतीपूर्ण परिदृश्य में, केवल पहचान-आधारित दृष्टिकोण अच्छा प्रदर्शन जारी रखते हैं, क्योंकि वे उच्च स्तरीय सेमांटिक विशेषताओं पर निर्भर करते हैं, जो छवि क्षति के लिए काफी मजबूत हैं।’

यह देखते हुए कि PIO-फोरेंसिक्स केवल वास्तविक वीडियो को स्रोत सामग्री के रूप में उपयोग करता है, यह उपलब्धि तर्कसंगत रूप से बढ़ जाती है, और सुझाव देती है कि संभावित डीपफ़ेक पीड़ितों की मूल बायोमेट्रिक विशेषताओं का उपयोग करना ‘कलाकृति ठंडे युद्ध’ से बचने के लिए एक उपयोगी मार्ग हो सकता है। डीपफ़ेक सॉफ़्टवेयर और डीपफ़ेक डिटेक्शन समाधानों के बीच।

एक अंतिम परीक्षण में, शोधकर्ताओं ने इनपुट में विरोधी शोर जोड़ा, एक विधि जो वर्गीकरणकर्ताओं को विश्वसनीय रूप से धोखा दे सकती है। अब पुराना फास्ट ग्रेडिएंट साइन विधि इस संबंध में विशेष रूप से प्रभावी साबित हुई।

प्रत्याशित रूप से, विरोधी हमले रणनीतियों ने सभी विधियों और डेटासेट में सफलता दर को कम कर दिया, जिसमें AUC 10% से 38% तक गिर गया। हालांकि, केवल POI-फोरेंसिक्स और लेखकों की पिछली विधि ID-Reveal ही इस हमले परिदृश्य में उचित प्रदर्शन बनाए रखने में सक्षम थे, जो यह सुझाव देता है कि सॉफ्ट बायोमेट्रिक्स से जुड़ी उच्च स्तरीय विशेषताएं डीपफ़ेक डिटेक्शन बचाव के लिए असाधारण रूप से प्रतिरोधी हैं।

लेखकों का निष्कर्ष है:

‘कुल मिलाकर, हमारा मानना है कि हमारी विधि एक पहला कदम है; विशेष रूप से, उच्च स्तरीय सेमांटिक विशेषताओं का उपयोग भविष्य के शोध के लिए एक आशाजनक दिशा है। इसके अलावा, मल्टीमॉडल विश्लेषण को अन्य डोमेन जैसे पाठ डेटा से अधिक जानकारी शामिल करके और समृद्ध किया जा सकता है।’

पहली बार 8 अप्रैल 2022 को प्रकाशित।