Anderson का एंगल

मानव की स्वाभाविक बायोमेट्रिक विशेषताओं पर आधारित डीपफ़ेक पहचान

Martin Anderson
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
Images produced by deepfakers at the DeepFaceLab Discord Channel
मुख्य बिंदुPOI-फोरेंसिक्स किसी विषय के वास्तविक वीडियो के साथ बायोमेट्रिक चेहरे और आवाज के संकेतों…
और देखें
  • POI-फोरेंसिक्स किसी विषय के वास्तविक वीडियो के साथ बायोमेट्रिक चेहरे और आवाज के संकेतों की तुलना करके डीपफेक का पता लगाता है।
  • यह प्रणाली केवल प्रामाणिक फुटेज पर निर्भर करते हुए, नकली वीडियो पर प्रशिक्षण के बिना अत्याधुनिक परिणाम प्राप्त करती है।
  • बायोमेट्रिक सिमुलेशन अभी भी वर्षों दूर है, जो इस दृष्टिकोण को वर्तमान डीपफेक विधियों के खिलाफ एक मजबूत बचाव बनाता है।

इटली और जर्मनी के शोधकर्ताओं द्वारा एक नए शोध पत्र में एक तरीका प्रस्तावित किया गया है जो चेहरे और आवाज़ के बायोमेट्रिक व्यवहार पर आधारित डीपफ़ेक वीडियो का पता लगाने के लिए, न कि चेहरे के संश्लेषण से पैदा होने वाले दृश्य दोषों, महंगे वॉटरमार्किंग समाधानों या अन्य अधिक जटिल दृष्टिकोणों के आधार पर।

इस फ्रेमवर्क को विषय के 10 या अधिक विविध, गैर-नकली वीडियो की आवश्यकता होती है। हालांकि, इसके लिए हर मामले के वीडियो से अलग प्रशिक्षण, पुनः प्रशिक्षण या डेटा ऑग्मेंटेशन करने की आवश्यकता नहीं है, क्योंकि इसके एकीकृत मॉडल ने पहले से ही वास्तविक और नकली वीडियो के बीच संभावित वेक्टर दूरी को एक व्यापक रूप से लागू करने वाले तरीके से सीख लिया है।

कॉन्ट्रास्टिव लर्निंग POI-Forensics के दृष्टिकोण का आधार है। प्रत्येक मामले की स्रोत सामग्री से निकले वेक्टर की तुलना संभावित नकली वीडियो से निकले समान वेक्टर से की जाती है। इसमें उस वीडियो के दृश्य और ऑडियो, दोनों के पहलू और गुण शामिल होते हैं। स्रोत: https://arxiv.org/pdf/2204.03083.pdf

कॉन्ट्रास्टिव लर्निंग POI-Forensics के दृष्टिकोण का आधार है। प्रत्येक मामले की स्रोत सामग्री से निकले वेक्टर की तुलना संभावित नकली वीडियो से निकले समान वेक्टर से की जाती है। इसमें उस वीडियो के दृश्य और ऑडियो, दोनों के पहलू और गुण शामिल होते हैं। स्रोत: https://arxiv.org/pdf/2204.03083.pdf

इस दृष्टिकोण को POI-फोरेंसिक्स नाम दिया गया है, जो वास्तविक व्यक्ति की विशिष्ट गति और ऑडियो संकेतों पर निर्भर करता है।

इस प्रणाली को पूरी तरह से स्वचालित, ‘प्री-रेंडर्ड’ प्रमाणीकरण फ्रेमवर्क के रूप में उपयोग किया जा सकता है, जो हस्तियों, राजनेताओं, यूट्यूब प्रभावितों और अन्य लोगों के लिए जिनके लिए बहुत सारा वीडियो सामग्री आसानी से उपलब्ध है। यह एक ऐसे फ्रेमवर्क में भी अनुकूलित किया जा सकता है जहां सामान्य लोग डीपफ़ेक प्रौद्योगिकियों के शिकार हो सकते हैं और अपने खिलाफ हमलों में इस्तेमाल सामग्री के नकली होने को साबित करने के लिए एक मंच प्रदान कर सकते हैं।

POI-Forensics में चार व्यक्तियों के वास्तविक और नकली वीडियो से निकाली गई विशेषताओं का t-SNE के माध्यम से दृश्यांकन।

POI-Forensics में चार व्यक्तियों के वास्तविक और नकली वीडियो से निकाली गई विशेषताओं का t-SNE फ्रेमवर्क के माध्यम से दृश्यांकन।

लेखकों का दावा है कि POI-फोरेंसिक्स डीपफ़ेक डिटेक्शन में एक नए सर्वश्रेष्ठ प्रदर्शन स्तर तक पहुँचता है। इस क्षेत्र में सामान्य डेटासेट में, फ्रेमवर्क उच्च गुणवत्ता वाले वीडियो के लिए 3%, निम्न गुणवत्ता वाले वीडियो के लिए 10%, और ‘हमला’ वीडियो के लिए 7% के AUC स्कोर में सुधार करता है। शोधकर्ता जल्द ही कोड जारी करने का वादा करते हैं।

प्रतिद्वंद्वी SOTA फ्रेमवर्क pDFDC, DeepFakeTIMIT, FakeAVCelebV2 और KoDF के मुकाबले POI-Forensics का प्रदर्शन। प्रशिक्षण में FaceForensics++, ID-Reveal और लेखकों की विधि का VoxCeleb2 पर उपयोग किया गया। परिणामों में उच्च और निम्न गुणवत्ता वाले वीडियो शामिल हैं।

प्रतिद्वंद्वी SOTA फ्रेमवर्क pDFDC, DeepFakeTIMIT, FakeAVCelebV2 और KoDF के मुकाबले POI-Forensics का प्रदर्शन। प्रत्येक मामले में प्रशिक्षण FaceForensics++ और लेखकों की अपनी ID-Reveal विधि का VoxCeleb2 पर उपयोग करके किया गया। परिणामों में उच्च और निम्न गुणवत्ता वाले वीडियो शामिल हैं।

लेखकों का कहना है:

‘प्रशिक्षण केवल वास्तविक बोलते चेहरे वीडियो पर किया जाता है, इसलिए डिटेक्टर किसी विशिष्ट हेरफेर विधि पर निर्भर नहीं करता है और उच्चतम सामान्यीकरण क्षमता प्रदान करता है। इसके अलावा, हमारी विधि एकल-मोडलिटी (ऑडियो-केवल, वीडियो-केवल) और मल्टी-मोडलिटी (ऑडियो-वीडियो) हमलों का पता लगा सकती है, और निम्न गुणवत्ता वाले या दूषित वीडियो के लिए उच्च स्तरीय सेमांटिक विशेषताओं पर निर्माण करके मजबूत है।’

नया पत्र, जो 2021 में लेखकों के कुछ दृश्य-आधारित ID-Reveal परियोजना के तत्वों को शामिल करता है, का शीर्षक ऑडियो-विज़ुअल पर्सन-ऑफ-इंटरेस्ट डीपफ़ेक डिटेक्शन है, और यह नेपल्स में फेडेरिको II विश्वविद्यालय और म्यूनिख तकनीकी विश्वविद्यालय के बीच एक संयुक्त प्रयास है।

डीपफ़ेक हथियारों की दौड़

इस प्रकार की डिटेक्शन प्रणाली को हराने के लिए, डीपफ़ेक और मानव संश्लेषण प्रणालियों को लक्षित संश्लेषण के लिए दृश्य और ऑडियो बायोमेट्रिक संकेतों को कम से कम अनुकरण करने की क्षमता की आवश्यकता होगी – जो प्रौद्योगिकी कई वर्षों से दूर है और संभवतः वीएफएक्स कंपनियों द्वारा विकसित महंगी और प्रोप्राइटरी बंद प्रणालियों के दायरे में रहेगी, जो लक्षित व्यक्ति (या मृत व्यक्ति के मामले में उनकी संपत्ति के प्रबंधकों) के सहयोग और भागीदारी का लाभ उठाएगी।

लेखकों का पिछला दृष्टिकोण, ID-Reveal, पूरी तरह से दृश्य जानकारी पर केंद्रित था। स्रोत: https://arxiv.org/pdf/2012.02512.pdf

लेखकों का पिछला दृष्टिकोण, ID-Reveal, पूरी तरह से दृश्य जानकारी पर केंद्रित था। स्रोत: https://arxiv.org/pdf/2012.02512.pdf

सफल और लोकप्रिय डीपफ़ेक विधियों जैसे FaceSwap और DeepFaceLab/Live वर्तमान में ऐसे सूक्ष्म बायोमेट्रिक अनुमानों को बनाने की क्षमता नहीं रखते हैं, जो सबसे अच्छे मामले में प्रतिभाशाली प्रतिरूपणकर्ताओं पर निर्भर करते हैं जिन पर नकली पहचान लगाई जाती है, और अधिक बार ‘समान’ लोगों के वाइल्ड फुटेज पर निर्भर करते हैं। न ही मूल 2017 कोड की संरचना, जिसमें बहुत कम मॉड्यूलरिटी है और जो DFL और FaceSwap के लिए अपस्ट्रीम स्रोत बनी हुई है, इस तरह की कार्यक्षमता जोड़ने को संभव बनाती है।

इन दो प्रमुख डीपफ़ेक पैकेज ऑटोएनकोडर पर आधारित हैं। मानव संश्लेषण के वैकल्पिक तरीके जनरेटिव एडवर्सेरियल नेटवर्क (GAN) या न्यूरल रेडिएंस फील्ड (NeRF) दृष्टिकोण का उपयोग करके मानव पहचान को पुनर्निर्माण करने के लिए उपयोग किए जा सकते हैं; लेकिन इन दोनों शोध दिशाओं में पूरी तरह फोटोरियलिस्टिक मानव वीडियो बनाने के लिए भी अभी कई वर्षों का काम बाकी है।

ऑडियो (नकली आवाज़) को छोड़कर, बायोमेट्रिक सिमुलेशन मानव छवि संश्लेषण के सामने आने वाली चुनौतियों की सूची में बहुत नीचे है। किसी भी मामले में, मानव आवाज़ की तिम्ब्र और अन्य गुणों को पुनरुत्पादित करना उसकी व्यक्तिगत विशेषताओं और पहचान बताने वाले संकेतों को पुनरुत्पादित नहीं करता है, या वास्तविक विषय द्वारा सेमांटिक निर्माण का उपयोग कैसे किया जाता है। इसलिए, यहां तक कि एआई-जनित आवाज़ के सिमुलेशन को पूरी तरह परिष्कृत करने से बायोमेट्रिक प्रामाणिकता से मिलने वाली संभावित सुरक्षा-दीवार का समाधान नहीं होता है।

Arxiv पर अकेले, डीपफ़ेक डिटेक्शन रणनीतियों और नवाचारों को प्रति सप्ताह जारी किया जाता है। हाल के दृष्टिकोणों में वॉइस-फेस होमोजीनिटी, लोकल बाइनरी पैटर्न हिस्टोग्राम (FF-LBPH), मानव धारणा ऑडियो डीपफ़ेक, चेहरे की सीमाओं का विश्लेषण, वीडियो की गुणवत्ता में गिरावट को ध्यान में रखना, और ‘फोरेंसिक बैलिस्टिक्स’ – अन्य लोगों के बीच शामिल हैं।

खंडित हिस्टोग्राम का विश्लेषण डीपफ़ेक डिटेक्शन में सुधार के लिए नवीनतम तकनीकों में से एक है। स्रोत: https://arxiv.org/pdf/2203.09928.pdf

खंडित हिस्टोग्राम का विश्लेषण डीपफ़ेक डिटेक्शन में सुधार के लिए नवीनतम तकनीकों में से एक है। स्रोत: https://arxiv.org/pdf/2203.09928.pdf

दृष्टिकोण, डेटा और वास्तुकला

POI-फोरेंसिक्स पहचान सत्यापन के लिए एक बहु-मोडल दृष्टिकोण लेता है, जो दृश्य और ऑडियो संकेतों पर आधारित सॉफ्ट बायोमेट्रिक्स का लाभ उठाता है। फ्रेमवर्क में अलग-अलग ऑडियो और वीडियो नेटवर्क हैं, जो अंततः विशिष्ट वेक्टर डेटा को व्युत्पन्न करते हैं जो एक संभावित डीपफ़ेक वीडियो में निकाले गए समान विशेषताओं की तुलना में किया जा सकता है।

POI-फोरेंसिक्स का अवधारणात्मक आर्किटेक्चर।

POI-फोरेंसिक्स का अवधारणात्मक आर्किटेक्चर।

अलग-अलग (ऑडियो या वीडियो) और फ्यूजन विश्लेषण दोनों को लक्ष्य क्लिप पर किया जा सकता है, जो अंततः एक POI समानता सूचकांक पर पहुंचता है। इस्तेमाल किया गया कॉन्ट्रास्टिव लॉस फ़ंक्शन 2021 में Google Research, Boston University, Snap Inc. (SNAP ) और MIT के बीच हुए अकादमिक सहयोग पर आधारित है।

आधार डेटासेट को प्रति-पहचान के आधार पर विभाजित किया गया था। 4608 पहचान को प्रशिक्षण के लिए उपयोग किया गया था, जबकि 512 को सत्यापन के लिए आरक्षित किया गया था। FakeAVCelebV2 (एक परीक्षण उम्मीदवार, नीचे देखें) में उपयोग किए जाने वाले 500 पहचान को गैर-ध्रुवीकृत परिणाम प्राप्त करने के लिए बाहर रखा गया था।

दोनों नेटवर्क को 12 प्रशिक्षण चक्रों के लिए प्रशिक्षित किया गया था, जो असामान्य रूप से बड़े बैच आकार 2304 बैच प्रति प्रशिक्षण चक्र के साथ था, प्रत्येक बैच में 8×8 वीडियो सेगमेंट – 8 सेगमेंट 8 अलग-अलग पहचान के लिए। एडम ऑप्टिमाइज़र का उपयोग डिकपल्ड वेट डिके के साथ 10−4 की लर्निंग दर और 0.01 के वेट डिके के साथ किया गया था।

परीक्षण और परिणाम

परियोजना के लिए परीक्षण किए गए डीपफ़ेक डेटासेट में पूर्वावलोकन डीपफ़ेक डिटेक्शन चुनौती डेटासेट शामिल था, जिसमें 68 विषयों के चेहरे के स्वैप शामिल थे, जिनमें से 44 पहचानें चुनी गईं जिनके पास नौ से अधिक संबंधित वीडियो थे, कुल 920 वास्तविक वीडियो और 2925 नकली वीडियो; DeepFake-TIMIT, एक GAN-आधारित डेटासेट जिसमें 32 विषयों के 320 वीडियो शामिल थे, कुल 290 वास्तविक वीडियो और कम से कम चार सेकंड की अवधि के 580 नकली वीडियो; FakeAVCelebV2, जिसमें Voxceleb2 से 500 वास्तविक वीडियो और विभिन्न डेटासेट से लगभग 20,000 नकली वीडियो शामिल थे, जिनमें SV2TTS के साथ संगतता के लिए नकली क्लोन ऑडियो जोड़ा गया था; और KoDF, एक कोरियाई डीपफ़ेक डेटासेट जिसमें FaceSwap, DeepFaceLab, और FSGAN के माध्यम से 403 पहचानें शामिल थीं, साथ ही FOMM के तीन प्रथम क्रम मोशन मॉडल भी शामिल थे।

बाद में ऑडियो-चालित चेहरा संश्लेषण ATFHP और Wav2Lip का आउटपुट भी शामिल था, जिसमें शोधकर्ताओं ने 276 वास्तविक वीडियो और 544 नकली वीडियो वाले एक व्युत्पन्न डेटासेट का उपयोग किया था।

उपयोग किए गए मेट्रिक्स में रिसीवर ऑपरेटिंग कैरेक्टरिस्टिक वक्र के नीचे का क्षेत्रफल (AUC) और 10% ‘फाल्स अलार्म दर’ शामिल थी, जो उन फ्रेमवर्क में समस्याग्रस्त होगी जो नकली डेटा भी शामिल करते हैं और उस पर प्रशिक्षित होते हैं, लेकिन जो चिंता को दूर करता है क्योंकि POI-फोरेंसिक्स केवल वास्तविक वीडियो फुटेज को अपने इनपुट के रूप में लेता है।

विधियों का सेफेरबेकोव डीपफ़ेक डिटेक्टर के खिलाफ परीक्षण किया गया था, जिसने कागल डीपफ़ेक डिटेक्शन चुनौती में पहला स्थान हासिल किया था; FTCN (पूरी तरह से समयिक कन्वोल्यूशनल नेटवर्क), चीन के शियामेन विश्वविद्यालय और Microsoft (MSFT ) Research Asia के बीच एक सहयोग; लिपफोरेंसिक्स, 2021 में इम्पीरियल कॉलेज लंदन और फेसबुक के बीच एक संयुक्त कार्य; और ID-Reveal, इस पत्र के शोधकर्ताओं की एक पिछली परियोजना, जो ऑडियो पहलू को छोड़ देती है और डीपफ़ेक आउटपुट का पता लगाने के लिए 3D मॉर्फेबल मॉडल के संयोजन में एक प्रतिद्वंद्वी गेम दृश्य का उपयोग करती है।

परिणामों में (उपरोक्त तालिका देखें), POI-फोरेंसिक्स ने संदर्भ नेता सेफेरबेकोव को 2.5% के AUC में और 1.5% के सटीकता में पीछे छोड़ दिया। उच्च गुणवत्ता वाले डेटासेट पर प्रदर्शन अधिक प्रतिस्पर्धी था।

हालांकि, नया दृष्टिकोण निम्न गुणवत्ता वाले वीडियो के लिए सभी प्रतिद्वंद्वी संदर्भ विधियों पर एक उल्लेखनीय बढ़त दिखाया, जो वास्तविक दुनिया के संदर्भों में Deepfake द्वारा सामान्य दर्शकों को धोखा देने का सबसे संभावित परिदृश्य हैं।

लेखकों का कहना है:

‘वास्तव में, इस चुनौतीपूर्ण परिदृश्य में, केवल पहचान-आधारित दृष्टिकोण अच्छा प्रदर्शन जारी रखते हैं, क्योंकि वे उच्च स्तरीय सेमांटिक विशेषताओं पर निर्भर करते हैं, जो छवि क्षति के लिए काफी मजबूत हैं।’

POI-Forensics केवल वास्तविक वीडियो को स्रोत सामग्री बनाता है, इसलिए उसकी यह उपलब्धि और भी महत्वपूर्ण मानी जा सकती है। इससे संकेत मिलता है कि संभावित Deepfake पीड़ितों की अपनी बायोमेट्रिक विशेषताओं का इस्तेमाल, Deepfake सॉफ़्टवेयर और उसे पहचानने वाली प्रणालियों के बीच संश्लेषण के दृश्य दोषों को लेकर चल रहे शीतयुद्ध से बाहर निकलने की उपयोगी दिशा हो सकता है।

एक अंतिम परीक्षण में, शोधकर्ताओं ने इनपुट में विरोधी शोर जोड़ा, एक विधि जो वर्गीकरणकर्ताओं को विश्वसनीय रूप से धोखा दे सकती है। अब पुराना फास्ट ग्रेडिएंट साइन विधि इस संबंध में विशेष रूप से प्रभावी साबित हुई।

प्रत्याशित रूप से, विरोधी हमले रणनीतियों ने सभी विधियों और डेटासेट में सफलता दर को कम कर दिया, जिसमें AUC में 10–38% की गिरावट आई। हालांकि, केवल POI-फोरेंसिक्स और लेखकों की पिछली विधि ID-Reveal ही इस हमले परिदृश्य में उचित प्रदर्शन बनाए रखने में सक्षम थे, जो यह सुझाव देता है कि सॉफ्ट बायोमेट्रिक्स से जुड़ी उच्च स्तरीय विशेषताएं डीपफ़ेक की पहचान से बच निकलने के प्रयासों के प्रति असाधारण रूप से प्रतिरोधी हैं।

लेखकों का निष्कर्ष है:

‘कुल मिलाकर, हमारा मानना है कि हमारी विधि एक पहला कदम है; विशेष रूप से, उच्च स्तरीय सेमांटिक विशेषताओं का उपयोग भविष्य के शोध के लिए एक आशाजनक दिशा है। इसके अलावा, मल्टीमॉडल विश्लेषण को अन्य डोमेन जैसे पाठ डेटा से अधिक जानकारी शामिल करके और समृद्ध किया जा सकता है।’

पहली बार 8 अप्रैल 2022 को प्रकाशित।

Martin Anderson

मशीन लर्निंग पर लेखक, मानव छवि संश्लेषण में डोमेन विशेषज्ञ। Metaphysic.ai में शोध सामग्री के पूर्व प्रमुख, जब तक यह DNEG की Brahma.ai में विलीन नहीं हो गया।
वेबसाइट: martinanderson.ai
संपर्क: martin@martinanderson.ai