Anderson का एंगल

शोधकर्ताओं ने डीपफेक की एक स्थायी विशेषता पहचानी, जो लंबे समय तक पहचान में मदद कर सकती है

Martin Anderson
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
मुख्य बिंदुडीपफेक में नियमितता में व्यवधान एक पहचान संकेत प्रदान करता है जो संश्लेषण प्रौद्योगिकी…
और देखें
  • डीपफेक में नियमितता में व्यवधान एक पहचान संकेत प्रदान करता है जो संश्लेषण प्रौद्योगिकी में सुधारों के प्रति प्रतिरोधी है।
  • P-फेक जनरेटर मॉड्यूल वास्तविक वीडियो को नकली-डीपफेक में रूपांतरित करता है ताकि वास्तविक डीपफेक डेटा के बिना डिटेक्टरों को प्रशिक्षित किया जा सके।
  • क्रॉस-डेटासेट परीक्षणों से पता चलता है कि यह विधि डीपवाइल्ड पर अत्याधुनिक पहचान से 10 प्रतिशत अंकों तक बेहतर प्रदर्शन करती है।

2018 में डीपफेक पता लगाने के समाधानों के उदय के बाद से, कंप्यूटर दृष्टि और सुरक्षा अनुसंधान क्षेत्र डीपफेक वीडियो की एक आवश्यक विशेषता को परिभाषित करने की कोशिश कर रहा है – संकेत जो लोकप्रिय चेहरे संश्लेषण प्रौद्योगिकियों (जैसे ऑटोएनकोडर-आधारित डीपफेक पैकेज जैसे डीपफेसलैब और फेसस्वैप, और मानव चेहरों को पुनः बनाने, अनुकरण या बदलने के लिए जनरेटिव एडवर्सेरियल नेटवर्क का उपयोग) में सुधार के प्रतिरोधी हो सकते हैं।

कई ‘टेल्स’, जैसे कि ब्लिंक की कमी, डीपफेक में सुधार के कारण अप्रचलित हो गए, जबकि डिजिटल प्रोवेनेंस तकनीकों (जैसे एडोबी के नेतृत्व वाले कंटेंट ऑथेंटिकिटी इनिशिएटिव) का संभावित उपयोग – जिसमें ब्लॉकचेन दृष्टिकोण और संभावित स्रोत फोटो की डिजिटल वॉटरमार्किंग शामिल है – या तो इंटरनेट पर उपलब्ध स्रोत छवियों के मौजूदा संग्रह में व्यापक और महंगे परिवर्तनों की आवश्यकता होगी, या राज्यों और सरकारों के बीच एक उल्लेखनीय सहयोगी प्रयास की आवश्यकता होगी ताकि निगरानी और प्रमाणीकरण प्रणालियों का निर्माण किया जा सके।

इसलिए, यदि एक वास्तविक और लचीला गुण छवि और वीडियो सामग्री में पहचाना जा सकता है जिसमें बदले हुए, आविष्कृत या पहचान-विनिमय मानव चेहरे होते हैं; एक विशेषता जो सीधे झूठे वीडियो से अनुमानित की जा सकती है, बिना बड़े पैमाने पर सत्यापन, क्रिप्टोग्राफिक एसेट हैशिंग, संदर्भ-जांच, संभावना मूल्यांकन, कृत्रिम दृश्य त्रुटियों पर केंद्रित पता लगाने के दिनचर्या, या अन्य बोझिल दृष्टिकोणों के बिना डीपफेक पता लगाने के लिए, तो यह बहुत उपयोगी होगा।

डीपफेक फ्रेम में

चीन और ऑस्ट्रेलिया के बीच एक नए शोध सहयोग का मानना ​​है कि उन्होंने नियमितता व्यवधान के रूप में इस ‘होली ग्रेल’ को पाया है।

लेखकों ने वास्तविक वीडियो की स्थानिक अखंडता और समयिक निरंतरता की तुलना डीपफेक सामग्री वाले वीडियो के साथ करने का एक तरीका तैयार किया है, और पाया है कि किसी भी प्रकार का डीपफेक हस्तक्षेप छवि की नियमितता को बाधित करता है, चाहे वह कितना भी अस्पष्ट क्यों न हो।

यह आंशिक रूप से इसलिए है क्योंकि डीपफेक प्रक्रिया लक्ष्य वीडियो को फ्रेम में तोड़ देती है और प्रत्येक (प्रतिस्थापित) फ्रेम में एक प्रशिक्षित डीपफेक मॉडल का प्रभाव लागू करती है। लोकप्रिय डीपफेक वितरण उसी तरह काम करते हैं, इस संबंध में एनिमेटर्स की तरह, प्रत्येक फ्रेम की प्रामाणिकता पर उस फ्रेम के समग्र स्थानिक सामंजस्य और समयगत निरंतरता में योगदान की तुलना में उसकी प्रामाणिकता पर अधिक ध्यान देते हैं।

पेपर से: ए) डेटा के प्रकारों के बीच अंतर। यहाँ हम देखते हैं कि पी-फेक के विकार स्पेटियो-टेम्पोरल गुणवत्ता को उसी तरह बदल देते हैं जैसे एक डीपफेक करता है, बिना पहचान को बदले। बी) तीन प्रकार के डेटा का शोर विश्लेषण, जो दिखाता है कि पी-फेक डीपफेक व्यवधान की नकल कैसे करता है। सी) तीन प्रकार के डेटा का एक समयिक दृश्य, जिसमें वास्तविक डेटा में अधिक अखंडता दिखाई देती है। डी) वास्तविक, नकली और पी-फेक वीडियो के लिए निकाले गए विशेषताओं का टी-एसएनई दृश्य। स्रोत: https://arxiv.org/pdf/2207.10402.pdf

पेपर से: ए) डेटा के प्रकारों के बीच अंतर। यहाँ हम देखते हैं कि पी-फेक के विकार स्पेटियो-टेम्पोरल गुणवत्ता को उसी तरह बदल देते हैं जैसे एक डीपफेक करता है, बिना पहचान को बदले। बी) तीन प्रकार के डेटा का शोर विश्लेषण, जो दिखाता है कि पी-फेक डीपफेक व्यवधान की नकल कैसे करता है। सी) तीन प्रकार के डेटा का एक समयिक दृश्य, जिसमें वास्तविक डेटा में अधिक अखंडता दिखाई देती है। डी) वास्तविक, नकली और पी-फेक वीडियो से निकाली गई विशेषताओं का टी-एसएनई दृश्य। स्रोत: https://arxiv.org/pdf/2207.10402.pdf

यह वह तरीका नहीं है जिस तरह एक वीडियो कोडक एक फ्रेम श्रृंखला का इलाज करता है जब एक मूल रिकॉर्डिंग की जा रही है या संसाधित की जा रही है। फ़ाइल-आकार पर बचत करने के लिए या वीडियो को स्ट्रीमिंग के लिए उपयुक्त बनाने के लिए, वीडियो कोडक द्वारा एक बड़ी मात्रा में जानकारी छोड़ दी जाती है।

यहां तक ​​कि अपनी उच्चतम गुणवत्ता वाली सेटिंग्स पर, कोडक कुंजी-फ्रेम (एक परिवर्तनीय जो उपयोगकर्ता द्वारा सेट किया जा सकता है) को आवंटित करेगा – संपूर्ण, लगभग असंपीड़ित छवियां जो वीडियो में एक पूर्व निर्धारित अंतराल पर होती हैं।

कुंजी-फ्रेम के बीच के फ्रेम को कुछ हद तक अन्य फ्रेम के रूपांतर के रूप में अनुमानित किया जाता है। वे स्वतंत्र पूर्ण फ्रेम होने के बजाय पास के कुंजी-फ्रेम से यथासंभव अधिक जानकारी दोबारा उपयोग करते हैं।

बाएं, एक पूर्ण कुंजी-फ्रेम, या 'आई-फ्रेम', संग्रहीत वीडियो में है, कुछ फ़ाइल-आकार के खर्च पर; दाएं, एक अंतरफलक 'डेल्टा फ्रेम' अधिक डेटा-समृद्ध कुंजी-फ्रेम के लिए लागू किसी भी भाग का पुनः उपयोग करता है। स्रोत: https://blog.video.ibm.com/streaming-video-tips/keyframes-interframe-video-compression/

बाएं, एक पूर्ण कुंजी-फ्रेम, या ‘आई-फ्रेम’, संग्रहीत वीडियो में है, कुछ फ़ाइल-आकार के खर्च पर; दाएं, एक अंतरफलक ‘डेल्टा फ्रेम’ अधिक डेटा-समृद्ध कुंजी-फ्रेम के लिए लागू किसी भी भाग का पुनः उपयोग करता है। स्रोत: https://blog.video.ibm.com/streaming-video-tips/keyframes-interframe-video-compression/

इस तरह, ब्लॉक (जिसमें एक्स संख्या में फ्रेम होते हैं, कुंजी-फ्रेम सेटिंग्स पर निर्भर करते हुए) एक सामान्य संकुचित वीडियो में विचार की जाने वाली सबसे छोटी इकाई है, न कि कोई व्यक्तिगत फ्रेम। यहां तक ​​कि कुंजी-फ्रेम खुद, जिसे आई-फ्रेम के रूप में जाना जाता है, उस इकाई का हिस्सा है।

पारंपरिक कार्टून एनिमेशन के संदर्भ में, एक कोडक इन-बीचिंग का एक प्रकार कर रहा है, जिसमें कुंजी-फ्रेम टेंट-पोल के रूप में कार्य करते हैं अंतरफलक, व्युत्पन्न फ्रेम, जिन्हें डेल्टा फ्रेम के रूप में जाना जाता है।

इसके विपरीत, डीपफेक सुपरइम्पोज़िशन प्रत्येक व्यक्तिगत फ्रेम पर बड़ी मात्रा में ध्यान और संसाधनों को समर्पित करता है, फ्रेम के व्यापक संदर्भ पर विचार किए बिना, और संपीड़ित वीडियो की विशेषताओं पर प्रभाव के लिए कोई प्रावधान नहीं करता है।

एक वास्तविक वीडियो (बाएं) और उसी वीडियो के बीच असंगति का एक करीबी दृश्य जब यह डीपफेक द्वारा बाधित होता है (दाएं)।

एक वास्तविक वीडियो (बाएं) और उसी वीडियो के बीच असंगति का एक करीबी दृश्य जब यह डीपफेक द्वारा बाधित होता है (दाएं)।

हालांकि कुछ बेहतर डीपफेक व्यापक पोस्ट-प्रोसेसिंग का उपयोग करते हैं, जैसे कि आफ्टर इफेक्ट्स जैसे पैकेजों में, और हालांकि डीपफेसलैब वितरण में कुछ मूल क्षमता है मोशन ब्लर जैसे ‘ब्लेंडिंग’ प्रक्रियाओं को लागू करने के लिए, इस तरह के हाथ की चाल वास्तविक और डीपफेक वीडियो के बीच स्थानिक और समयिक गुणवत्ता के बेमेल को प्रभावित नहीं करती है।

नया पेपर स्पेटियो-टेम्पोरल नियमितता व्यवधान द्वारा डीपफेक का पता लगाना शीर्षक से है, और त्सिंगहुआ विश्वविद्यालय, Baidu Inc. (BIDU ) के कंप्यूटर विजन टेक्नोलॉजी (VIS) विभाग, और मेलबोर्न विश्वविद्यालय के शोधकर्ताओं से है।

‘नकली’ नकली वीडियो

पेपर के पीछे के शोधकर्ताओं ने शोध की कार्यक्षमता को एक प्लग-एंड-प्ले मॉड्यूल में शामिल किया है, जिसे स्यूडो-फेक जनरेटर (पी-फेक जनरेटर) नाम दिया गया है, जो वास्तविक वीडियो को नकली डीपफेक वीडियो में परिवर्तित करता है, उन्हें उसी तरह परेशान करता है जैसे वास्तविक डीपफेक प्रक्रिया करती है, बिना किसी वास्तविक डीपफेक संचालन को करते हुए।

परीक्षण से पता चलता है कि मॉड्यूल को लगभग शून्य संसाधन लागत पर सभी मौजूदा डीपफेक पता लगाने वाली प्रणालियों में जोड़ा जा सकता है, और यह उनके प्रदर्शन में काफी सुधार करता है।

यह खोज डीपफेक पता लगाने के शोध में एक और रुकावट को संबोधित करने में मदद कर सकती है: प्रामाणिक और अद्यतन डेटासेट की कमी। चूंकि डीपफेक जनरेशन एक जटिल और समय लेने वाली प्रक्रिया है, समुदाय ने पिछले पांच वर्षों में कई डीपफेक डेटासेट विकसित किए हैं, जिनमें से कई काफी पुराने हैं।

वीडियो में बाद में किए गए बदलावों के लिए नियमितता में व्यवधान को डीपफेक तकनीक से स्वतंत्र संकेत के रूप में पहचानकर, यह नया तरीका डीपफेक की इस विशेषता पर केंद्रित असीमित नमूना वीडियो और वीडियो डेटासेट बनाना संभव करता है।

एसटीई ब्लॉक का अवलोकन, जहां चैनल-वार समयिक कन्वोल्यूशन का उपयोग स्पेटियो-टेम्पोरल रूप से बढ़ाया गया एन्कोडिंग उत्पन्न करने के लिए एक प्रेरक के रूप में किया जाता है, जो कि यहां तक ​​कि एक बहुत ही आश्वस्त डीपफेक भी पैदा करेगा। इस तरीके से, 'नकली' नकली वीडियो बनाए जा सकते हैं जो किसी भी बदले हुए, डीपफेक-शैली के वीडियो के समान ही हस्ताक्षर विशेषताओं को ले जाते हैं, और जो किसी विशिष्ट वितरण या अस्थिर पहलुओं जैसे कि विशेषता व्यवहार या एल्गोरिदमिक कलाकृतियों पर निर्भर नहीं करते हैं।

एसटीई ब्लॉक का अवलोकन, जहां चैनल-वार समयिक कन्वोल्यूशन का उपयोग स्पेटियो-टेम्पोरल रूप से बढ़ाया गया एन्कोडिंग उत्पन्न करने के लिए एक प्रेरक के रूप में किया जाता है, जो कि यहां तक ​​कि एक बहुत ही आश्वस्त डीपफेक भी पैदा करेगा। इस तरीके से, ‘नकली’ नकली वीडियो बनाए जा सकते हैं जो किसी भी बदले हुए, डीपफेक-शैली के वीडियो के समान ही हस्ताक्षर विशेषताओं को ले जाते हैं, और जो किसी विशिष्ट वितरण या अस्थिर पहलुओं जैसे कि विशेषता व्यवहार या एल्गोरिदमिक कलाकृतियों पर निर्भर नहीं करते हैं।

परीक्षण

शोधकर्ताओं ने डीपफेक पता लगाने के शोध में उपयोग किए जाने वाले छह प्रमुख डेटासेट पर प्रयोग किए: फेसफोरेंसिक्स++ (एफएफ++); वाइल्डडीपफेक; डीपफेक पता लगाने की चुनौती पूर्वावलोकन (डीएफडीसीपी); सेलेब-डीएफ; डीपफेक पता लगाने (डीएफडी); और फेस शिफ्टर (एफएस)।

एफएफ++ के लिए, शोधकर्ताओं ने मूल डेटासेट पर अपने मॉडल को प्रशिक्षित किया और प्रत्येक चार उपसेट का अलग-अलग परीक्षण किया। डीपफेक सामग्री का उपयोग किए बिना प्रशिक्षण के, नए तरीके ने सबसे उन्नत तरीकों के परिणामों को पार किया।

विधि ने एफएफ++ सी23 संकुचित डेटासेट के खिलाफ भी पहला स्थान हासिल किया, जो वास्तविक दुनिया के डीपफेक देखने के वातावरण में संपीड़न कलाकृतियों के उदाहरण प्रदान करता है।

लेखकों का टिप्पणी है:

‘एफएफ++ के भीतर प्रदर्शन हमारे मुख्य विचार की वैधता को मान्य करता है, जबकि मौजूदा डीपफेक पता लगाने के तरीकों के लिए सामान्यीकरण एक प्रमुख समस्या बनी हुई है, क्योंकि प्रदर्शन तब गारंटीकृत नहीं होता है जब अज्ञात तकनीकों द्वारा उत्पन्न डीपफेक पर परीक्षण किया जाता है।

‘विचार करें कि पता लगाने वालों और नकली करने वालों के बीच हथियारों की दौड़ की वास्तविकता को देखते हुए, सामान्यीकरण एक महत्वपूर्ण मानदंड है जो वास्तविक दुनिया में एक पता लगाने की विधि की प्रभावशीलता को मापता है। ‘

हालांकि शोधकर्ताओं ने ‘लचीलापन’ और विभिन्न प्रकार के वीडियो (अर्थात वास्तविक, झूठे, पी-फेक, आदि) के साथ प्रयोग किए, पेपर में विवरण के लिए देखें), सबसे दिलचस्प परिणाम क्रॉस-डेटासेट प्रदर्शन के परीक्षण से हैं।

इसके लिए, लेखकों ने अपने मॉडल को उपरोक्त ‘वास्तविक दुनिया’ सी23 एफएफ++ संस्करण पर प्रशिक्षित किया और इसे चार डेटासेट के खिलाफ परीक्षण किया, जिसमें उन्होंने अपने दावे के अनुसार सर्वश्रेष्ठ प्रदर्शन हासिल किया।

क्रॉस-डेटासेट चुनौती के परिणाम। पेपर में उल्लेख किया गया है कि एसबीआई एक समान दृष्टिकोण का उपयोग करता है, जबकि शोधकर्ताओं का दावा है कि पी-फेक स्पेटियो-टेम्पोरल नियमितता व्यवधान के लिए बेहतर प्रदर्शन करता है।

क्रॉस-डेटासेट चुनौती के परिणाम। पेपर में उल्लेख किया गया है कि एसबीआई एक समान दृष्टिकोण का उपयोग करता है, जबकि शोधकर्ताओं का दावा है कि पी-फेक स्पेटियो-टेम्पोरल नियमितता व्यवधान के लिए बेहतर प्रदर्शन करता है।

पेपर में कहा गया है:

‘डीपवाइल्ड पर, हमारी विधि एसओटीए विधि को लगभग 10 प्रतिशत अंकों से पार करती है एयूसी% के संदर्भ में। हमें लगता है कि यह डीपवाइल्ड में डीपफेक की बड़ी विविधता के कारण है, जो अन्य विधियों को देखे गए डीपफेक से अच्छी तरह से सामान्यीकरण करने में विफल बना देता है। ‘

परीक्षण के लिए उपयोग किए गए मेट्रिक्स में सटीकता स्कोर (एसीसी), रिसीवर ऑपरेटिंग कर्व के तहत क्षेत्र (एयूसी), और समान त्रुटि दर (ईईआर) शामिल थे।

प्रति-हमले?

हालांकि मीडिया डीपफेक विकासकर्ताओं और डीपफेक पता लगाने वाले शोधकर्ताओं के बीच तनाव को एक प्रौद्योगिकी युद्ध के रूप में वर्णित करता है, यह तर्क दिया जा सकता है कि पूर्व बस अधिक आश्वस्त आउटपुट बनाने की कोशिश कर रहे हैं, और बढ़ी हुई डीपफेक पता लगाने की कठिनाई एक परिणामी उपोत्पाद है।

यह निर्भर करेगा कि क्या डेवलपर्स महसूस करते हैं कि नियमितता व्यवधान को एक डीपफेक वीडियो में नग्न आंखों से एक अस्वाभाविकता के संकेत के रूप में महसूस किया जा सकता है, और इसलिए यह मापदंड शुद्ध गुणवत्ता के दृष्टिकोण से संबोधित करने योग्य है।

हालांकि पांच साल हो गए हैं जब पहले डीपफेक ऑनलाइन गए थे, डीपफेक अभी भी एक अपेक्षाकृत नवजात प्रौद्योगिकी है, और समुदाय विवरण और रिज़ॉल्यूशन के साथ अधिक व्यस्त है, जो सही संदर्भ या संपीड़ित वीडियो के हस्ताक्षर के मेल की तुलना में अधिक है, जो दोनों के लिए एक निश्चित ‘गुणवत्ता में कमी’ की आवश्यकता होती है—वही चीज़ जिसका पूरा डीपफेक समुदाय फिलहाल विरोध कर रहा है।

यदि वहां की सामान्य सहमति यह निकलती है कि नियमितता व्यवधान एक नवजात हस्ताक्षर है जो गुणवत्ता को प्रभावित नहीं करता है, तो इसके लिए क्षतिपूर्ति करने के लिए कोई प्रयास नहीं किया जा सकता है – भले ही यह कुछ पोस्ट-प्रोसेसिंग या आर्किटेक्चर प्रक्रियाओं द्वारा निष्प्रभावी किया जा सकता है, जो कि बहुत दूर की बात है।

 

पहली बार 22 जुलाई 2022 को प्रकाशित।

Martin Anderson

मशीन लर्निंग पर लेखक, मानव छवि संश्लेषण में डोमेन विशेषज्ञ। Metaphysic.ai में शोध सामग्री के पूर्व प्रमुख, जब तक यह DNEG की Brahma.ai में विलीन नहीं हो गया।
वेबसाइट: martinanderson.ai
संपर्क: martin@martinanderson.ai