गहरे नकली वीडियो में एक लचीला गुण जो लंबे समय तक पता लगाने में मदद कर सकता है

2018 में गहरे नकली पता लगाने के समाधानों के उदय के बाद से, कंप्यूटर दृष्टि और सुरक्षा अनुसंधान क्षेत्र गहरे नकली वीडियो की एक आवश्यक विशेषता को परिभाषित करने की कोशिश कर रहा है – संकेत जो लोकप्रिय चेहरे संश्लेषण प्रौद्योगिकियों (जैसे ऑटोएनकोडर-आधारित गहरे नकली पैकेज जैसे डीपफेसलैब और फेसस्वैप, और मानव चेहरों को पुनः बनाने, अनुकरण या बदलने के लिए जनरेटिव एडवर्सेरियल नेटवर्क का उपयोग) में सुधार के प्रतिरोधी हो सकते हैं।

कई ‘टेल्स’, जैसे कि ब्लिंक की कमी, गहरे नकली में सुधार के कारण अप्रचलित हो गए, जबकि डिजिटल प्रोवेनेंस तकनीकों (जैसे एडोबी के नेतृत्व वाले कंटेंट ऑथेंटिकिटी इनिशिएटिव) का संभावित उपयोग – जिसमें ब्लॉकचेन दृष्टिकोण और संभावित स्रोत फोटो की डिजिटल वॉटरमार्किंग शामिल है – या तो इंटरनेट पर उपलब्ध स्रोत छवियों के मौजूदा शरीर में व्यापक और महंगे परिवर्तनों की आवश्यकता होगी, या राज्यों और सरकारों के बीच एक उल्लेखनीय सहयोगी प्रयास की आवश्यकता होगी ताकि निगरानी और प्रमाणीकरण प्रणालियों का निर्माण किया जा सके।

इसलिए, यदि एक वास्तविक और लचीला गुण छवि और वीडियो सामग्री में पहचाना जा सकता है जिसमें बदले हुए, आविष्कृत या पहचान-विनिमय मानव चेहरे होते हैं; एक विशेषता जो सीधे झूठे वीडियो से अनुमानित की जा सकती है, बिना बड़े पैमाने पर सत्यापन, क्रिप्टोग्राफिक एसेट हैशिंग, संदर्भ-जांच, संभावना मूल्यांकन, कलाकृति-केंद्रित पता लगाने के दिनचर्या, या अन्य बोझिल दृष्टिकोणों के बिना गहरे नकली पता लगाने के लिए, तो यह बहुत उपयोगी होगा।

गहरे नकली फ्रेम में

चीन और ऑस्ट्रेलिया के बीच एक नए शोध सहयोग का मानना ​​है कि उन्होंने नियमितता व्यवधान के रूप में इस ‘होली ग्रेल’ को पाया है।

लेखकों ने वास्तविक वीडियो की स्थानिक अखंडता और समयिक निरंतरता की तुलना गहरे नकली सामग्री वाले वीडियो के साथ करने का एक तरीका तैयार किया है, और पाया है कि किसी भी प्रकार का गहरा नकली हस्तक्षेप छवि की नियमितता को बाधित करता है, चाहे वह कितना भी अस्पष्ट क्यों न हो।

यह आंशिक रूप से इसलिए है क्योंकि गहरे नकली प्रक्रिया लक्ष्य वीडियो को फ्रेम में तोड़ देती है और प्रत्येक (प्रतिस्थापित) फ्रेम में एक प्रशिक्षित गहरे नकली मॉडल का प्रभाव लागू करती है। लोकप्रिय गहरे नकली वितरण उसी तरह काम करते हैं, इस संबंध में एनिमेटर्स की तरह, प्रत्येक फ्रेम की प्रामाणिकता पर अधिक ध्यान देते हैं niż फ्रेम के वीडियो की समग्र स्थानिक अखंडता और समयिक निरंतरता में।

पेपर से: ए) डेटा के प्रकारों के बीच अंतर। यहाँ हम देखते हैं कि पी-फेक के विकार स्पेटियो-टेम्पोरल गुणवत्ता को उसी तरह बदल देते हैं जैसे एक गहरे नकली करता है, बिना पहचान को बदले। बी) तीन प्रकार के डेटा का शोर विश्लेषण, जो दिखाता है कि पी-फेक गहरे नकली व्यवधान की नकल कैसे करता है। सी) तीन प्रकार के डेटा का एक समयिक दृश्य, जिसमें वास्तविक डेटा में अधिक अखंडता दिखाई देती है। डी) वास्तविक, नकली और पी-फेक वीडियो के लिए निकाले गए विशेषताओं का टी-एसएनई दृश्य। स्रोत: https://arxiv.org/pdf/2207.10402.pdf

यह वह तरीका नहीं है जिस तरह एक वीडियो कोडक एक फ्रेम श्रृंखला का इलाज करता है जब एक मूल रिकॉर्डिंग की जा रही है या संसाधित की जा रही है। फ़ाइल-आकार पर बचत करने के लिए या वीडियो को स्ट्रीमिंग के लिए उपयुक्त बनाने के लिए, वीडियो कोडक द्वारा एक बड़ी मात्रा में जानकारी छोड़ दी जाती है।

यहां तक ​​कि अपनी उच्चतम गुणवत्ता वाली सेटिंग्स पर, कोडक कुंजी-फ्रेम (एक परिवर्तनीय जो उपयोगकर्ता द्वारा सेट किया जा सकता है) को आवंटित करेगा – पूरी तरह से अप्रकाशित छवियां जो वीडियो में एक पूर्व निर्धारित अंतराल पर होती हैं।

कुंजी-फ्रेम के बीच के अंतरफलक फ्रेम, कुछ हद तक, फ्रेम के रूप में अनुमानित होते हैं और अधिक जानकारी को पुनः प्राप्त करने के बजाय आसपास के कुंजी-फ्रेम से अधिक जानकारी का पुनः उपयोग करेंगे।

बाएं, एक पूर्ण कुंजी-फ्रेम, या ‘आई-फ्रेम’, संग्रहीत वीडियो में है, कुछ फ़ाइल-आकार के खर्च पर; दाएं, एक अंतरफलक ‘डेल्टा फ्रेम’ अधिक डेटा-समृद्ध कुंजी-फ्रेम के लिए लागू किसी भी भाग का पुनः उपयोग करता है। स्रोत: https://blog.video.ibm.com/streaming-video-tips/keyframes-interframe-video-compression/

इस तरह, ब्लॉक (जिसमें एक्स संख्या में फ्रेम होते हैं, कुंजी-फ्रेम सेटिंग्स पर निर्भर करते हुए) एक सामान्य संकुचित वीडियो में विचार की जाने वाली सबसे छोटी इकाई है, न कि कोई व्यक्तिगत फ्रेम। यहां तक ​​कि कुंजी-फ्रेम खुद, जिसे आई-फ्रेम के रूप में जाना जाता है, उस इकाई का हिस्सा है।

पारंपरिक कार्टून एनिमेशन के संदर्भ में, एक कोडक इन-बीचिंग का एक प्रकार कर रहा है, जिसमें कुंजी-फ्रेम टेंट-पोल के रूप में कार्य करते हैं अंतरफलक, व्युत्पन्न फ्रेम, जिन्हें डेल्टा फ्रेम के रूप में जाना जाता है।

इसके विपरीत, गहरे नकली सुपरइम्पोज़िशन प्रत्येक व्यक्तिगत फ्रेम पर बड़ी मात्रा में ध्यान और संसाधनों को समर्पित करता है, फ्रेम के व्यापक संदर्भ पर विचार किए बिना, और संपीड़ित वीडियो की विशेषताओं पर प्रभाव के लिए कोई प्रावधान नहीं करता है।

एक वास्तविक वीडियो (बाएं) और उसी वीडियो के बीच असंगति का एक करीबी दृश्य जब यह गहरे नकली द्वारा बाधित होता है (दाएं)।

हालांकि कुछ बेहतर गहरे नकली व्यापक पोस्ट-प्रोसेसिंग का उपयोग करते हैं, जैसे कि आफ्टर इफेक्ट्स जैसे पैकेजों में, और हालांकि डीपफेसलैब वितरण में कुछ मूल क्षमता है मोशन ब्लर जैसे ‘ब्लेंडिंग’ प्रक्रियाओं को लागू करने के लिए, इस तरह के हाथ की चाल वास्तविक और गहरे नकली वीडियो के बीच स्थानिक और समयिक गुणवत्ता के मेल को प्रभावित नहीं करती है।

नया पेपर स्पेटियो-टेम्पोरल नियमितता व्यवधान द्वारा गहरे नकली का पता लगाना शीर्षक से है, और त्सिंगहुआ विश्वविद्यालय, बaidu इंक। के कंप्यूटर विजन टेक्नोलॉजी (VIS) विभाग, और मेलबोर्न विश्वविद्यालय के शोधकर्ताओं से है।

‘नकली’ नकली वीडियो

पेपर के पीछे के शोधकर्ताओं ने शोध की कार्यक्षमता को एक प्लग-एंड-प्ले मॉड्यूल में शामिल किया है, जिसे प्सेवдо-फेक जनरेटर (पी-फेक जनरेटर) नाम दिया गया है, जो वास्तविक वीडियो को नकली गहरे नकली वीडियो में परिवर्तित करता है, उन्हें उसी तरह परेशान करता है जैसे वास्तविक गहरे नकली प्रक्रिया करती है, बिना किसी वास्तविक गहरे नकली संचालन को करते हुए।

परीक्षण से पता चलता है कि मॉड्यूल को लगभग शून्य संसाधन लागत पर सभी मौजूदा गहरे नकली पता लगाने वाली प्रणालियों में जोड़ा जा सकता है, और यह उनके प्रदर्शन में काफी सुधार करता है।

यह खोज गहरे नकली पता लगाने के शोध में एक और रुकावट को संबोधित करने में मदद कर सकती है: प्रामाणिक और अद्यतन डेटासेट की कमी। चूंकि गहरे नकली जनरेशन एक जटिल और समय लेने वाली प्रक्रिया है, समुदाय ने पिछले पांच वर्षों में कई गहरे नकली डेटासेट विकसित किए हैं, जिनमें से कई काफी पुराने हैं।

नियमितता व्यवधान को गहरे नकली के लिए एक गहरे नकली-एज्नोस्टिक संकेत के रूप में अलग करके, यह नया तरीका सीमित डेटा के साथ सीमित नहीं है, और यह सीमित डेटा के साथ भी काम कर सकता है।

एसटीई ब्लॉक का अवलोकन, जहां चैनल-वार समयिक कन्वोल्यूशन का उपयोग स्पेटियो-टेम्पोरल रूप से बढ़ाया गया एन्कोडिंग उत्पन्न करने के लिए एक प्रेरक के रूप में किया जाता है, जो कि यहां तक ​​कि एक बहुत ही आश्वस्त गहरे नकली भी पैदा करेगा। इस तरीके से, ‘नकली’ नकली वीडियो बनाए जा सकते हैं जो किसी भी बदले हुए, गहरे नकली-शैली के वीडियो के समान ही हस्ताक्षर विशेषताओं को ले जाते हैं, और जो किसी विशिष्ट वितरण या अस्थिर पहलुओं जैसे कि विशेषता व्यवहार या एल्गोरिदमिक कलाकृतियों पर निर्भर नहीं करते हैं।

परीक्षण

शोधकर्ताओं ने गहरे नकली पता लगाने के शोध में उपयोग किए जाने वाले छह प्रमुख डेटासेट पर प्रयोग किए: फेसफोरेंसिक्स++ (एफएफ++); वाइल्डडीपफेक; गहरे नकली पता लगाने की चुनौती पूर्वावलोकन (डीएफडीसीपी); सेलेब-डीएफ; गहरे नकली पता लगाने (डीएफडी); और फेस शिफ्टर (एफएस)।

एफएफ++ के लिए, शोधकर्ताओं ने मूल डेटासेट पर अपने मॉडल को प्रशिक्षित किया और प्रत्येक चार उपसेट का अलग-अलग परीक्षण किया। गहरे नकली सामग्री का उपयोग किए बिना प्रशिक्षण के, नए तरीके ने राज्य के परिणामों को पार किया।

विधि ने एफएफ++ सी23 संकुचित डेटासेट के खिलाफ भी ध्रुवीय स्थान हासिल किया, जो वास्तविक दुनिया के गहरे नकली देखने के वातावरण में संपीड़न कलाकृतियों के उदाहरण प्रदान करता है।

लेखकों का टिप्पणी है:

‘एफएफ++ के भीतर प्रदर्शन हमारे मुख्य विचार की वैधता को मान्य करता है, जबकि मौजूदा गहरे नकली पता लगाने के तरीकों के लिए सामान्यीकरण एक प्रमुख समस्या बनी हुई है, क्योंकि प्रदर्शन तब गारंटीकृत नहीं होता है जब अज्ञात तकनीकों द्वारा उत्पन्न गहरे नकली पर परीक्षण किया जाता है।

‘विचार करें कि पता लगाने वालों और नकली करने वालों के बीच हथियारों की दौड़ की वास्तविकता को देखते हुए, सामान्यीकरण एक महत्वपूर्ण मानदंड है जो वास्तविक दुनिया में एक पता लगाने की विधि की प्रभावशीलता को मापता है। ‘

हालांकि शोधकर्ताओं ने ‘लचीलापन’ और विभिन्न प्रकार के वीडियो (अर्थात वास्तविक, झूठे, पी-फेक, आदि) के साथ प्रयोग किए, पेपर में विवरण के लिए देखें), सबसे दिलचस्प परिणाम क्रॉस-डेटासेट प्रदर्शन के परीक्षण से हैं।

इसके लिए, लेखकों ने अपने मॉडल को उपरोक्त ‘वास्तविक दुनिया’ सी23 संस्करण của एफएफ++ पर प्रशिक्षित किया और इसे चार डेटासेट के खिलाफ परीक्षण किया, जिसमें उन्होंने अपने दावे के अनुसार सर्वश्रेष्ठ प्रदर्शन हासिल किया।

क्रॉस-डेटासेट चुनौती के परिणाम। पेपर में उल्लेख किया गया है कि एसबीआई एक समान दृष्टिकोण का उपयोग करता है, जबकि शोधकर्ताओं का दावा है कि पी-फेक स्पेटियो-टेम्पोरल नियमितता व्यवधान के लिए बेहतर प्रदर्शन करता है।

पेपर में कहा गया है:

‘डीपवाइल्ड पर, हमारी विधि एसओटीए विधि को लगभग 10 प्रतिशत अंकों से पार करती है एयूसी% के संदर्भ में। हमें लगता है कि यह डीपवाइल्ड में गहरे नकली की बड़ी विविधता के कारण है, जो अन्य विधियों को देखे गए गहरे नकली से अच्छी तरह से सामान्यीकरण करने में विफल बना देता है। ‘

परीक्षण के लिए उपयोग किए गए मेट्रिक्स में सटीकता स्कोर (एसीसी), रिसीवर ऑपरेटिंग कर्व के तहत क्षेत्र (एयूसी), और समान त्रुटि दर (ईईआर) शामिल थे।

प्रति-हमले?

हालांकि मीडिया गहरे नकली विकासकर्ताओं और गहरे नकली पता लगाने वाले शोधकर्ताओं के बीच तनाव को एक प्रौद्योगिकी युद्ध के रूप में वर्णित करता है, यह तर्क दिया जा सकता है कि पूर्व बस अधिक आश्वस्त आउटपुट बनाने की कोशिश कर रहे हैं, और बढ़ी हुई गहरे नकली पता लगाने की कठिनाई एक परिणामी उपोत्पाद है।

यह निर्भर करेगा कि क्या डेवलपर्स महसूस करते हैं कि नियमितता व्यवधान को एक गहरे नकली वीडियो में नग्न आंखों से एक अस्वाभाविकता के संकेत के रूप में महसूस किया जा सकता है, और इसलिए यह मीट्रिक योग्यता के दृष्टिकोण से संबोधित करने योग्य है।

हालांकि पांच साल हो गए हैं जब पहले गहरे नकली ऑनलाइन गए थे, गहरे नकली अभी भी एक अपेक्षाकृत नवजात प्रौद्योगिकी है, और समुदाय विवरण और रिज़ॉल्यूशन के साथ अधिक व्यस्त है, जो सही संदर्भ या संपीड़ित वीडियो के हस्ताक्षर के मेल की तुलना में अधिक है, जो दोनों के लिए एक निश्चित ‘क्षय’ की आवश्यकता है।

यदि वहां की सामान्य सहमति यह निकलती है कि नियमितता व्यवधान एक नवजात हस्ताक्षर है जो गुणवत्ता को प्रभावित नहीं करता है, तो इसके लिए क्षतिपूर्ति करने के लिए कोई प्रयास नहीं किया जा सकता है – भले ही यह कुछ पोस्ट-प्रोसेसिंग या आर्किटेक्चर प्रक्रियाओं द्वारा ‘रद्द’ किया जा सकता है, जो कि बहुत दूर की बात है।

पहली बार 22 जुलाई 2022 को प्रकाशित।