डीपफेक डिटेक्टर्स नए मैदान पर: लेटेंट डिफ्यूजन मॉडल और जीएनएस

राय  

हाल ही में, डीपफेक डिटेक्शन रिसर्च समुदाय, जो 2017 के अंत से लगभग विशेष रूप से ऑटोएनकोडर-आधारित फ्रेमवर्क के साथ व्यस्त रहा है, जिसने उस समय जनता को आश्चर्यचकित किया था (और निराश किया था), नए और कम स्थिर वास्तुकला में विद्युत विश्लेषण करना शुरू कर दिया है, जिनमें लेटेंट डिफ्यूजन मॉडल जैसे DALL-E 2 और स्टेबल डिफ्यूजन शामिल हैं, साथ ही साथ जनरेटिव एडवर्सेरियल नेटवर्क (GANs) के आउटपुट भी। उदाहरण के लिए, जून में, UC बर्कले प्रकाशित अपने शोध के परिणामों को विकसित करने के लिए एक डिटेक्टर के लिए DALL-E 2 के आउटपुट के लिए।

जो लगता है कि इस बढ़ती रुचि को चला रहा है, वह 2022 में लेटेंट डिफ्यूजन मॉडल की क्षमता और उपलब्धता में अचानक विकास है, जिसमें DALL-E 2 की बंद-स्रोत और सीमित-एक्सेस रिलीज शामिल है, जो वसंत में हुई थी, जिसके बाद स्टेबल डिफ्यूजन का ओपन सोर्सिंग हुई थी।

GANs को भी लंबे समय से इस संदर्भ में अध्ययन किया गया है, हालांकि कम गहनता से, क्योंकि यह बहुत मुश्किल है उन्हें विश्वसनीय और विस्तृत वीडियो-आधारित पुनर्निर्माण के लिए उपयोग करना; कम से कम, वेनरेबल ऑटोएनकोडर पैकेजों जैसे फेसस्वैप और डीपफेसलैब की तुलना में – और बाद वाले के लाइव-स्ट्रीमिंग चचेरे भाई, डीपफेसलाइव।

मूविंग पिक्चर्स

दोनों मामलों में, उत्तेजक कारक यह प्रतीत होता है कि एक बाद के विकास स्प्रिंट के लिए वीडियो सिंथेसिस। अक्टूबर की शुरुआत – और 2022 के प्रमुख सम्मेलन का मौसम – एक अचानक और अप्रत्याशित समाधानों की बारिश के साथ चिह्नित किया गया था विभिन्न दीर्घकालिक वीडियो सिंथेसिस बगबियर्स के लिए: फेसबुक जारी अपने स्वयं के टेक्स्ट-टू-वीडियो प्लेटफ़ॉर्म के नमूने, तब गूगल रिसर्च ने जल्दी से अपनी नई इमेजन-टू-वीडियो टी2वी आर्किटेक्चर की घोषणा की, जो उच्च-रिज़ॉल्यूशन फुटेज (हालांकि केवल एक 7-परत नेटवर्क के माध्यम से) का उत्पादन कर सकता है।

यदि आप मानते हैं कि इस तरह की चीजें तीनों में आती हैं, तो स्थिरता-वाई के वादे पर विचार करें कि ‘वीडियो आ रहा है’ स्टेबल डिफ्यूजन में, कथित तौर पर इस साल बाद में, जबकि स्टेबल डिफ्यूजन को-विकसित करने वाले रनवे ने एक समान वादा किया है, हालांकि यह स्पष्ट नहीं है कि वे एक ही प्रणाली का उल्लेख कर रहे हैं या नहीं। स्थिरता के सीईओ एमाद मोस्ताक का डिस्कॉर्ड संदेश ने भी ‘ऑडियो, वीडियो [और] 3डी‘ का वादा किया।

एक नए ऑडियो जनरेशन फ्रेमवर्क की अचानक पेशकश के साथ, और एक नई डिफ्यूजन मॉडल जो प्रामाणिक पात्र गति उत्पन्न कर सकती है, यह विचार कि ‘स्थिर’ फ्रेमवर्क जैसे GANs और डिफ्यूजर्स अंततः बाहरी एनिमेशन फ्रेमवर्क के लिए सहायक सहायक के रूप में अपनी जगह लेंगे, वास्तविक गति प्राप्त करना शुरू कर रहा है।

संक्षेप में, यह संभावना है कि ऑटोएनकोडर-आधारित वीडियो डीपफेक्स की दुनिया, जो केवल प्रभावी ढंग से एक चेहरे के केंद्रीय भाग को प्रतिस्थापित कर सकती है, अगले साल तक एक नई पीढ़ी के डिफ्यूजन-आधारित डीपफेक-क्षमता प्रौद्योगिकियों द्वारा पार की जा सकती है – लोकप्रिय, ओपन-सोर्स दृष्टिकोण जो पूरे दृश्यों को फोटोरियलिस्टिक रूप से नकली बनाने की क्षमता रखते हैं, न कि केवल पूरे शरीर।

इसलिए, शायद, एंटी-डीपफेक रिसर्च समुदाय डीपफेक्स को गंभीरता से लेना शुरू कर रहा है, और यह महसूस कर रहा है कि यह केवल नकली लिंक्डइन प्रोफाइल फोटो उत्पन्न करने के लिए पर्याप्त नहीं हो सकता है; और यदि सभी उनके अप्राप्य लेटेंट स्पेस में कुछ भी हासिल कर सकते हैं तो यह मात्रा एक महान टेक्सचर रेंडरर के रूप में कार्य करना हो सकता है, जो वास्तव में पर्याप्त हो सकता है।

ब्लेड रनर

दो नवीनतम पत्र जो क्रमशः लेटेंट डिफ्यूजन और जीएन-आधारित डीपफेक डिटेक्शन को संबोधित करते हैं, हैं डी -फेक: डिटेक्शन एंड एट्रिब्यूशन ऑफ फेक इमेजेस जेनरेटेड बाय टेक्स्ट-टू-इमेज डिफ्यूजन मॉडल, सीआईएसपीए हेल्महोल्ट्ज सेंटर फॉर इंफॉर्मेशन सिक्योरिटी और सेल्सफोर्स के बीच एक सहयोग; और ब्लेडरनर: रैपिड काउंटरमेजर फॉर सिंथेटिक (एआई-जेनरेटेड) स्टाइलजीएन फेस, एडम डोरियन वोंग से एमआईटी के लिंकन लेबोरेटरी में।

इससे पहले कि यह अपनी नई विधि की व्याख्या करे, पत्र पिछले दृष्टिकोणों की जांच करता है जो यह निर्धारित करने के लिए कि क्या एक छवि जीएन द्वारा उत्पन्न की गई थी या नहीं।

‘ब्रैडी बंच’ विधि – शायद एक अर्थहीन संदर्भ के लिए कोई भी जो 1970 के दशक में टीवी देख रहा था या नहीं था, या जो 1990 के दशक की फिल्म अनुकूलन से चूक गया – जीएन-फेक्ड सामग्री की पहचान करता है क्योंकि विशिष्ट भागों की निश्चित स्थिति एक जीएन चेहरे पर कब्जा कर लेती है, जीएन के ‘उत्पादन प्रक्रिया’ के रूटीन और टेम्पलेटेड प्रकृति के कारण।

ब्रेडी बंच विधि 2022 में संस इंस्टीट्यूट से एक वेबकास्ट द्वारा प्रस्तावित: एक जीएन-आधारित चेहरा जनरेटर निश्चित चेहरे की विशेषताओं की असंभवतः एकरूप स्थिति का प्रदर्शन करेगा, जो फोटो की उत्पत्ति को प्रकट करेगा, कुछ मामलों में। स्रोत: https://arxiv.org/ftp/arxiv/papers/2210/2210.06587.pdf

एक अन्य ज्ञात संकेत यह है कि स्टाइलजीएन की अक्सर कई चेहरों (पहली छवि नीचे) को प्रस्तुत करने में असमर्थता है, यदि आवश्यक हो; साथ ही साथ इसकी सहायक समन्वय में कमी (मध्य छवि नीचे), और एक प्रवृत्ति एक हेयरलाइन का उपयोग एक इंप्रोम्प्टु टोपी की शुरुआत के रूप में (तीसरी छवि नीचे)।

तीसरी विधि जिस पर शोधकर्ता ध्यान देते हैं वह फोटो ओवरले है (जिसका एक उदाहरण हमारे अगस्त लेख में देखा जा सकता है जो कि एआई-सहायता प्राप्त मानसिक स्वास्थ्य विकारों के निदान पर), जो संयोजन ‘छवि मिश्रण’ सॉफ्टवेयर जैसे कि कंबाइनजेड श्रृंखला का उपयोग करता है कई छवियों को एक एकल छवि में जोड़ने के लिए, अक्सर अंतर्निहित संरचना में सामान्यता को प्रकट करता है – एक संभावित संकेत सिंथेसिस का।

प्रस्तावित वास्तुकला को ब्लेड रनर नाम दिया गया है, जो वैज्ञानिक-कथा फ्रेंचाइजी में प्रतिपक्षियों को ‘नकली’ या नहीं होने का निर्धारण करने वाले वोइग्ट-कम्पफ टेस्ट का संदर्भ देता है।

पाइपलाइन दो चरणों में बनी है: पहला पेपर्सप्लीज़ विश्लेषक है, जो ज्ञात जीएन-फेस वेबसाइटों से डेटा का मूल्यांकन कर सकता है, जैसे कि thispersondoesnotexist.com, या generated.photos।

हालांकि कोड का एक कट-डाउन संस्करण गिटहब (नीचे देखें) पर देखा जा सकता है, इस मॉड्यूल के बारे में बहुत कम विवरण दिए गए हैं, सिवाय इसके कि ओपनसीवी और डीएलआईबी का उपयोग एकत्रित सामग्री में चेहरों को रेखांकित करने और पता लगाने के लिए किया जाता है।

दूसरा मॉड्यूल अमोंगस डिटेक्टर है। प्रणाली फोटो में समन्वित आंख स्थिति की तलाश करने के लिए डिज़ाइन की गई है, जो स्टाइलजीएन के चेहरे के आउटपुट की एक स्थायी विशेषता है, जैसा कि ऊपर वर्णित ‘ब्रेडी बंच’ परिदृश्य में।

फेसियल पॉइंट एनोटेशन इंटेलिजेंट बिहेवियर अंडरस्टैंडिंग ग्रुप (आईबीयूजी), जिसका फेसियल लैंडमार्क प्लॉटिंग कोड ब्लेड रनर पैकेज में उपयोग किया जाता है।

अमोंगस पेपर्सप्लीज़ से ज्ञात ‘ब्रेडी बंच’ समन्वय पर निर्भर करता है, और लाइव, वेब-फेसिंग नमूनों के खिलाफ उपयोग के लिए डिज़ाइन किया गया है स्टाइलजीएन-आधारित चेहरे की छवियां।

ब्लेड रनर, लेखक का सुझाव है, एक प्लग-एंड-प्ले समाधान है जो कंपनियों या संगठनों के लिए अभिप्रेत है जो इस तरह के डीपफेक डिटेक्शन के लिए इन-हाउस समाधान विकसित करने के लिए संसाधनों से कम हैं; और एक ‘स्टॉप-गैप माप’ जो अधिक स्थायी समाधानों के लिए समय खरीदता है।

वास्तव में, इस अस्थिर और तेजी से बढ़ते सुरक्षा क्षेत्र में, कुछ बेस्पोक या ऑफ-द-रैक क्लाउड विक्रेता समाधान हैं जिन पर एक कम-संसाधन वाली कंपनी आत्मविश्वास के साथ मुड़ सकती है।

हालांकि ब्लेड रनर चश्मे वाले स्टाइलजीएन-फेक्ड लोगों के खिलाफ खराब प्रदर्शन करता है, यह एक सामान्य समस्या है जो समान प्रणालियों में होती है, जो आंखों की रेखाओं का मूल्यांकन करने में सक्षम होने की उम्मीद करती है, जो ऐसे मामलों में अवरुद्ध होती हैं।

ब्लेड रनर का एक कमजोर संस्करण ओपन सोर्स पर गिटहब पर जारी किया गया है। एक अधिक सुविधा संपन्न प्रोप्राइटरी संस्करण मौजूद है, जो एकल ऑपरेशन के बजाय एक से अधिक फोटो को संसाधित कर सकता है। लेखक कहते हैं कि वह गिटहब संस्करण को अंततः उसी मानक तक अपग्रेड करने का इरादा रखता है, जैसा समय अनुमति देता है। वह यह भी स्वीकार करता है कि स्टाइलजीएन अपनी ज्ञात या वर्तमान कमजोरियों से परे विकसित होने की संभावना है, और सॉफ्टवेयर को भी तandem में विकसित होने की आवश्यकता होगी।

डी -फेक

डी -फेक आर्किटेक्चर का उद्देश्य न केवल छवियों के लिए ‘सार्वभौमिक डिटेक्शन’ प्राप्त करना है जो पाठ-टू-छवि डिफ्यूजन मॉडल द्वारा उत्पन्न की जाती हैं, बल्कि यह एक विधि प्रदान करना है जो यह निर्धारित कर सकती है कि कौन सा लेटेंट डिफ्यूजन (एलडी) मॉडल ने छवि का उत्पादन किया।

डी -फेक में सार्वभौमिक डिटेक्शन फ्रेमवर्क स्थानीय छवियों (नीला), एक हाइब्रिड फ्रेमवर्क (हरा), और ओपन वर्ल्ड छवियों (नीला) को संबोधित करता है। स्रोत: http://export.arxiv.org/pdf/2210.06998

ईमानदारी से, इस समय यह एक बहुत ही सरल कार्य है, क्योंकि सभी लोकप्रिय एलडी मॉडल – बंद स्रोत या ओपन सोर्स – उल्लेखनीय विशिष्ट विशेषताओं को साझा करते हैं।

इसके अलावा, अधिकांश सामान्य कमजोरियों को साझा करते हैं, जैसे कि सिर काटने की प्रवृत्ति, क्योंकि अर्बिट्ररी तरीके से गैर-वर्ग छवियों को बड़े डेटासेट में शामिल किया जाता है जो सिस्टम जैसे DALL-E 2, स्टेबल डिफ्यूजन और मिडजर्नी को शक्ति प्रदान करता है:

लेटेंट डिफ्यूजन मॉडल, कंप्यूटर विजन मॉडल की तरह, वर्ग-आकार के इनपुट की आवश्यकता होती है; लेकिन लायोन 5 बी डेटासेट को ईंधन देने वाली समग्र वेब स्क्रैपिंग में कोई ‘विलासिता एक्स्ट्रा’ जैसे कि चेहरे (या कुछ और) को पहचानने और फोकस करने की क्षमता नहीं है, और इसके बजाय छवियों को क्रूर तरीके से ट्रंकेट करता है। एक बार प्रशिक्षित, ये ‘क्रॉप’ सामान्य हो जाते हैं और अक्सर लेटेंट डिफ्यूजन प्रणालियों जैसे स्टेबल डिफ्यूजन के आउटपुट में होते हैं। स्रोत: https://blog.novelai.net/novelai-improvements-on-stable-diffusion-e10d38db82ac और स्टेबल डिफ्यूजन।

डी -फेक का उद्देश्य एल्गोरिदम-एजेनोस्टिक होना है, एक लंबे समय से ऑटोएनकोडर एंटी-डीपफेक शोधकर्ताओं का एक लंबे समय से प्रत्याशित लक्ष्य, और वर्तमान में एलडी प्रणालियों के संबंध में यह एक बहुत ही प्राप्य लक्ष्य है।

वास्तुकला ओपनएआई के कंट्रास्टिव लैंग्वेज-इमेज प्री-ट्रेनिंग (सीएलआईपी) मल्टीमॉडल लाइब्रेरी का उपयोग करती है – स्टेबल डिफ्यूजन में एक आवश्यक तत्व, और नए इमेज/वीडियो सिंथेसिस प्रणालियों की नई लहर के दिल में तेजी से – ‘फोर्ज्ड’ एलडी छवियों से एम्बेडिंग निकालने और एक वर्गीकरणकर्ता को देखे गए पैटर्न और वर्गों पर प्रशिक्षित करने के लिए।

एक अधिक ‘ब्लैक बॉक्स’ परिदृश्य में, जहां पीएनजी चंक्स जो उत्पादन प्रक्रिया के बारे में जानकारी रखते हैं लंबे समय से अपलोड प्रक्रियाओं द्वारा और अन्य कारणों से हटा दिए गए हैं, शोधकर्ता सेल्सफोर्स ब्लिप फ्रेमवर्क (जो स्टेबल डिफ्यूजन के वितरण में कम से कम एक घटक है) का उपयोग करते हैं छवियों को उनके संभावित सेमेंटिक संरचना के लिए ‘अंधे’ पोल करने के लिए जो उन्हें बनाती हैं।

शोधकर्ताओं ने स्टेबल डिफ्यूजन, लेटेंट डिफ्यूजन (स्वयं एक अलग उत्पाद), ग्लाइड और डीएलए -2 का उपयोग करके एमएससीओसीओ और फ्लिकर 30 के का उपयोग करके एक प्रशिक्षण और परीक्षण डेटासेट का लाभ उठाया।

आम तौर पर हम किसी नए फ्रेमवर्क के लिए शोधकर्ताओं के प्रयोगों के परिणामों पर विस्तार से देखेंगे; लेकिन वास्तव में, डी -फेक के निष्कर्ष भविष्य के पुनरावलोकन और समान परियोजनाओं के लिए एक बेंचमार्क के रूप में अधिक उपयोगी होने की संभावना है, बजाय परियोजना की सफलता के एक अर्थपूर्ण मीट्रिक के रूप में, यह देखते हुए कि यह किस परिदृश्य में काम कर रहा है – और प्रणाली जिसके खिलाफ यह कागज़ में परीक्षण की जा रही है लगभग तीन साल पुरानी है – जब छवि सिंथेसिस दृश्य वास्तव में प्रारंभिक था।

बाएं से दाएं: पिछले फ्रेमवर्क (2019 में उत्पन्न) डी -फेक (दाएं से दूसरी) की तुलना में चार एलडी प्रणालियों पर कम प्रदर्शन करता है।

टीम के परिणाम दो कारणों से अत्यधिक सकारात्मक हैं: कोई पूर्व कार्य नहीं है जिसके खिलाफ इसकी तुलना की जा सकती है (और कोई भी जो एक न्यायसंगत तुलना प्रदान करता है, अर्थात जो कि केवल बारह सप्ताह से अधिक है क्योंकि स्टेबल डिफ्यूजन को ओपन सोर्स किया गया है)।

दूसरा, जैसा कि ऊपर उल्लेख किया गया है, एलडी छवि सिंथेसिस क्षेत्र तेजी से विकसित हो रहा है – लेकिन वर्तमान पेशकशों का आउटपुट सामग्री स्वयं को अपनी संरचनात्मक (और बहुत पredictable) कमजोरियों और विचित्रताओं द्वारा ‘वॉटरमार्क’ करता है – जिनमें से कई को स्टेबल डिफ्यूजन के मामले में कम से कम 1.5 चेकपॉइंट (अर्थात 4 जीबी प्रशिक्षित मॉडल) के रिलीज़ द्वारा समाधान किया जाने की संभावना है।

इस बीच, स्थिरता ने पहले ही सिस्टम के लिए एक स्पष्ट रोडमैप की घोषणा की है वी 2 और वी 3 के लिए। पिछले तीन महीनों की मुख्य घटनाओं को देखते हुए, ओपनएआई और छवि सिंथेसिस स्थान में प्रतिस्पर्धी खिलाड़ियों के किसी भी कॉर्पोरेट टॉरपोर को वाष्पित करने की संभावना है, जिसका अर्थ है कि हम बंद स्रोत छवि सिंथेसिस स्थान में भी एक समान तेजी से प्रगति की उम्मीद कर सकते हैं।

पहली बार 14 अक्टूबर 2022 को प्रकाशित।