Anderson का एंगल
डीपफेक डिटेक्टर नई दिशाओं में: लेटेंट डिफ्यूजन मॉडल और GAN

मुख्य बिंदुडीपफेक पहचान अनुसंधान का ध्यान स्थिर प्रसार और DALL-E 2 जैसे अव्यक्त प्रसार मॉडलों पर…
और देखें
- डीपफेक पहचान अनुसंधान का ध्यान स्थिर प्रसार और DALL-E 2 जैसे अव्यक्त प्रसार मॉडलों पर केंद्रित हो गया है।
- ब्लेड रनर कम संसाधनों वाले संगठनों के लिए चेहरे के लैंडमार्क पैटर्न का उपयोग करके एक प्लग-एंड-प्ले GAN डिटेक्टर प्रदान करता है।
- DE-FAKE का उद्देश्य CLIP एम्बेडिंग का उपयोग करके टेक्स्ट-टू-इमेज प्रसार मॉडल से छवियों का सार्वभौमिक रूप से पता लगाना और उन्हें विशेषता देना है।
राय
हाल ही में, डीपफेक डिटेक्शन रिसर्च समुदाय, जो 2017 के अंत से लगभग विशेष रूप से ऑटोएनकोडर-आधारित फ्रेमवर्क के साथ व्यस्त रहा है, जिसने उस समय जनता को आश्चर्यचकित किया था (और निराश किया था), कम ठहरी हुई नई आर्किटेक्चर में फॉरेंसिक रुचि लेना शुरू कर दिया है, जिनमें लेटेंट डिफ्यूजन मॉडल जैसे DALL-E 2 और स्टेबल डिफ्यूजन शामिल हैं, साथ ही साथ जनरेटिव एडवर्सेरियल नेटवर्क (GANs) के आउटपुट भी। उदाहरण के लिए, जून में, UC बर्कले प्रकाशित किए। यह शोध उस समय प्रमुख DALL-E 2 के आउटपुट का पता लगाने वाला डिटेक्टर विकसित करने के बारे में था।
जो लगता है कि इस बढ़ती रुचि को चला रहा है, वह 2022 में लेटेंट डिफ्यूजन मॉडल की क्षमता और उपलब्धता में अचानक विकास है, जिसमें DALL-E 2 की बंद-स्रोत और सीमित-एक्सेस रिलीज शामिल है, जो वसंत में हुई थी, जिसके बाद गर्मियों के अंत में stability.ai द्वारा स्टेबल डिफ्यूजन की सनसनीखेज ओपन सोर्सिंग हुई थी।
GANs को भी लंबे समय से इस संदर्भ में अध्ययन किया गया है, हालांकि कम गहनता से, क्योंकि यह बहुत मुश्किल है उन्हें विश्वसनीय और विस्तृत वीडियो-आधारित पुनर्निर्माण के लिए उपयोग करना; कम से कम, अब तक स्थापित हो चुके ऑटोएनकोडर पैकेजों जैसे फेसस्वैप और डीपफेसलैब की तुलना में – और बाद वाले के लाइव-स्ट्रीमिंग चचेरे भाई, डीपफेसलाइव।
मूविंग पिक्चर्स
दोनों मामलों में, उत्तेजक कारक यह प्रतीत होता है कि एक बाद के विकास स्प्रिंट के लिए वीडियो सिंथेसिस। अक्टूबर की शुरुआत – और 2022 के प्रमुख सम्मेलन का मौसम – एक अचानक और अप्रत्याशित समाधानों की बारिश के साथ चिह्नित किया गया था विभिन्न दीर्घकालिक वीडियो सिंथेसिस बगबियर्स के लिए: फेसबुक जारी अपने स्वयं के टेक्स्ट-टू-वीडियो प्लेटफ़ॉर्म के नमूने, तब गूगल रिसर्च ने जल्दी से अपनी नई इमेजन-टू-वीडियो टी2वी आर्किटेक्चर की घोषणा की, जो उच्च-रिज़ॉल्यूशन फुटेज (हालांकि केवल रिज़ॉल्यूशन बढ़ाने वाले सात-परत नेटवर्क के माध्यम से) का उत्पादन कर सकता है।
यदि आप मानते हैं कि इस तरह की चीजें तीनों में आती हैं, तो stability.ai के वादे पर विचार करें कि ‘वीडियो आ रहा है’ स्टेबल डिफ्यूजन में, कथित तौर पर इस साल बाद में, जबकि स्टेबल डिफ्यूजन को-विकसित करने वाले रनवे ने एक समान वादा किया है, हालांकि यह स्पष्ट नहीं है कि वे एक ही प्रणाली का उल्लेख कर रहे हैं या नहीं। Stability के सीईओ एमाद मोस्ताक का डिस्कॉर्ड संदेश ने भी ‘ऑडियो, वीडियो [और] 3डी‘ का वादा किया।
कई नए ऑडियो जनरेशन फ्रेमवर्क की अचानक पेशकश के साथ (जिनमें कुछ लेटेंट डिफ्यूजन पर आधारित हैं), और एक नई डिफ्यूजन मॉडल जो प्रामाणिक पात्र गति उत्पन्न कर सकती है, यह विचार कि ‘स्थिर’ फ्रेमवर्क जैसे GANs और डिफ्यूजर्स अंततः बाहरी एनिमेशन फ्रेमवर्क के लिए सहायक पूरक के रूप में अपनी जगह लेंगे, वास्तविक गति प्राप्त करना शुरू कर रहा है।
संक्षेप में, यह संभावना है कि ऑटोएनकोडर-आधारित वीडियो डीपफेक्स की दुनिया, जो केवल प्रभावी ढंग से एक चेहरे के केंद्रीय भाग को प्रतिस्थापित कर सकती है, अगले साल इसी समय तक एक नई पीढ़ी के डिफ्यूजन-आधारित डीपफेक-क्षमता प्रौद्योगिकियों द्वारा पार की जा सकती है – लोकप्रिय, ओपन-सोर्स दृष्टिकोण जो पूरे दृश्यों को फोटोरियलिस्टिक रूप से नकली बनाने की क्षमता रखते हैं, न कि केवल पूरे शरीर।
शायद इसी कारण एंटी-डीपफेक शोध समुदाय छवि संश्लेषण को गंभीरता से लेने लगा है और समझ रहा है कि इसका उपयोग केवल नकली LinkedIn प्रोफाइल फोटो बनाने से कहीं अधिक हो सकता है। यदि समय के साथ गति उत्पन्न करने के मामले में इन कठिन लेटेंट स्पेस का एकमात्र योगदान बहुत अच्छे टेक्सचर रेंडरर की तरह काम करना ही हो, तो वह भी पर्याप्त से अधिक हो सकता है।
ब्लेड रनर
दो नवीनतम पत्र जो क्रमशः लेटेंट डिफ्यूजन और GAN-आधारित डीपफेक डिटेक्शन को संबोधित करते हैं, हैं डी -फेक: डिटेक्शन एंड एट्रिब्यूशन ऑफ फेक इमेजेस जेनरेटेड बाय टेक्स्ट-टू-इमेज डिफ्यूजन मॉडल, सीआईएसपीए हेल्महोल्ट्ज सेंटर फॉर इंफॉर्मेशन सिक्योरिटी और सेल्सफोर्स (CRM ) के बीच एक सहयोग; और ब्लेडरनर: रैपिड काउंटरमेजर फॉर सिंथेटिक (एआई-जेनरेटेड) स्टाइलGAN फेस, एडम डोरियन वोंग से एमआईटी के लिंकन लेबोरेटरी में।
इससे पहले कि यह अपनी नई विधि की व्याख्या करे, दूसरा शोधपत्र यह निर्धारित करने के पुराने तरीकों की जाँच करता है कि कोई छवि GAN ने बनाई है या नहीं। यह शोधपत्र विशेष रूप से NVIDIA के StyleGAN परिवार पर केंद्रित है।
‘ब्रैडी बंच’ विधि – शायद एक अर्थहीन संदर्भ के लिए कोई भी जिसने 1970 के दशक में टीवी नहीं देखा था, या जो 1990 के दशक की फिल्म अनुकूलन से चूक गया – GAN-फेक्ड सामग्री की पहचान करता है क्योंकि विशिष्ट भागों की निश्चित स्थिति एक GAN चेहरे पर कब्जा कर लेती है, GAN के ‘उत्पादन प्रक्रिया’ के रूटीन और टेम्पलेटेड प्रकृति के कारण।

ब्रेडी बंच विधि 2022 में संस इंस्टीट्यूट से एक वेबकास्ट द्वारा प्रस्तावित: एक GAN-आधारित चेहरा जनरेटर निश्चित चेहरे की विशेषताओं की असंभवतः एकरूप स्थिति का प्रदर्शन करेगा, जो फोटो की उत्पत्ति को प्रकट करेगा, कुछ मामलों में। स्रोत: https://arxiv.org/ftp/arxiv/papers/2210/2210.06587.pdf
एक अन्य ज्ञात संकेत यह है कि स्टाइलGAN की अक्सर कई चेहरों (पहली छवि नीचे) को प्रस्तुत करने में असमर्थता है, यदि आवश्यक हो; साथ ही साथ इसकी सहायक समन्वय में कमी (मध्य छवि नीचे), और एक प्रवृत्ति एक हेयरलाइन का उपयोग एक इंप्रोम्प्टु टोपी की शुरुआत के रूप में (तीसरी छवि नीचे)।

तीसरी विधि जिस पर शोधकर्ता ध्यान दिलाते हैं वह फोटो ओवरले है (जिसका एक उदाहरण हमारे अगस्त लेख में देखा जा सकता है जो कि एआई-सहायता प्राप्त मानसिक स्वास्थ्य विकारों के निदान पर), जो संयोजन ‘छवि मिश्रण’ सॉफ्टवेयर जैसे कि कंबाइनजेड श्रृंखला का उपयोग करता है कई छवियों को एक एकल छवि में जोड़ने के लिए, अक्सर अंतर्निहित संरचना में सामान्यता को प्रकट करता है – एक संभावित संकेत सिंथेसिस का।

नई शोधपत्र की प्रस्तावित आर्किटेक्चर को (शायद SEO की हर सलाह के विपरीत) ब्लेड रनर नाम दिया गया है, जो वैज्ञानिक-कथा फ्रेंचाइजी में प्रतिपक्षियों को ‘नकली’ या नहीं होने का निर्धारण करने वाले वोइट-काम्प्फ परीक्षण का संदर्भ देता है।
पाइपलाइन दो चरणों में बनी है: पहला पेपर्सप्लीज़ विश्लेषक है, जो ज्ञात GAN-फेस वेबसाइटों से डेटा का मूल्यांकन कर सकता है, जैसे कि thispersondoesnotexist.com, या generated.photos।

हालांकि कोड का एक कट-डाउन संस्करण गिटहब (नीचे देखें) पर देखा जा सकता है, इस मॉड्यूल के बारे में बहुत कम विवरण दिए गए हैं, सिवाय इसके कि ओपनसीवी और डीएलआईबी का उपयोग एकत्रित सामग्री में चेहरों को रेखांकित करने और पता लगाने के लिए किया जाता है।
दूसरा मॉड्यूल अमोंगस डिटेक्टर है। प्रणाली फोटो में समन्वित आंख स्थिति की तलाश करने के लिए डिज़ाइन की गई है, जो स्टाइलGAN के चेहरे के आउटपुट की एक स्थायी विशेषता है, जैसा कि ऊपर वर्णित ‘ब्रेडी बंच’ परिदृश्य में। AmongUs एक मानक 68-बिंदु फेसियल लैंडमार्क डिटेक्टर का उपयोग करता है।

फेसियल पॉइंट एनोटेशन इंटेलिजेंट बिहेवियर अंडरस्टैंडिंग ग्रुप (आईबीयूजी), जिसका फेसियल लैंडमार्क प्लॉटिंग कोड ब्लेड रनर पैकेज में उपयोग किया जाता है।
अमोंगस पेपर्सप्लीज़ से ज्ञात ‘ब्रेडी बंच’ निर्देशांकों पर आधारित पहले से प्रशिक्षित लैंडमार्क पर निर्भर करता है, और लाइव, वेब-फेसिंग नमूनों के खिलाफ उपयोग के लिए डिज़ाइन किया गया है स्टाइलGAN-आधारित चेहरे की छवियां।
ब्लेड रनर, लेखक का सुझाव है, एक प्लग-एंड-प्ले समाधान है जो कंपनियों या संगठनों के लिए अभिप्रेत है जो इस तरह के डीपफेक डिटेक्शन के लिए इन-हाउस समाधान विकसित करने के लिए संसाधनों से कम हैं; और एक ‘स्टॉप-गैप माप’ जो अधिक स्थायी समाधानों के लिए समय खरीदता है।
वास्तव में, इस अस्थिर और तेजी से बढ़ते सुरक्षा क्षेत्र में, कुछ बेस्पोक या ऑफ-द-रैक क्लाउड विक्रेता समाधान हैं जिन पर एक कम-संसाधन वाली कंपनी आत्मविश्वास के साथ मुड़ सकती है।
हालांकि ब्लेड रनर चश्मे वाले स्टाइलGAN-फेक्ड लोगों के खिलाफ खराब प्रदर्शन करता है, यह एक सामान्य समस्या है जो समान प्रणालियों में होती है, जो आंखों की रेखाओं का मूल्यांकन करने में सक्षम होने की उम्मीद करती है, जो ऐसे मामलों में अवरुद्ध होती हैं।
ब्लेड रनर का एक सीमित संस्करण ओपन सोर्स पर गिटहब पर जारी किया गया है। एक अधिक सुविधा संपन्न प्रोप्राइटरी संस्करण मौजूद है, जो एक साथ कई तस्वीरें संसाधित कर सकता है, जबकि ओपन सोर्स संस्करण प्रत्येक ऑपरेशन में केवल एक तस्वीर संसाधित करता है। लेखक कहते हैं कि वह गिटहब संस्करण को अंततः उसी मानक तक अपग्रेड करने का इरादा रखता है, जैसा समय अनुमति देता है। वह यह भी स्वीकार करता है कि स्टाइलGAN अपनी ज्ञात या वर्तमान कमजोरियों से परे विकसित होने की संभावना है, और सॉफ्टवेयर को भी साथ-साथ में विकसित होने की आवश्यकता होगी।
डी -फेक
डी -फेक आर्किटेक्चर का उद्देश्य न केवल छवियों के लिए ‘सार्वभौमिक डिटेक्शन’ प्राप्त करना है जो पाठ-टू-छवि डिफ्यूजन मॉडल द्वारा उत्पन्न की जाती हैं, बल्कि यह एक विधि प्रदान करना है जो यह निर्धारित कर सकती है कि कौन सा लेटेंट डिफ्यूजन (एलडी) मॉडल ने छवि का उत्पादन किया।

डी -फेक में सार्वभौमिक डिटेक्शन फ्रेमवर्क स्थानीय छवियों, एक हाइब्रिड फ्रेमवर्क (हरा), और ओपन वर्ल्ड छवियों (नीला) को संबोधित करता है। स्रोत: http://export.arxiv.org/pdf/2210.06998
ईमानदारी से, इस समय यह एक बहुत ही सरल कार्य है, क्योंकि सभी लोकप्रिय एलडी मॉडल – बंद स्रोत या ओपन सोर्स – उल्लेखनीय विशिष्ट विशेषताओं को साझा करते हैं।
इसके अलावा, अधिकांश सामान्य कमजोरियों को साझा करते हैं, जैसे कि सिर काटने की प्रवृत्ति, क्योंकि मनमाने तरीके से गैर-वर्ग छवियों को बड़े डेटासेट में शामिल किया जाता है जो सिस्टम जैसे DALL-E 2, स्टेबल डिफ्यूजन और मिडजर्नी को शक्ति प्रदान करता है:

लेटेंट डिफ्यूजन मॉडल, कंप्यूटर विजन मॉडल की तरह, वर्ग-आकार के इनपुट की आवश्यकता होती है; लेकिन लायोन 5 बी डेटासेट को ईंधन देने वाली समग्र वेब स्क्रैपिंग में कोई ‘विलासिता एक्स्ट्रा’ जैसे कि चेहरे (या कुछ और) को पहचानने और फोकस करने की क्षमता नहीं है, और किनारों पर खाली जगह जोड़ने के बजाय छवियों को बेरहमी से काट देता है। खाली जगह जोड़ने से कम रिज़ॉल्यूशन पर पूरी मूल छवि सुरक्षित रहती। प्रशिक्षण में सीखे जाने के बाद ये ‘क्रॉप’ सामान्य हो जाते हैं और अक्सर लेटेंट डिफ्यूजन प्रणालियों जैसे स्टेबल डिफ्यूजन के आउटपुट में होते हैं। स्रोत: https://blog.novelai.net/novelai-improvements-on-stable-diffusion-e10d38db82ac और स्टेबल डिफ्यूजन।
डी -फेक का उद्देश्य एल्गोरिदम-एजेनोस्टिक होना है, एक लंबे समय से ऑटोएनकोडर एंटी-डीपफेक शोधकर्ताओं का एक लंबे समय से प्रत्याशित लक्ष्य, और वर्तमान में एलडी प्रणालियों के संबंध में यह एक बहुत ही प्राप्य लक्ष्य है।
वास्तुकला ओपनएआई के कंट्रास्टिव लैंग्वेज-इमेज प्री-ट्रेनिंग (सीएलआईपी) मल्टीमॉडल लाइब्रेरी का उपयोग करती है – स्टेबल डिफ्यूजन में एक आवश्यक तत्व, और नए इमेज/वीडियो सिंथेसिस प्रणालियों की नई लहर के दिल में तेजी से – ‘फोर्ज्ड’ एलडी छवियों से एम्बेडिंग निकालने और एक वर्गीकरणकर्ता को देखे गए पैटर्न और वर्गों पर प्रशिक्षित करने के लिए।
एक अधिक ‘ब्लैक बॉक्स’ परिदृश्य में, जहां पीएनजी चंक्स जो उत्पादन प्रक्रिया के बारे में जानकारी रखते हैं लंबे समय से अपलोड प्रक्रियाओं द्वारा और अन्य कारणों से हटा दिए गए हैं, शोधकर्ता सेल्सफोर्स ब्लिप फ्रेमवर्क (जो कम से कम एक स्टेबल डिफ्यूजन वितरण का भी एक घटक है) का उपयोग करते हैं छवियों को उनके संभावित सेमेंटिक संरचना के लिए ‘अंधे’ पोल करने के लिए जो उन्हें बनाती हैं।

शोधकर्ताओं ने स्टेबल डिफ्यूजन, लेटेंट डिफ्यूजन (स्वयं एक अलग उत्पाद), ग्लाइड और DALL-E 2 का उपयोग करके एमएससीओसीओ और फ्लिकर 30 के का उपयोग करके एक प्रशिक्षण और परीक्षण डेटासेट का लाभ उठाया।
आम तौर पर हम किसी नए फ्रेमवर्क के लिए शोधकर्ताओं के प्रयोगों के परिणामों पर विस्तार से देखेंगे; लेकिन वास्तव में, डी -फेक के निष्कर्ष भविष्य के संस्करणों और समान परियोजनाओं के लिए एक बेंचमार्क के रूप में अधिक उपयोगी होने की संभावना है, बजाय परियोजना की सफलता के एक अर्थपूर्ण मीट्रिक के रूप में, यह देखते हुए कि यह किस परिदृश्य में काम कर रहा है – और प्रणाली जिसके खिलाफ यह कागज़ में परीक्षण की जा रही है लगभग तीन साल पुरानी है – जब छवि सिंथेसिस दृश्य वास्तव में प्रारंभिक था।

सबसे बाईं दो छवियाँ: 2019 का पुराना तुलनात्मक फ्रेमवर्क परीक्षण किए गए चार LD सिस्टमों में अपेक्षा के अनुरूप DE-FAKE (सबसे दाईं दो छवियाँ) से खराब प्रदर्शन करता है।
टीम के परिणाम दो कारणों से अत्यधिक सकारात्मक हैं: तुलना करने के लिए बहुत कम पूर्व कार्य मौजूद है (और कोई भी जो एक न्यायसंगत तुलना प्रदान करता है, अर्थात जो स्टेबल डिफ्यूजन के ओपन सोर्स होने के बाद बीते केवल बारह सप्ताह को समेटता हो)।
दूसरा, जैसा कि ऊपर उल्लेख किया गया है, एलडी छवि सिंथेसिस क्षेत्र तेजी से विकसित हो रहा है – लेकिन वर्तमान पेशकशों का आउटपुट सामग्री स्वयं को अपनी संरचनात्मक (और बहुत पूर्वानुमेय) कमजोरियों और विचित्रताओं द्वारा ‘वॉटरमार्क’ करता है – जिनमें से कई को स्टेबल डिफ्यूजन के मामले में कम से कम 1.5 चेकपॉइंट (अर्थात 4 जीबी प्रशिक्षित मॉडल) के रिलीज़ द्वारा समाधान किया जाने की संभावना है।
इस बीच, Stability ने पहले ही सिस्टम के लिए एक स्पष्ट रोडमैप की घोषणा की है वी 2 और वी 3 के लिए। पिछले तीन महीनों की मुख्य घटनाओं को देखते हुए, ओपनएआई और छवि सिंथेसिस स्थान में प्रतिस्पर्धी खिलाड़ियों के किसी भी कॉर्पोरेट टॉरपोर को वाष्पित करने की संभावना है, जिसका अर्थ है कि हम बंद स्रोत छवि सिंथेसिस स्थान में भी एक समान तेजी से प्रगति की उम्मीद कर सकते हैं।
पहली बार 14 अक्टूबर 2022 को प्रकाशित।












