Anderson का एंगल

डीपफ़ेक और इमेज सिंथेसिस सिस्टम में उपयोग के खिलाफ इमेज को एनकोड करना

mm
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें

डीपफ़ेक विरोधी अनुसंधान क्षेत्र में सबसे प्रसिद्ध अनुसंधान रेखा उन प्रणालियों को शामिल करती है जो वीडियो और इमेज सामग्री में डीपफ़ेक्ड, सिंथेसाइज्ड, या अन्यथा जाली या ‘संपादित’ चेहरों की विशेषताओं को पहचान सकती हैं।

ऐसे दृष्टिकोण विभिन्न तरीकों का उपयोग करते हैं, जिनमें गहराई का पता लगाना, वीडियो नियमितता व्यवधान, मॉनिटर प्रकाश व्यवस्था में भिन्नता (संभावित रूप से डीपफ़ेक्ड लाइव वीडियो कॉल में), जैवमानिक विशेषताएं, बाहरी चेहरे के क्षेत्र, और यहां तक कि मानव अंतर्ज्ञानी प्रणाली की छिपी हुई शक्तियां भी।

इनमें से क्या है, और इसी तरह के तरीकों में एक बात समान है कि जब तक वे तैनात किए जाते हैं, तो वे जिन केंद्रीय तंत्रों से लड़ रहे हैं उन्हें पहले ही सफलतापूर्वक हजारों या लाखों की संख्या में वेब से स्क्रैप की गई छवियों पर प्रशिक्षित किया जा चुका है – जिन छवियों से ऑटोएनकोडर प्रणालियां आसानी से प्रमुख विशेषताओं को प्राप्त कर सकती हैं और मॉडल बना सकती हैं जो वीडियो फुटेज या सिंथेटिक छवियों में झूठी पहचान लागू कर सकती हैं – यहां तक कि वास्तविक समय में भी।

संक्षेप में, जब तक ऐसी प्रणालियां सक्रिय होती हैं, तो घोड़ा पहले ही बाहर निकल चुका होता है।

डीपफ़ेक/सिंथेसिस आर्किटेक्चर के लिए शत्रुतापूर्ण छवियां

डीपफ़ेक और इमेज सिंथेसिस के खतरे के प्रति एक और अधिक निवारक दृष्टिकोण के रूप में, इस क्षेत्र में एक कम जानी जाने वाली अनुसंधान शाखा उन संभावनाओं की संभावना में निहित है जो उन सभी स्रोत फोटो को अनुकूल बनाने में हैं जो एआई इमेज सिंथेसिस प्रणालियों के लिए शत्रुतापूर्ण हैं, आमतौर पर अव्यक्त या बARELY व्यक्त तरीके से।

उदाहरणों में FakeTagger शामिल है, जो 2021 का एक प्रस्ताव है जो विभिन्न संस्थानों से है जो छवियों में संदेशों को एनकोड करता है; ये एनकोडिंग सामान्यीकरण की प्रक्रिया का विरोध करते हैं, और यहां तक कि तब भी पुनर्प्राप्त किया जा सकता है जब छवियों को वेब से स्क्रैप किया जाता है और एक जनरेटिव एडवर्सेरियल नेटवर्क (GAN) में प्रशिक्षित किया जाता है, जो सबसे प्रसिद्ध रूप से thispersondoesnotexist.com और इसके कई व्युत्पन्न द्वारा प्रतिनिधित्व किया जाता है।

FakeTagger जानकारी को एनकोड करता है जो सामान्यीकरण की प्रक्रिया के दौरान एक GAN को प्रशिक्षित करने में जीवित रह सकता है, जिससे यह पता लगाना संभव हो जाता है कि क्या एक विशिष्ट छवि प्रणाली की उत्पन्नकारी क्षमताओं में योगदान दिया है। स्रोत: https://arxiv.org/pdf/2009.09869.pdf

FakeTagger जानकारी को एनकोड करता है जो सामान्यीकरण की प्रक्रिया के दौरान एक GAN को प्रशिक्षित करने में जीवित रह सकता है, जिससे यह पता लगाना संभव हो जाता है कि क्या एक विशिष्ट छवि प्रणाली की उत्पन्नकारी क्षमताओं में योगदान दिया है। स्रोत: https://arxiv.org/pdf/2009.09869.pdf

आईसीसीवी 2021 के लिए, एक अन्य अंतरराष्ट्रीय प्रयास ने जनरेटिव मॉडल के लिए कृत्रिम फिंगरप्रिंट संस्थापित किए, (नीचे दी गई छवि देखें) जो फिर से एक छवि सिंथेसिस GAN जैसे StyleGAN2 के आउटपुट से पुनर्प्राप्त ‘फिंगरप्रिंट’ उत्पन्न करता है।

विभिन्न चरम हेरफेर, क्रॉपिंग और चेहरा अदला-बदली के तहत भी, ProGAN के माध्यम से पारित फिंगरप्रिंट पुनर्प्राप्त किए जा सकते हैं। स्रोत: https://arxiv.org/pdf/2007.08457.pdf

विभिन्न चरम हेरफेर, क्रॉपिंग और चेहरा अदला-बदली के तहत भी, ProGAN के माध्यम से पारित फिंगरप्रिंट पुनर्प्राप्त किए जा सकते हैं। स्रोत: https://arxiv.org/pdf/2007.08457.pdf

इस अवधारणा के अन्य संस्करणों में एक 2018 परियोजना शामिल है जो आईबीएम से है और एक डिजिटल वॉटरमार्किंग योजना जो उसी वर्ष जापान से है।

अधिक अभिनव रूप से, 2021 की एक पहल ने नैनजिंग विश्वविद्यालय ऑफ एयरोनॉटिक्स एंड एस्ट्रोनॉटिक्स से प्रशिक्षण छवियों को इस तरह से ‘एनक्रिप्ट’ करने का प्रयास किया कि वे केवल अधिकृत प्रणालियों पर प्रभावी ढंग से प्रशिक्षित होंगे, लेकिन एक सामान्य छवि सिंथेसिस प्रशिक्षण पाइपलाइन में स्रोत डेटा के रूप में उपयोग किए जाने पर वे विफल हो जाएंगे।

वास्तव में, ये सभी तरीके स्टेगनोग्राफी की श्रेणी में आते हैं, लेकिन सभी मामलों में छवियों में विशिष्ट पहचान करने वाली जानकारी को इस तरह से एनकोड किया जाना चाहिए कि यह सुनिश्चित हो सके कि कोई ऑटोएनकोडर या GAN आर्किटेक्चर इसे ‘शोर’ या अप्रासंगिक डेटा के रूप में छोड़ देगा, लेकिन इसके बजाय इसे अन्य चेहरे की विशेषताओं के साथ एनकोड करेगा।

एक ही समय में, प्रक्रिया को इतना विकृत या दृश्य रूप से प्रभावित नहीं किया जा सकता है कि यह छवि को दोषपूर्ण या कम गुणवत्ता वाला माना जाए।

टीएफआईएम

अब, एक नई जर्मन अनुसंधान प्रयास (म्यूनिख तकनीकी विश्वविद्यालय और सोनी यूरोप आरडीसी स्टटगार्ट से) ने एक छवि-एनकोडिंग तकनीक का प्रस्ताव किया है जिसमें डीपफ़ेक मॉडल या StyleGAN-प्रकार के फ्रेमवर्क जो संसाधित छवियों पर प्रशिक्षित होते हैं, नीले या सफेद आउटपुट का उत्पादन करेंगे, क्रमशः।

TAFIM की कम-स्तरीय छवि विकृतियां कई संभावित प्रकार के चेहरे की विकृति/प्रतिस्थापन को संबोधित करती हैं, जो मॉडल को प्रशिक्षित छवियों से विकृत आउटपुट का उत्पादन करने के लिए मजबूर करती है, और वास्तविक समय के दृश्यों जैसे DeepFaceLive के वास्तविक समय डीपफ़ेक स्ट्रीमिंग में भी लागू होने की सूचना दी जाती है। स्रोत: https://arxiv.org/pdf/2112.09151.pdf

TAFIM की कम-स्तरीय छवि विकृतियां कई संभावित प्रकार के चेहरे की विकृति/प्रतिस्थापन को संबोधित करती हैं, जो मॉडल को प्रशिक्षित छवियों से विकृत आउटपुट का उत्पादन करने के लिए मजबूर करती है, और वास्तविक समय के दृश्यों जैसे DeepFaceLive के वास्तविक समय डीपफ़ेक स्ट्रीमिंग में भी लागू होने की सूचना दी जाती है। स्रोत: https://arxiv.org/pdf/2112.09151.pdf

लेख, TAFIM: लक्षित प्रतिकूल हमले चेहरे की छवि हेरफेर के खिलाफ, एक तंत्रिका नेटवर्क का उपयोग छवियों में बARELY-दृश्यमान विकृतियों को एनकोड करने के लिए करता है। छवियों को प्रशिक्षित और सामान्यीकृत करने के बाद एक सिंथेसिस आर्किटेक्चर में, परिणामी मॉडल स्टाइल मिक्सिंग या सीधे चेहरे की अदला-बदली में उपयोग किए जाने पर इनपुट पहचान के लिए रंगीन आउटपुट का उत्पादन करेगा।

वेब को पुनः एनकोड करना..?

हालांकि, इस मामले में, हम इस लोकप्रिय अवधारणा के नवीनतम संस्करण के विवरण की जांच करने के लिए नहीं हैं, बल्कि विचार की व्यावहारिकता पर विचार करने के लिए – विशेष रूप से स्टेबल डिफ्यूजन जैसे इमेज सिंथेसिस फ्रेमवर्क के उपयोग के बारे में बढ़ते विवाद के प्रकाश में, और इसके बाद के डाउनस्ट्रीम कानूनी परिणाम जो कि सार्वजनिक रूप से स्क्रैप की गई छवियों से व्युत्पन्न सॉफ्टवेयर को व्युत्पन्न करने से उत्पन्न होते हैं।

प्रवर्तनकारी दृष्टिकोण, जैसा कि ऊपर वर्णित है, लागत के मामले में कोई छोटा काम नहीं है। कम से कम, उन्हें मानक वेब-आधारित प्रसंस्करण पुस्तकालयों में नए और विस्तारित संपीड़न दिनचर्या को संस्थापित करने की आवश्यकता होगी, जैसे कि इमेजमैजिक, जो एक बड़ी संख्या में अपलोड प्रक्रियाओं को शक्ति प्रदान करते हैं, जिनमें कई सोशल मीडिया अपलोड इंटरफेस शामिल हैं जो मूल उपयोगकर्ता छवियों को अधिक अनुकूलित संस्करणों में परिवर्तित करने के लिए कार्य करते हैं। साझा करने और नेटवर्क वितरण के लिए।

प्राथमिक प्रश्न जो यह उठाता है वह यह है: क्या ऐसी योजना ‘आगे बढ़ने’ के लिए लागू की जाएगी, या क्या कुछ व्यापक और प्रतिकूल रूप से तैनात किया जाएगा जो ऐतिहासिक मीडिया को संबोधित करता है जो दशकों से ‘अप्रभावित’ रूप से उपलब्ध हो सकता है?

नेटफ्लिक्स जैसे प्लेटफ़ॉर्म नहीं हैं कि वे एक बैक कैटलॉग को नए कोडेक्स के साथ पुनः एनकोड करने की लागत से बचते हैं जो अधिक कुशल हो सकते हैं, या जो उपयोगकर्ता या प्रदाता लाभ प्रदान कर सकते हैं; इसी तरह, YouTube का अपनी ऐतिहासिक सामग्री को H.264 कोडेक में परिवर्तित करना, आइट्यून्स के लिए स्पष्ट रूप से एक प्रतिबंधक कार्य नहीं माना जाता था, इसके पैमाने के बावजूद।

विडंबना यह है कि यहां तक कि अगर इंटरनेट पर मीडिया सामग्री के बड़े हिस्से को प्रशिक्षण प्रतिरोधी प्रारूप में पुनः एनकोड किया जाता है, तो सीमित कैडर के प्रभावशाली कंप्यूटर विजन डेटासेट अप्रभावित रहेंगे। हालांकि, संभवतः, जो प्रणालियां उनका उपयोग अपस्ट्रीम डेटा के रूप में करती हैं, वे अपने आउटपुट की गुणवत्ता में कमी शुरू कर देंगी, क्योंकि वॉटरमार्क की गई सामग्री उनकी रूपांतरित प्रक्रियाओं के साथ हस्तक्षेप करेगी।

राजनीतिक संघर्ष

राजनीतिक रूप से, एआई विकास में पिछड़ने के लिए सरकारों के निर्णय के बीच एक स्पष्ट तनाव है, और सार्वजनिक रूप से उपलब्ध ऑडियो, वीडियो और छवि सामग्री के उपयोग के बारे में सार्वजनिक चिंता के प्रति रियायतें देने के लिए, इंटरनेट पर एक प्रचुर संसाधन के रूप में रूपांतरित एआई प्रणालियों के लिए।

आधिकारिक तौर पर, पश्चिमी सरकारें कंप्यूटर विजन अनुसंधान क्षेत्र को सार्वजनिक रूप से उपलब्ध मीडिया का उपयोग करने की अनुमति देने के लिए प्रवृत्त हैं, कम से कम इसलिए कि कुछ अधिक स्वायत्त एशियाई देशों में अपने शोध कार्यों को इस तरह से आकार देने के लिए बहुत अधिक लचीलापन है जो उनके स्वयं के प्रयासों को लाभान्वित करता है – जो कारकों में से एक है जो सुझाव देता है कि चीन एआई में वैश्विक नेता बन रहा है

अप्रैल 2022 में, अमेरिकी अपील अदालत ने पुष्टि की कि सार्वजनिक रूप से सामने आने वाले वेब डेटा अनुसंधान उद्देश्यों के लिए न्यायसंगत खेल है, लिंक्डइन के चल रहे विरोध के बावजूद, जो चाहता है कि उसके उपयोगकर्ता प्रोफाइल ऐसी प्रक्रियाओं से संरक्षित हों।

यदि एआई-प्रतिरोधी छवियां इसलिए प्रणालीगत मानक नहीं बनने जा रही हैं, तो कुछ प्रमुख प्रशिक्षण डेटा स्रोतों को ऐसी प्रणालियों को लागू करने से रोकने के लिए कुछ नहीं है ताकि उनका स्वयं का आउटपुट लेटेंट स्पेस में अनुत्पादक हो।

इस तरह के कंपनी-विशिष्ट तैनाती में मूल तत्व यह है कि छवियों को स्वाभाविक रूप से प्रशिक्षण का विरोध करना चाहिए। ब्लॉकचेन-आधारित प्रामाणिकता तकनीक और कंटेंट ऑथेंटिकिटी इनिशिएटिव जैसे आंदोलन अधिक छवियों को नकली या ‘शैली-जीएनएन’ होने के तथ्य को साबित करने से संबंधित हैं, न कि ऐसे परिवर्तनों को संभव बनाने वाले तंत्र को रोकने से।

सामान्य निरीक्षण

जबकि प्रस्तावों को ब्लॉकचेन विधियों का उपयोग करके एक स्रोत छवि की वास्तविक उत्पत्ति और उपस्थिति को प्रमाणित करने के लिए रखा गया है जो बाद में एक प्रशिक्षण डेटासेट में निगला जा सकता है, यह स्वयं प्रशिक्षण को रोकने का कोई तरीका प्रदान नहीं करता है, या किसी भी तरह से साबित नहीं करता है कि छवियां प्रशिक्षण डेटासेट में शामिल थीं।

एक वॉटरमार्किंग दृष्टिकोण में, यह महत्वपूर्ण होगा कि स्रोत छवियों के एक प्रभावशाली डेटासेट के लिए सार्वजनिक रूप से उपलब्ध होने पर निर्भर न रहें। कलाकारों के विरोध के प्रतिक्रियास्वरूप स्टेबल डिफ्यूजन की अपनी कला में उदार रूप से उनके काम को निगलने के बारे में, वेबसाइट haveibeentrained.com उपयोगकर्ताओं को छवियां अपलोड करने और जांच करने की अनुमति देती है कि क्या वे स्टेबल डिफ्यूजन को शक्ति प्रदान करने वाले LAION5B डेटासेट में शामिल होने की संभावना है:

'लेना', साहित्यिक रूप से कंप्यूटर विजन अनुसंधान के लिए पोस्टर लड़की जब तक हाल ही में, निश्चित रूप से स्टेबल डिफ्यूजन में योगदान दे रही है। स्रोत: https://haveibeentrained.com/

‘लेना’, साहित्यिक रूप से कंप्यूटर विजन अनुसंधान के लिए पोस्टर लड़की जब तक हाल ही में, निश्चित रूप से स्टेबल डिफ्यूजन में योगदान दे रही है। स्रोत: https://haveibeentrained.com/

हालांकि, लगभग सभी पारंपरिक डीपफ़ेक डेटासेट, उदाहरण के लिए, गैर-सार्वजनिक डेटाबेस में इंटरनेट से निकाले गए वीडियो और छवियों से अनौपचारिक रूप से निकाले जाते हैं, जहां केवल तंत्रिका प्रतिरोधी वॉटरमार्किंग ही विशिष्ट छवियों के उपयोग को व्युत्पन्न छवियों और वीडियो बनाने के लिए उजागर कर सकती है।

इसके अलावा, स्टेबल डिफ्यूजन उपयोगकर्ता टेक्स्टुअल इनवर्सन के माध्यम से सामग्री जोड़ना शुरू कर रहे हैं – जो आधिकारिक मॉडल चेकपॉइंट को अतिरिक्त छवि/पाठ जोड़ियों के साथ प्रशिक्षित करना जारी रखता है – जो लेआइऑन की अरबों छवियों में दिखाई नहीं देगा।

स्रोत में वॉटरमार्क एम्बेड करना

स्रोत छवि वॉटरमार्किंग का एक और अधिक चरम संभावित अनुप्रयोग व्यावसायिक कैमरों के रॉ कैप्चर आउटपुट, वीडियो या छवियों में छुपी हुई और गैर-स्पष्ट जानकारी शामिल करना है। हालांकि यह अवधारणा 2000 के दशक की शुरुआत में प्रयोग की गई थी और यहां तक कि बहुत उत्साह के साथ लागू की गई थी, जो मल्टीमीडिया पायरेसी के उभरते ‘खतरे’ के प्रति प्रतिक्रिया थी, सिद्धांत मशीन लर्निंग प्रशिक्षण प्रणालियों के लिए मीडिया सामग्री को प्रतिरोधी या प्रतिकूल बनाने के उद्देश्य के लिए भी तकनीकी रूप से लागू किया जा सकता है।

एक कार्यान्वयन, एक 1990 के दशक के पेटेंट आवेदन में, डिस्क्रीट कोसाइन ट्रांसफॉर्म का उपयोग वीडियो और स्टिल छवियों में स्टेगनोग्राफिक ‘सब-इमेज’ एम्बेड करने के लिए किया गया था, जो सुझाव देता है कि दिनचर्या ‘डिजिटल रिकॉर्डिंग उपकरणों के लिए एक निर्मित-इन सुविधा के रूप में शामिल की जा सकती है, जैसे कि स्टिल और वीडियो कैमरे।’

एक 1990 के दशक के पेटेंट आवेदन में, लेना को आवश्यकतानुसार पुनर्प्राप्त की जा सकने वाली गुप्त वॉटरमार्क से सजाया गया है। स्रोत: https://www.freepatentsonline.com/6983057.pdf

एक 1990 के दशक के पेटेंट आवेदन में, लेना को आवश्यकतानुसार पुनर्प्राप्त की जा सकने वाली गुप्त वॉटरमार्क से सजाया गया है। स्रोत: https://www.freepatentsonline.com/6983057.pdf

एक कम जटिल दृष्टिकोण यह है कि छवियों पर स्पष्ट रूप से दिखाई देने वाले वॉटरमार्क लगाना है, जो अधिकांश उपयोगकर्ताओं के लिए अप्रिय है, और कलाकारों और पेशेवर मीडिया पेशेवरों के लिए अनावश्यक है, जो स्रोत डेटा की रक्षा करने और अपनी पसंद के ब्रांडिंग या प्रतिबंध जोड़ने में सक्षम हैं (कम से कम, स्टॉक छवि कंपनियों के लिए)।

हालांकि कम से कम एक कैमरा वर्तमान में वैकल्पिक लोगो-आधारित वॉटरमार्क लगाने की अनुमति देता है जो एक व्युत्पन्न एआई मॉडल में अनधिकृत उपयोग का संकेत दे सकता है, लोगो हटाना एआई के माध्यम से बहुत ही आसान हो गया है, और यहां तक कि सामान्य रूप से व्यावसायिक भी।

 

पहली बार 25 सितंबर 2022 को प्रकाशित।

मशीन लर्निंग पर लेखक, मानव इमेज सिंथेसिस में डोमेन विशेषज्ञ। मेटाफिजिक.ai में रिसर्च कंटेंट के पूर्व प्रमुख, जब तक कि इसका डीएनजीई के ब्रह्मा.ai में विलय नहीं हो गया।
पोर्टफोलियो साइट: martinanderson.ai
संपर्क: martin@martinanderson.ai