एक नए पीढ़ी के डीपफेक के लिए फोरेंसिक डेटा विधि

हालांकि निजी व्यक्तियों का डीपफेकिंग एक बढ़ती सार्वजनिक चिंता बन गया है और विभिन्न क्षेत्रों में इसके खिलाफ कानून बनाए जा रहे हैं, लेकिन अभी भी यह साबित करना बहुत मुश्किल है कि एक उपयोगकर्ता-निर्मित मॉडल – जैसे कि बदला लेने वाली पोर्नोग्राफी को सक्षम करने वाला – विशेष रूप से एक विशिष्ट व्यक्ति की छवियों पर प्रशिक्षित किया गया था।

समस्या को संदर्भ में रखने के लिए: एक डीपफेक हमले का एक प्रमुख तत्व यह दावा करना है कि एक छवि या वीडियो एक विशिष्ट व्यक्ति को दर्शाता है। किसी व्यक्ति को पहचान #ए के रूप में पहचानने के लिए पर्याप्त है, न कि केवल एक समान दिखने वाले व्यक्ति के रूप में, और यह नुकसान पहुंचा सकता है, और इस स्थिति में किसी भी एआई की आवश्यकता नहीं है।

हालांकि, यदि एक हमलावर वास्तविक व्यक्ति के डेटा पर प्रशिक्षित मॉडल का उपयोग करके एआई छवियों या वीडियो बनाता है, तो सोशल मीडिया और खोज इंजन की चेहरा पहचान प्रणाली स्वचालित रूप से नकली सामग्री को पीड़ित से जोड़ देगी – बिना पोस्ट में नामों या मेटाडेटा की आवश्यकता के। एआई-जनित दृश्यों के लिए पर्याप्त संघ है।

जितना अधिक व्यक्ति की उपस्थिति विशिष्ट होगी, यह उतना ही अपरिहार्य हो जाएगा, जब तक कि नकली सामग्री छवि खोजों में दिखाई न दे और अंततः पीड़ित तक पहुंच जाए।

आमने-सामने

पहचान-केंद्रित मॉडल को वितरित करने का सबसे सामान्य तरीका वर्तमान में लो-रैंक अनुकूलन (लोरा) के माध्यम से है, जिसमें उपयोगकर्ता कुछ घंटों के लिए एक बड़े फाउंडेशन मॉडल जैसे स्टेबल डिफ्यूजन (मुख्य रूप से स्थिर छवियों के लिए) या हुन्युआन वीडियो के विरुद्ध कुछ छवियों को प्रशिक्षित करता है। वीडियो डीपफेक के लिए।

लोरा के सबसे सामान्य लक्ष्य में महिला हस्तियां शामिल हैं, जिनकी प्रसिद्धि उन्हें इस तरह के व्यवहार के लिए खुला बनाती है, जो ‘अज्ञात’ पीड़ितों की तुलना में कम सार्वजनिक आलोचना के साथ होता है, क्योंकि यह माना जाता है कि ऐसे व्युत्पन्न कार्य ‘उचित उपयोग’ के तहत आते हैं (कम से कम यूएसए और यूरोप में)।

महिला हस्तियां सिविट.एआई पोर्टल पर लोरा और ड्रीमबूथ सूचियों में प्रमुख हैं। सबसे लोकप्रिय लोरा वर्तमान में 66,000 से अधिक डाउनलोड हैं, जो कि इस बात को देखते हुए काफी है कि यह एआई का उपयोग अभी भी एक ‘फ्रिंज’ गतिविधि के रूप में देखा जाता है।

हालांकि, दोनों परिदृश्यों में, लक्ष्य पहचान के लिए उपयोग किए जाने वाले मॉडल ने अपने प्रशिक्षण डेटा को इतनी अच्छी तरह से अपने लेटेंट स्पेस में समाहित कर लिया है कि यह पता लगाना मुश्किल हो जाता है कि कौन सी स्रोत छवियों का उपयोग किया गया था।

यदि यह संभव हो था एक स्वीकार्य मार्जिन ऑफ एरर के भीतर, तो यह उन लोगों के खिलाफ मामला चलाने की अनुमति देगा जो लोरा साझा करते हैं, क्योंकि यह न केवल एक विशिष्ट पहचान (यानी, एक विशिष्ट ‘अज्ञात’ व्यक्ति की) को डीपफेक करने के इरादे को साबित करता है, बल्कि अपलोडर को भी कॉपीराइट उल्लंघन के आरोपों के लिए खोल देता है, जहां लागू हो।

बाद वाला उन क्षेत्राधिकारों में उपयोगी होगा जहां डीपफेकिंग प्रौद्योगिकियों के नियमन में कमी है या पिछड़ रहा है।

ओवर-एक्सपोज्ड

एक फाउंडेशन मॉडल को प्रशिक्षित करने का उद्देश्य, जैसे कि हगिंग फेस से डाउनलोड किए गए बहुत बड़े बेस मॉडल, यह है कि मॉडल अच्छी तरह से सामान्य हो जाए और लचीला हो। इसमें पर्याप्त विविध छवियों पर प्रशिक्षण शामिल है, और उपयुक्त सेटिंग्स के साथ, और मॉडल ‘ओवरफिट’ होने से पहले प्रशिक्षण समाप्त करना शामिल है।

एक ओवरफिट मॉडल ने प्रशिक्षण प्रक्रिया के दौरान डेटा को इतनी बार (अत्यधिक) देखा है कि यह छवियों को पुन: उत्पन्न करने की प्रवृत्ति रखता है जो बहुत समान हैं, जिससे प्रशिक्षण डेटा का स्रोत उजागर हो जाता है।

स्टेबल डिफ्यूजन वी1.5 मॉडल में ‘एएन ग्राहम लोट्ज’ पहचान को लगभग पूरी तरह से पुन: उत्पन्न किया जा सकता है। पुनर्निर्माण ऊपर दी गई छवि में बाईं ओर प्रशिक्षण डेटा के समान है। स्रोत: https://arxiv.org/pdf/2301.13188

हालांकि, ओवरफिट मॉडल आमतौर पर उनके निर्माताओं द्वारा त्याग दिए जाते हैं और वितरित नहीं किए जाते हैं, क्योंकि वे किसी भी मामले में अपने उद्देश्य के लिए उपयुक्त नहीं हैं। इसलिए यह एक असंभावित फोरेंसिक ‘विंडफॉल’ है। किसी भी मामले में, यह सिद्धांत मुख्य रूप से फाउंडेशन मॉडल के महंगे और उच्च-वॉल्यूम प्रशिक्षण पर लागू होता है, जहां एक ही छवि के कई संस्करण जो एक बड़े स्रोत डेटासेट में घुस गए हैं, कुछ प्रशिक्षण छवियों कोinvoke करना आसान बना सकते हैं (ऊपर दी गई छवि और उदाहरण देखें)।

चीजें लोरा और ड्रीमबूथ मॉडल (हालांकि ड्रीमबूथ को बड़े फ़ाइल आकार के कारण फैशन से बाहर कर दिया गया है) के मामले में थोड़ी अलग हैं। यहां, उपयोगकर्ता एक विषय की बहुत सीमित संख्या में विविध छवियों का चयन करता है, और इन्हें एक लोरा प्रशिक्षित करने के लिए उपयोग करता है।

बाएं, हुन्युआन वीडियो लोरा का आउटपुट। दाएं, जिस डेटा ने समानता को संभव बनाया (चित्रित व्यक्ति की अनुमति से उपयोग की जाने वाली छवियां)

अक्सर लोरा में एक प्रशिक्षित-इन ट्रिगर-शब्द होगा, जैसे कि [हस्ती का नाम]। हालांकि, अक्सर विशेष रूप से प्रशिक्षित विषय बिना ऐसे प्रॉम्प्ट के भी उत्पन्न आउटपुट में दिखाई देगा, क्योंकि एक अच्छी तरह से संतुलित (यानी, ओवरफिट नहीं) लोरा अपने प्रशिक्षण सामग्री पर थोड़ा ‘फिक्स्ड’ होता है, और इसमें अपने आउटपुट में शामिल करने की प्रवृत्ति होती है।

यह पूर्वाग्रह, साथ ही लोरा डेटासेट के लिए इष्टतम छवि संख्या की सीमितता, मॉडल को फोरेंसिक विश्लेषण के लिए उजागर करता है, जैसा कि हम देखेंगे।

डेटा का पर्दाफाश

इन मामलों को डेनमार्क से एक नए शोध पत्र में संबोधित किया गया है, जो एक ब्लैक-बॉक्स मेम्बरशिप इन्फरेंस अटैक (एमआईए) में स्रोत छवियों (या स्रोत छवियों के समूह) की पहचान करने के लिए एक विधि प्रदान करता है। तकनीक में कम से कम एक हिस्से में कस्टम-प्रशिक्षित मॉडल का उपयोग शामिल है जो स्रोत डेटा को उजागर करने में मदद करने के लिए अपने स्वयं के ‘डीपफेक’ बनाते हैं:

नई दृष्टिकोण से उत्पन्न ‘नकली’ छवियों के उदाहरण, क्लासिफायर-फ्री गाइडेंस (सीएफजी) के बढ़ते स्तर पर, विनाश बिंदु तक। स्रोत: https://arxiv.org/pdf/2502.11619

हालांकि काम, जिसका शीर्षक फेस इमेज के लिए फाइन-ट्यून्ड लेटेंट डिफ्यूजन मॉडल के खिलाफ मेम्बरशिप इन्फरेंस अटैक है, इस विशिष्ट विषय के आसपास के साहित्य में एक सबसे दिलचस्प योगदान है, यह भी एक असुलभ और संक्षिप्त में लिखा गया पत्र है जिसे काफी डिकोडिंग की आवश्यकता है। इसलिए, हम यहां परियोजना के पीछे के मूल सिद्धांतों को कवर करेंगे, साथ ही परिणामों का एक चयन भी।

वास्तव में, यदि कोई आपके चेहरे पर एक एआई मॉडल को फाइन-ट्यून करता है, तो लेखकों की विधि यह साबित करने में मदद कर सकती है कि मॉडल के उत्पन्न छवियों में स्मृति के संकेत हैं।

पहले चरण में, एक लक्ष्य एआई मॉडल को चेहरे की छवियों के एक डेटासेट पर फाइन-ट्यून किया जाता है, जिससे यह अपने आउटपुट में उन छवियों से विवरण को पुन: उत्पन्न करने की संभावना बढ़ जाती है। इसके बाद, एक क्लासिफायर अटैक मोड को प्रशिक्षित किया जाता है जो लक्ष्य मॉडल से एआई-उत्पन्न छवियों का उपयोग ‘सकारात्मक’ (संदिग्ध सदस्य) के रूप में करता है और अन्य छवियों को ‘नकारात्मक’ (गैर-सदस्य) के रूप में उपयोग करता है।

इन समूहों के बीच सूक्ष्म अंतरों को सीखकर, हमला मॉडल यह भविष्यवाणी कर सकता है कि क्या एक दी गई छवि मूल फाइन-ट्यूनिंग डेटासेट का हिस्सा थी।

हमला विशेष रूप से तब प्रभावी होता है जब एआई मॉडल को व्यापक रूप से फाइन-ट्यून किया जाता है, जिसका अर्थ है कि जितना अधिक मॉडल विशेषज्ञता प्राप्त करता है, उतना ही यह पता लगाना आसान हो जाता है कि क्या कुछ विशिष्ट छवियों का उपयोग किया गया था। यह आमतौर पर लोरा के लिए लागू होता है जो हस्तियों या निजी व्यक्तियों की नकल करने के लिए डिज़ाइन किए गए हैं।

लेखकों ने यह भी पाया कि प्रशिक्षण छवियों में दिखाई देने वाले वॉटरमार्क जोड़ने से पता लगाने में मदद मिलती है – हालांकि छिपे हुए वॉटरमार्क उतने मददगार नहीं होते हैं।

यह दृष्टिकोण एक ब्लैक-बॉक्स सेटिंग में परीक्षण किया गया है, जिसका अर्थ है कि यह मॉडल के आंतरिक विवरणों तक पहुंच के बिना काम करता है, केवल इसके आउटपुट का उपयोग करता है।

विधि कंप्यूटेशनल रूप से तीव्र है, जैसा कि लेखक स्वीकार करते हैं; हालांकि, इस काम का मूल्य यह दिशा में अतिरिक्त शोध की ओर संकेत करना है, और यह साबित करना है कि डेटा को वास्तविक रूप से एक स्वीकार्य सीमा तक निकाला जा सकता है; इसलिए, इसकी मूलभूत प्रकृति को देखते हुए, इसे इस चरण में एक स्मार्टफोन पर चलाने की आवश्यकता नहीं है।

विधि/डेटा

अध्ययन में तकनीकी विश्वविद्यालय डेनमार्क (DTU, पत्र के तीन शोधकर्ताओं के मेजबान संस्थान) से कई डेटासेट का उपयोग किया गया था, लक्ष्य मॉडल को फाइन-ट्यून करने और हमला मोड को प्रशिक्षित और परीक्षण करने के लिए:

डीएसईएनडीटीयू बेस इमेज सेट।

डीडीटीयू डीटीयू ऑर्बिट से स्क्रैप की गई छवियां।

डीएसईएनडीटीयू लक्ष्य मॉडल को फाइन-ट्यून करने के लिए डीडीटीयू का एक भाग।

डनसीनडीटीयू एक भाग डीडीटीयू जिसका उपयोग किसी भी छवि पीढ़ी मॉडल को फाइन-ट्यून करने के लिए नहीं किया गया था, लेकिन इसके बजाय हमला मॉडल को प्रशिक्षित या परीक्षण करने के लिए उपयोग किया जाता है।

वीएमडीएसईएनडीटीयू डीडीटीयू का एक भाग जिसमें दिखाई देने वाले वॉटरमार्क हैं जो लक्ष्य मॉडल को फाइन-ट्यून करने के लिए उपयोग किया जाता है।

एचडब्ल्यूएमडीएसईएनडीटीयू डीडीटीयू का एक भाग जिसमें छिपे हुए वॉटरमार्क हैं जो लक्ष्य मॉडल को फाइन-ट्यून करने के लिए उपयोग किया जाता है।

डीजेनडीटीयू एक लेटेंट डिफ्यूजन मॉडल (एलडीएम) द्वारा उत्पन्न छवियां जो डीएसईएनडीटीयू छवि सेट पर फाइन-ट्यून की गई हैं।

प्रशिक्षण डेटासेट में छवि-पाठ जोड़े शामिल हैं जो बीएलआईपी कैप्शनिंग मॉडल द्वारा कैप्शन किए गए हैं (शायद आकस्मिक नहीं है कि यह अनकेंसर्ड मॉडल कस्यूल एआई समुदाय में सबसे लोकप्रिय में से एक है)।

बीएलआईपी को प्रत्येक विवरण से पहले ‘एक डीटीयू हेडशॉट ऑफ ए’ जोड़ने के लिए सेट किया गया था।

इसके अलावा, कई डेटासेट को एएयू वीबीएन कॉर्पस से आalborg विश्वविद्यालय (एएयू) से निकाला गया था:

डीएएयू एएयू वीबीएन से स्क्रैप की गई छवियां।

डीएसईएनएएयू लक्ष्य मॉडल को फाइन-ट्यून करने के लिए डीएएयू का एक भाग।

डनसीनएएयू एक भाग डीएएयू जिसका उपयोग किसी भी छवि पीढ़ी मॉडल को फाइन-ट्यून करने के लिए नहीं किया गया था, लेकिन इसके बजाय हमला मॉडल को प्रशिक्षित या परीक्षण करने के लिए उपयोग किया जाता है।

डीजेनएएयू एक एलडीएम द्वारा उत्पन्न छवियां जो डीएसईएनएएयू छवि सेट पर फाइन-ट्यून की गई हैं।

पहले के सेट के समान, ‘एक एएयू हेडशॉट ऑफ ए’ वाक्यांश का उपयोग किया गया था। यह सुनिश्चित करने के लिए कि डीटीयू डेटासेट में सभी लेबल ‘एक डीटीयू हेडशॉट ऑफ ए (…)’ प्रारूप का पालन करते हैं, फाइन-ट्यूनिंग के दौरान डेटासेट की मूल विशेषताओं को मजबूत करते हैं।

परीक्षण

लक्ष्य मॉडल के खिलाफ सदस्यता अनुमान हमलों का मूल्यांकन करने के लिए कई प्रयोग किए गए थे। प्रत्येक परीक्षण यह निर्धारित करने का लक्ष्य था कि क्या यह योजना के भीतर एक सफल हमला संभव था, जहां लक्ष्य मॉडल एक छवि डेटासेट पर फाइन-ट्यून किया गया था जो अनधिकृत रूप से प्राप्त किया गया था।

दृष्टिकोण की योजना।

लक्ष्य मॉडल को आउटपुट छवियों को उत्पन्न करने के लिए प्रशिक्षित किया गया था, और फिर इन छवियों का उपयोग हमला मॉडल को प्रशिक्षित करने के लिए ‘सकारात्मक’ उदाहरणों के रूप में किया गया था, जबकि अन्य असंबंधित छवियों को ‘नकारात्मक’ उदाहरणों के रूप में शामिल किया गया था।

हमला मॉडल को पर्यवेक्षित शिक्षा का उपयोग करके प्रशिक्षित किया गया था और फिर नए छवियों पर परीक्षण किया गया ताकि यह निर्धारित किया जा सके कि क्या वे मूल रूप से लक्ष्य मॉडल को फाइन-ट्यून करने के लिए उपयोग किए गए डेटासेट का हिस्सा थे। हमले की सटीकता का मूल्यांकन करने के लिए, परीक्षण डेटा का 15% मान्यकरण के लिए अलग रखा गया था।

चूंकि लक्ष्य मॉडल एक ज्ञात डेटासेट पर फाइन-ट्यून किया गया था, इसलिए प्रशिक्षण डेटा के लिए हमला मॉडल का निर्माण करते समय प्रत्येक छवि की वास्तविक सदस्यता स्थिति पहले से ही स्थापित थी। यह नियंत्रित सेटअप हमला मॉडल की प्रभावशीलता का एक स्पष्ट मूल्यांकन करने की अनुमति देता है।

इन परीक्षणों के लिए स्टेबल डिफ्यूजन वी1.5 का उपयोग किया गया था। हालांकि यह मॉडल काफी पुराना है और शोध में इसका अक्सर उपयोग किया जाता है क्योंकि यह एक सुसंगत परीक्षण के लिए और पिछले काम के व्यापक निगम के कारण आवश्यक है, यह एक उपयुक्त उपयोग का मामला है; वी1.5 स्टेबल डिफ्यूजन शौकीन समुदाय में लोरा निर्माण के लिए लोकप्रिय रहा, इसके बावजूद बाद के संस्करणों के कई रिलीज़ हुए, और यहां तक कि फ्लक्स के आगमन के बावजूद – क्योंकि मॉडल पूरी तरह से अनकेंसर्ड है।

शोधकर्ताओं का हमला मॉडल रेसनेट-18 पर आधारित था, जिसमें मॉडल के प्रीट्रेन्ड वेट्स को बनाए रखा गया था। रेसनेट-18 की 1000-न्यूरॉन अंतिम परत को दो न्यूरॉन्स के साथ एक पूरी तरह से जुड़ी हुई परत से बदल दिया गया था। प्रशिक्षण नुकसान श्रेणीबद्ध क्रॉस-एंट्रोपी था, और एडम ऑप्टिमाइज़र का उपयोग किया गया था।

प्रत्येक परीक्षण के लिए, हमला मॉडल को पांच बार विभिन्न रैंडम सीड का उपयोग करके प्रशिक्षित किया गया था ताकि मुख्य मेट्रिक्स के लिए 95% आत्मविश्वास अंतराल की गणना की जा सके। जीरो-शॉट वर्गीकरण क्लिप मॉडल का उपयोग बेसलाइन के रूप में किया गया था।

(कृपया ध्यान दें कि पत्र में मूल प्राथमिक परिणाम तालिका संक्षिप्त और असामान्य रूप से कठिन है समझने के लिए। इसलिए, मैंने इसे नीचे एक अधिक उपयोगकर्ता-मित्री शैली में पुन: लिखा है। कृपया छवि पर क्लिक करें इसे बेहतर रिज़ॉल्यूशन में देखने के लिए)

सभी परीक्षणों के परिणामों का सारांश। छवि पर क्लिक करें इसे उच्च रिज़ॉल्यूशन में देखने के लिए

शोधकर्ताओं की हमला विधि फाइन-ट्यून किए गए मॉडल पर सबसे प्रभावी साबित हुई, विशेष रूप से उन लोगों पर जो एक विशिष्ट सेट của छवियों पर प्रशिक्षित किए गए थे, जैसे कि एक व्यक्ति का चेहरा। हालांकि, जबकि हमला यह निर्धारित कर सकता है कि क्या एक डेटासेट का उपयोग किया गया था, यह विशिष्ट छवियों को डेटासेट के भीतर पहचानने में संघर्ष करता है।

व्यावहारिक रूप से, बाद वाला एक निजी व्यक्ति (एक हस्ती नहीं) पर हमलावर के लिए एक बाधा नहीं है; जबकि एक प्रसिद्ध डेटासेट जैसे इमेजनेट का उपयोग किया जाना स्थापित करने में बहुत कम मूल्य है, एक निजी व्यक्ति पर हमलावर के पास उपलब्ध डेटा समूहों का शोषण करने के लिए कम विकल्प होंगे, जैसे कि सोशल मीडिया एल्बम और अन्य ऑनलाइन संग्रह। ये एक ‘हैश’ बनाते हैं जिसे वर्णित तरीकों से उजागर किया जा सकता है।

पत्र में यह भी उल्लेख किया गया है कि सटीकता में सुधार करने का एक और तरीका यह है कि एआई-उत्पन्न छवियों का उपयोग ‘नॉन-मेंबर’ के रूप में किया जाए, न कि केवल वास्तविक छवियों पर भरोसा किया जाए। इससे परिणामों को भ्रमित करने वाली कृत्रिम रूप से उच्च सफलता दर से बचा जा सकता है।

एक अतिरिक्त कारक जो महत्वपूर्ण रूप से पता लगाने को प्रभावित करता है, लेखकों का उल्लेख है, वॉटरमार्किंग है। जब प्रशिक्षण छवियों में दिखाई देने वाले वॉटरमार्क होते हैं, तो हमला अत्यधिक प्रभावी हो जाता है, जबकि छिपे हुए वॉटरमार्क बहुत कम लाभ प्रदान करते हैं।

सबसे दाईं ओर की छवि परीक्षण में उपयोग किए जाने वाले वास्तविक ‘छिपे हुए’ वॉटरमार्क को दिखाती है।

अंत में, टेक्स्ट-टू-इमेज जेनरेशन में मार्गदर्शन का स्तर भी एक भूमिका निभाता है, जिसमें लगभग 8 के मार्गदर्शन स्केल पर आदर्श संतुलन पाया जाता है। यहां तक कि जब कोई सीधा प्रॉम्प्ट नहीं दिया जाता है, तो एक फाइन-ट्यून किया गया मॉडल अभी भी अपने प्रशिक्षण डेटा के समान आउटपुट का उत्पादन करने की प्रवृत्ति रखता है, जिससे हमले की प्रभावशीलता बढ़ जाती है।

निष्कर्ष

यह दुर्भाग्यपूर्ण है कि यह दिलचस्प पत्र इतने असुलभ तरीके से लिखा गया है, क्योंकि यह गोपनीयता के हामी और आकस्मिक एआई शोधकर्ताओं दोनों के लिए कुछ हद तक रुचि का होना चाहिए।

हालांकि सदस्यता अनुमान हमले डीपफेक का पता लगाने के लिए एक दिलचस्प और फलदायी फोरेंसिक उपकरण साबित हो सकते हैं, यह शायद अधिक महत्वपूर्ण है कि इस शोध शाखा को लागू करने योग्य व्यापक सिद्धांतों का विकास करना चाहिए, ताकि यह उसी खेल में न पड़ जाए जो डीपफेक का पता लगाने के लिए हुआ है, जब एक नए मॉडल की रिलीज़ पता लगाने और समान फोरेंसिक प्रणालियों को प्रभावित करती है।

चूंकि इस नए शोध में एक उच्च-स्तरीय मार्गदर्शक सिद्धांत के साक्ष्य हैं, हमें उम्मीद है कि हम इस दिशा में अधिक काम देखेंगे।

पहली बार शुक्रवार, 21 फरवरी, 2025 को प्रकाशित