फाइन-ट्यून किए गए स्टेबल डिफ्यूजन मॉडल से प्रशिक्षण डेटा निकालना

संयुक्त राज्य अमेरिका से नए शोध में एक तरीका प्रस्तुत किया गया है जिससे फाइन-ट्यून किए गए मॉडल से प्रशिक्षण डेटा के महत्वपूर्ण हिस्सों को निकाला जा सकता है।

यह संभावित रूप से उन मामलों में कानूनी साक्ष्य प्रदान कर सकता है जहां किसी कलाकार की शैली की नकल की गई है या जहां सार्वजनिक हस्तियों, आईपी-संरक्षित पात्रों या अन्य सामग्री के लिए प्रशिक्षित जनरेटिव मॉडल के लिए कॉपीराइटेड छवियों का उपयोग किया गया है।

नई पेपर से: ऊपरी पंक्ति में मूल प्रशिक्षण छवियां देखी जा सकती हैं, और नीचे की पंक्ति में निकाली गई छवियां दिखाई गई हैं। स्रोत: https://arxiv.org/pdf/2410.03039

ऐसे मॉडल व्यापक रूप से और मुफ्त में इंटरनेट पर उपलब्ध हैं, मुख्य रूप से विशाल उपयोगकर्ता-योगदान वाले सिविटाई के संग्रह के माध्यम से, और हगिंग फेस रिपॉजिटरी प्लेटफ़ॉर्म पर कम सीमा तक।

शोधकर्ताओं द्वारा विकसित नया मॉडल फाइनएक्सट्रैक्ट नामक है, और लेखकों का दावा है कि यह इस कार्य में राज्य-ऑफ-द-आर्ट परिणाम प्राप्त करता है।

पेपर में कहा गया है:

‘[हमारा फ्रेमवर्क] प्रभावी ढंग से सार्वजनिक रूप से उपलब्ध डीएम फाइन-ट्यून चेकपॉइंट्स से फाइन-ट्यूनिंग डेटा निकालने की चुनौती का समाधान करता है। प्रीट्रेन्ड डीएम वितरण से फाइन-ट्यूनिंग डेटा वितरण तक संक्रमण का लाभ उठाकर, फाइनएक्सट्रैक्ट उच्च-संभावना क्षेत्रों की ओर पीढ़ी प्रक्रिया को सटीक रूप से निर्देशित करता है, जिससे डेटा निकालने में सफलता मिलती है।’

दूर-दाएं, प्रशिक्षण में उपयोग की गई मूल छवि। दूसरे से दाएं, फाइनएक्सट्रैक्ट के माध्यम से निकाली गई छवि। अन्य स्तंभ पिछले तरीकों का प्रतिनिधित्व करते हैं। कृपया बेहतर रिज़ॉल्यूशन के लिए स्रोत पेपर देखें।

यह क्यों महत्वपूर्ण है

पाठ से छवि उत्पन्न करने वाले जनरेटिव सिस्टम के लिए स्टेबल डिफ्यूजन और फ्लक्स जैसे मूल प्रशिक्षित मॉडल को डाउनलोड किया जा सकता है और उपयोगकर्ताओं द्वारा फाइन-ट्यून किया जा सकता है, 2022 के ड्रीमबूथ कार्यान्वयन जैसी तकनीकों का उपयोग करके।

इसके अलावा, उपयोगकर्ता एक बहुत छोटा लोरा मॉडल बना सकता है जो एक पूरी तरह से फाइन-ट्यून किए गए मॉडल के लगभग समान प्रभावी होता है।

सिविटाई साइट पर मुफ्त डाउनलोड के लिए एक प्रशिक्षित लोरा का एक उदाहरण। ऐसा मॉडल स्थानीय रूप से स्थापित खुले स्रोत सॉफ्टवेयर का उपयोग करके उत्साही लोगों द्वारा कुछ मिनटों से लेकर कुछ घंटों तक बनाया जा सकता है – और ऑनलाइन, कुछ अधिक अनुमति देने वाले एपीआई-चालित प्रशिक्षण प्रणालियों के माध्यम से। स्रोत: civitai.com

2018 के बाद से, यह बहुत आसान हो गया है कि उपयोगकर्ता केवल 5-50 कैप्शन वाली छवियों को प्रदान करके पहचान-विशिष्ट फाइन-ट्यून चेकपॉइंट और लोरा बना सकते हैं, और स्थानीय रूप से खुले स्रोत फ्रेमवर्क जैसे कोह्या एसएस पर, या ऑनलाइन सेवाओं का उपयोग करके चेकपॉइंट (या लोरा) को प्रशिक्षित करें।

इस प्रकार के गहरे नकल को मीडिया में बहुत प्रसिद्धि मिली है और कई कलाकारों का काम जनरेटिव मॉडल में शामिल किया गया है जो उनकी शैली की नकल करते हैं।

वास्तविक कलाकारों की नकल करने वाले एआई सिस्टम बनाने की आसानी के कारण पिछले दो वर्षों में विवाद और विभिन्न अभियान हुए हैं। स्रोत: https://www.technologyreview.com/2022/09/16/1059598/this-artist-is-dominating-ai-generated-art-and-hes-not-happy-about-it/

यह साबित करना मुश्किल है कि कौन सी छवियों का उपयोग एक फाइन-ट्यून चेकपॉइंट या लोरा में किया गया था, क्योंकि सामान्यीकरण प्रक्रिया छोटे प्रशिक्षण डेटासेट से पहचान को “अभिव्यक्त” करती है, और यह संभावना नहीं है कि यह प्रशिक्षण डेटा (ओवरफिटिंग के मामले में छोड़कर) को फिर से बना पाएगी।

यहीं पर फाइनएक्सट्रैक्ट काम आता है। शोधकर्ताओं ने उपयोगकर्ता द्वारा डाउनलोड किए गए ‘टेम्पलेट’ डिफ्यूजन मॉडल और बाद में फाइन-ट्यूनिंग या लोरा के माध्यम से बनाए गए मॉडल की तुलना करके, उन्होंने प्रशिक्षण डेटा के उच्च-सटीक पुनर्निर्माण को प्राप्त किया है।

हालांकि फाइनएक्सट्रैक्ट को फाइन-ट्यून से केवल 20% डेटा को पुनर्प्राप्त करने में सफलता मिली है, यह आमतौर पर साबित करने के लिए पर्याप्त है कि उपयोगकर्ता ने सार्वजनिक हस्तियों, आईपी-संरक्षित पात्रों या अन्य सामग्री के लिए प्रशिक्षित जनरेटिव मॉडल के निर्माण में कॉपीराइटेड या संरक्षित सामग्री का उपयोग किया है।

चूंकि कैप्शन की आवश्यकता स्रोत छवियों को निकालने के लिए होती है, यह एक बड़ी बाधा नहीं है क्योंकि अपलोडर आमतौर पर समुदाय के बीच मॉडल के उपयोग को सुविधाजनक बनाना चाहता है और आमतौर पर उपयुक्त प्रॉम्प्ट उदाहरण प्रदान करेगा।

महत्वपूर्ण कीवर्ड आमतौर पर एक यादृच्छिक प्रॉम्प्ट से 1000 पुनरावृत्तियों पर एल2-पीजीडी हमले का उपयोग करके फाइन-ट्यून मॉडल से अंधेरे से निकाले जा सकते हैं।

उपयोगकर्ता अक्सर अपने प्रशिक्षण डेटासेट को प्रशिक्षित मॉडल के साथ उपलब्ध नहीं कराते हैं। शोध के लिए, लेखकों ने मशीन लर्निंग उत्साही लोगों के साथ सहयोग किया जिन्होंने वास्तव में डेटासेट प्रदान किए।

नई पेपर का शीर्षक अदृश्य को उजागर करना: व्यक्तिगत डिफ्यूजन मॉडल को प्रशिक्षण डेटा को उजागर करने के लिए मार्गदर्शन है, और यह तीन शोधकर्ताओं से कार्नेगी मेलन और पुर्दू विश्वविद्यालय से आया है।

विधि

‘हमलावर’ (इस मामले में, फाइनएक्सट्रैक्ट सिस्टम) मूल और फाइन-ट्यून किए गए मॉडल के साथ अनुमानित डेटा वितरण की तुलना करता है, जिस प्रक्रिया को लेखक ‘मॉडल मार्गदर्शन’ कहते हैं।

शोधकर्ताओं द्वारा विकसित ‘मॉडल मार्गदर्शन’ के माध्यम से, फाइन-ट्यूनिंग विशेषताओं को मैप किया जा सकता है, जिससे प्रशिक्षण डेटा को निकालने में मदद मिलती है।

लेखकों का कहना है:

‘फाइन-ट्यूनिंग प्रक्रिया के दौरान, [डिफ्यूजन मॉडल] अपने सीखे हुए वितरण को प्रीट्रेन्ड डीएम्स के [वितरण] से फाइन-ट्यून डेटा [वितरण] की ओर प्रगतिशील रूप से स्थानांतरित करते हैं।

‘इस प्रकार, हम फाइन-ट्यून किए गए [डिफ्यूजन मॉडल] के सीखे हुए वितरण को पारामीट्रिक रूप से अनुमानित करते हैं।’

इस तरह, मूल और फाइन-ट्यून किए गए मॉडल के बीच का अंतर मार्गदर्शन प्रक्रिया प्रदान करता है।

लेखकों का आगे कहना है:

‘मॉडल मार्गदर्शन के साथ, हम एक “प्सेवдо-“[डीनोइज़र] का अनुकरण कर सकते हैं, जिसका उपयोग फाइन-ट्यून किए गए डेटा वितरण के भीतर उच्च-संभावना क्षेत्रों की ओर नमूना प्रक्रिया को निर्देशित करने के लिए किया जा सकता है।’

मार्गदर्शन आंशिक रूप से 2023 के आउटिंग डिफ्यूजन मॉडल से अवधारणाओं को मिटाना के समान एक समय-परिवर्तनशील शोर प्रक्रिया पर निर्भर करता है।

प्राप्त डीनोइज़िंग भविष्यवाणी भी एक संभावित क्लासिफायर-मुक्त मार्गदर्शन (CFG) स्केल प्रदान करती है। यह महत्वपूर्ण है, क्योंकि CFG चित्र की गुणवत्ता और उपयोगकर्ता के पाठ प्रॉम्प्ट की विश्वसनीयता को काफी प्रभावित करता है।

सटीकता में सुधार के लिए निकाली गई छवियों को फाइनएक्सट्रैक्ट 2023 के प्रसिद्ध सहयोग डिफ्यूजन मॉडल से प्रशिक्षण डेटा निकालना पर निर्भर करता है। उपयोग की जाने वाली विधि प्रत्येक जोड़ी की उत्पन्न छवियों के बीच समानता की गणना करना है, जो स्व-पर्यवेक्षित विवरणक (एसएससीडी) स्कोर द्वारा परिभाषित सीमा के आधार पर है।

इस तरह, क्लस्टरिंग एल्गोरिदम फाइनएक्सट्रैक्ट को प्रशिक्षण डेटा के साथ मेल खाने वाली निकाली गई छवियों के उपसंचय की पहचान करने में मदद करता है।

इस मामले में, शोधकर्ताओं ने उन उपयोगकर्ताओं के साथ सहयोग किया जिन्होंने डेटा उपलब्ध कराया था। यह कहा जा सकता है कि, ऐसे डेटा के अभाव में, यह साबित करना असंभव होगा कि कोई विशिष्ट उत्पन्न छवि वास्तव में मूल में प्रशिक्षण में उपयोग की गई थी। हालांकि, अब यह tương đối आसान है कि अपलोड की गई छवियों को या तो वेब पर लाइव छवियों के खिलाफ मिलाया जाए या छवियों के साथ जो ज्ञात और प्रकाशित डेटासेट में हों, केवल छवि सामग्री के आधार पर।

डेटा और परीक्षण

फाइनएक्सट्रैक्ट का परीक्षण करने के लिए, लेखकों ने परियोजना के दायरे में दो सबसे सामान्य फाइन-ट्यूनिंग परिदृश्यों में से प्रत्येक में थोड़े-शॉट फाइन-ट्यून किए गए मॉडल पर प्रयोग किए: कलात्मक शैलियां, और वस्तु-संचालित पीढ़ी (जो मुख्य रूप से चेहरे आधारित विषयों को शामिल करती है)।

उन्होंने विकीआर्ट डेटासेट से प्रत्येक के लिए 10 छवियों के साथ 20 कलाकारों और ड्रीमबूथ डेटासेट से 5-6 छवियों के साथ 30 विषयों को यादृच्छिक रूप से चुना।

ड्रीमबूथ और लोरा लक्षित फाइन-ट्यूनिंग विधियां थीं, और स्टेबल डिफ्यूजन वी1/4 का उपयोग परीक्षण के लिए किया गया था।

यदि क्लस्टरिंग एल्गोरिदम ने तीस सेकंड के बाद कोई परिणाम नहीं दिया, तो सीमा को तब तक संशोधित किया गया जब तक कि छवियां वापस नहीं मिलीं।

उत्पन्न छवियों के लिए उपयोग किए जाने वाले दो मेट्रिक्स एसएससीडी के तहत औसत समानता (एएस) और औसत निकासी सफलता दर (ए-ईएसआर) थे – एक माप जो मोटे तौर पर पिछले कार्यों के साथ संरेखित है, जहां 0.7 का स्कोर पूरी तरह से प्रशिक्षण डेटा की सफल निकासी को दर्शाता है।

चूंकि पिछले दृष्टिकोणों ने या तो सीधे पाठ से छवि पीढ़ी या सीएफजी का उपयोग किया है, शोधकर्ताओं ने फाइनएक्सट्रैक्ट की तुलना इन दो तरीकों से की।

फाइनएक्सट्रैक्ट की पिछले दो तरीकों के साथ तुलना के परिणाम।

लेखकों का कहना है:

‘[परिणाम] फाइनएक्सट्रैक्ट के पिछले तरीकों पर एक महत्वपूर्ण लाभ को प्रदर्शित करते हैं, जिसमें एएस में लगभग 0.02 से 0.05 की वृद्धि और अधिकांश मामलों में ए-ईएसआर में दोगुनी वृद्धि होती है।’

नवीन डेटा पर विधि की सामान्यीकरण क्षमता का परीक्षण करने के लिए, शोधकर्ताओं ने स्टेबल डिफ्यूजन (वी1.4), स्टेबल डिफ्यूजन एक्सएल, और अल्टडिफ्यूजन का उपयोग किया।

विभिन्न डिफ्यूजन मॉडल पर फाइनएक्सट्रैक्ट। विकीआर्ट घटक के लिए, परीक्षण विकीआर्ट में चार वर्गों पर केंद्रित था।

ऊपर दिखाए गए परिणामों के रूप में, फाइनएक्सट्रैक्ट इस व्यापक परीक्षण में भी पिछले तरीकों पर सुधार हासिल करने में सक्षम था।

फाइनएक्सट्रैक्ट और पिछले दृष्टिकोणों से निकाली गई छवियों की एक गुणात्मक तुलना। कृपया बेहतर रिज़ॉल्यूशन के लिए स्रोत पेपर देखें।

लेखकों का观察 है कि जब एक फाइन-ट्यून मॉडल के लिए डेटासेट में छवियों की संख्या बढ़ाई जाती है, तो क्लस्टरिंग एल्गोरिदम को प्रभावी रहने के लिए लंबे समय तक चलने की आवश्यकता होती है।

उनका आगे कहना है कि हाल के वर्षों में कई तरीके विकसित किए गए हैं जो इस प्रकार के निकासी को बाधित करने के लिए डिज़ाइन किए गए हैं, गोपनीयता सुरक्षा के तहत। इसलिए, उन्होंने फाइनएक्सट्रैक्ट का परीक्षण काटआउट और रैंडॉगमेंट विधियों द्वारा संवर्धित डेटा के खिलाफ किया।

फाइनएक्सट्रैक्ट का प्रदर्शन काटआउट और रैंडॉगमेंट द्वारा संरक्षित छवियों के खिलाफ।

हालांकि लेखक स्वीकार करते हैं कि दो सुरक्षा प्रणालियां प्रशिक्षण डेटा स्रोतों को धुंधला करने में बहुत अच्छा प्रदर्शन करती हैं, वे यह भी ध्यान देते हैं कि यह आउटपुट की गुणवत्ता में इतनी गिरावट के साथ आता है कि सुरक्षा व्यावहारिक रूप से बेकार हो जाती है:

स्टेबल डिफ्यूजन वी1.4 के साथ उत्पन्न छवियां, जो रक्षात्मक उपायों के साथ फाइन-ट्यून की गई हैं – जो छवि गुणवत्ता को इतना कम कर देती हैं कि सुरक्षा अर्थहीन हो जाती है। कृपया बेहतर रिज़ॉल्यूशन के लिए स्रोत पेपर देखें।

पेपर निष्कर्ष निकालता है:

‘हमारे प्रयोग विभिन्न डेटासेट और वास्तविक दुनिया के चेकपॉइंट्स में विधि की लचीलापन का प्रदर्शन करते हैं, जो डेटा रिसाव के जोखिम और कॉपीराइट उल्लंघनों के लिए मजबूत साक्ष्य प्रदान करते हैं।’

निष्कर्ष

2024 ने कॉर्पोरेट्स के लिए ‘स्वच्छ’ प्रशिक्षण डेटा में रुचि को काफी बढ़ा दिया है, जो कि एआई की मानवों को प्रतिस्थापित करने की क्षमता के बारे में मीडिया कवरेज और वे स्वयं जिन जनरेटिव मॉडल का शोषण करने के लिए उत्सुक हैं उनकी कानूनी सुरक्षा की संभावना के सामने।

यह दावा करना आसान है कि आपका प्रशिक्षण डेटा स्वच्छ है, लेकिन यह भी आसान हो रहा है कि समान प्रौद्योगिकियां साबित करें कि यह नहीं है – जैसा कि रनवे, एमएल, स्टेबिलिटी और मिडजॉर्नी (अन्य लोगों के बीच) ने हाल के दिनों में पाया है।

फाइनएक्सट्रैक्ट जैसी परियोजनाएं संभावित रूप से एआई के ‘वाइल्ड वेस्ट’ युग के पूर्ण अंत की ओर इशारा करती हैं, जहां यहां तक कि एक प्रशिक्षित लेटेंट स्पेस की कथित रहस्यमय प्रकृति भी जवाबदेह ठहराई जा सकती है।

* सुविधा के लिए, हम अब ‘फाइन-ट्यून और लोरा’ मानेंगे, जहां आवश्यक हो।

सोमवार, 7 अक्टूबर, 2024 को पहली बार प्रकाशित