एआई मॉडल्स को सेंसर करना अच्छी तरह से काम नहीं करता है, अध्ययन से पता चलता है

एआई इमेज जेनरेटर्स को सेंसर करने के प्रयास, जैसे कि प्रशिक्षित मॉडल्स से प्रतिबंधित सामग्री (जैसे कि पोर्न, हिंसा या कॉपीराइट शैली) को मिटाना, असफल हो रहे हैं: एक नए अध्ययन में पाया गया है कि वर्तमान अवधारणा मिटाने के तरीके ‘प्रतिबंधित’ विशेषताओं को अन्य छवियों में फैलने देते हैं, और कथित तौर पर ‘मिटाए गए’ सामग्री के करीब से संबंधित संस्करणों को दिखने से भी रोकने में विफल रहते हैं।

यदि फाउंडेशन एआई मॉडल्स को बनाने वाली कंपनियां उन्हें गलत उपयोग से रोकने में असमर्थ हैं, तो वे मुकदमा चलाने और/या बंद होने का जोखिम उठाती हैं। इसके विपरीत, विक्रेता जो केवल एक एपीआई के माध्यम से अपने मॉडल्स को उपलब्ध कराते हैं, जैसे कि एडोब के फायरफ्लाई जेनरेटिव इंजन, उन्हें चिंता करने की आवश्यकता नहीं है कि उनके मॉडल्स क्या उत्पन्न कर सकते हैं, क्योंकि दोनों उपयोगकर्ता के प्रॉम्प्ट और परिणामी आउटपुट की जांच की जाती है और सैनिटाइज़ की जाती है:

<img class=" wp-image-222044" src="https://www.unite.ai/wp-content/uploads/2025/08/adobe-firefly-refusal.jpg" alt="एडोब की फायरफ्लाई प्रणाली, जो फोटोशॉप जैसे टूल्स में उपयोग की जाती है, कभी-कभी तुरंत एक जेनरेटिव अनुरोध को अस्वीकार कर देती है और प्रॉम्प्ट को ब्लॉक कर देती है इससे पहले कि कुछ भी बनाया जा सके। अन्य समय में, यह छवि बनाता है लेकिन फिर समीक्षा के बाद परिणाम को ब्लॉक कर देता है। इस तरह का मिड-प्रोसेस रिफ्यूजल चैटजीपीटी में भी हो सकता है, जब मॉडल एक प्रतिक्रिया शुरू करता है लेकिन इसे नीति उल्लंघन को पहचानने के बाद काट देता है – और कभी-कभी आप इस प्रक्रिया के दौरान अस्थायी रूप से छवि देख सकते हैं।

हालांकि, इस तरह के एपीआई-शैली के फिल्टर्स को आमतौर पर स्थानीय रूप से स्थापित मॉडल्स पर उपयोगकर्ताओं द्वारा तटस्थ किया जा सकता है, जिसमें विजन-लैंग्वेज मॉडल्स (वीएलएम्स) शामिल हैं जिन्हें उपयोगकर्ता स्थानीय डेटा पर प्रशिक्षण के माध्यम से अनुकूलित करना चाहते हैं।

इन ऑपरेशन्स को अक्षम करना आमतौर पर सरल होता है, जिसमें पाइथन में एक फंक्शन कॉल को कमेंट आउट करना शामिल है (हालांकि इस तरह के हैक्स को आमतौर पर फ्रेमवर्क अपडेट के बाद दोहराया जाना चाहिए या फिर से आविष्कृत किया जाना चाहिए)।

व्यवसाय के दृष्टिकोण से, यह समझना मुश्किल है कि यह एक समस्या कैसे हो सकती है, क्योंकि एक एपीआई दृष्टिकोण कॉर्पोरेट नियंत्रण को अधिकतम करता है उपयोगकर्ता के कार्यप्रवाह पर। हालांकि, उपयोगकर्ता के दृष्टिकोण से, एपीआई-ओनली मॉडल्स की लागत और गलत या अत्यधिक सेंसरशिप का जोखिम उन्हें स्थानीय स्थापना के लिए खुले स्रोत विकल्पों को डाउनलोड करने और अनुकूलित करने के लिए प्रेरित करेगा – कम से कम, जहां एफओएसएस लाइसेंसिंग अनुकूल है।

पिछला महत्वपूर्ण मॉडल जो बिना किसी आत्म-सेंसरशिप के जारी किया गया था स्टेबल डिफ्यूजन वी1.5 था, लगभग तीन साल पहले। बाद में, इसके प्रशिक्षण निगमों में सीएसएएम डेटा शामिल होने का खुलासा होने के बाद इसकी उपलब्धता पर प्रतिबंध लगाने के लिए बढ़ती मांगें आईं, और इसका हगिंग फेस रिपॉजिटरी से 2024 में हटा दिया गया था।

काट दें!

सिनिक्स का तर्क है कि एक कंपनी की स्थानीय रूप से स्थापित जेनरेटिव एआई मॉडल्स को सेंसर करने में रुचि कानूनी जोखिम के बारे में चिंताओं पर आधारित है कि यदि उनके फ्रेमवर्क को अवैध या आपत्तिजनक सामग्री को सुविधाजनक बनाने के लिए सार्वजनिक किया जाता है तो वे मुकदमा चला सकते हैं और/या बंद हो सकते हैं।

वास्तव में, कुछ ‘स्थानीय-अनुकूल’ खुले स्रोत मॉडल्स को डी-सेंसर करना इतना मुश्किल नहीं है (जैसे स्टेबल डिफ्यूजन 1.5 और डीपसीक आर1)।

इसके विपरीत, ब्लैक फॉरेस्ट लैब के फ्लक्स कॉन्टेक्स्ट मॉडल श्रृंखला की हालिया रिलीज़ कंपनी की प्रतिबद्धता की विशेषता थी पूरे कॉन्टेक्स्ट रेंज को बोल्डराइज करने के लिए, जो दोनों के माध्यम से प्राप्त किया गया था डेटा क्यूरेशन और प्रशिक्षण के बाद लक्षित फाइन-ट्यूनिंग द्वारा, जो एनएसएफडब्ल्यू या प्रतिबंधित सामग्री के लिए किसी भी शेष प्रवृत्ति को दूर करने के लिए डिज़ाइन किया गया था।

यह शोध दृश्य में कार्रवाई का स्थान रहा है पिछले 2-3 वर्षों में: प्रशिक्षण के बाद मॉडल्स के साथ डेटा की कमी के बाद उन्हें ठीक करने पर जोर दिया गया है। इस तरह की पेशकश में यूनिफाइड कॉन्सेप्ट एडिटिंग इन डिफ्यूजन मॉडल्स (यूसीई); रिलायबल एंड एफिशिएंट कॉन्सेप्ट इरेज़र ऑफ टेक्स्ट-टू-इमेज डिफ्यूजन मॉडल्स (आरईसीई); मास कॉन्सेप्ट इरेज़र इन डिफ्यूजन मॉडल्स (एमएसई); और कॉन्सेप्ट-सेमी-पर्मेबल स्ट्रक्चर इज इनजेक्टेड एज ए मेम्ब्रेन (एसपीएम) शामिल हैं:

<img class=" wp-image-222045" src="https://www.unite.ai/wp-content/uploads/2025/08/unified-concept-editing-UCE.jpg" alt="2024 के पेपर 'यूनिफाइड कॉन्सेप्ट एडिटिंग इन डिफ्यूजन मॉडल्स' ने टेक्स्ट-टू-इमेज मॉडल्स में एकाधिक अवधारणाओं को संपादित करने के लिए ध्यान देने वाले भार को संपादित करने के लिए बंद-फॉर्म संपादन प्रदान किया। लेकिन क्या यह विधि जांच को सहन करती है?" स्रोत: https://arxiv.org/pdf/2308.14761

हालांकि यह दृष्टिकोण कुशल है (हाइपरस्केल संग्रह जैसे एलएआईओएन बहुत बड़े हैं मैन्युअल रूप से क्यूरेट करने के लिए), यह आवश्यक रूप से प्रभावी नहीं है: एक नए अमेरिकी अध्ययन के अनुसार, इनमें से कोई भी संपादन प्रक्रिया – जो एआई मॉडल संशोधन में राज्य के अत्याधुनिक प्रतिनिधित्व करती है – वास्तव में बहुत अच्छा काम नहीं करती है।

लेखकों ने पाया कि ये अवधारणा मिटाने की तकनीकें (सीईटी) आमतौर पर आसानी से परिहार की जा सकती हैं, और जहां वे प्रभावी हैं, वहां उन्हें काफी दुष्प्रभाव हैं:

<img class=" wp-image-222046" src="https://www.unite.ai/wp-content/uploads/2025/08/figure-1-2.jpg" alt="टेक्स्ट-टू-इमेज मॉडल्स पर अवधारणा मिटाने के प्रभाव। प्रत्येक कॉलम एक प्रॉम्प्ट और मिटाने के लिए चिह्नित अवधारणा के साथ-साथ संपादन से पहले और बाद में उत्पन्न आउटपुट दिखाता है। हाइरार्की अवधारणाओं के बीच माता-पिता के संबंधों को इंगित करती है। उदाहरण सामान्य दुष्प्रभावों को उजागर करते हैं, जिनमें बाल अवधारणाओं को मिटाने में विफलता, आसपास की अवधारणाओं का दमन, पुनर्लेखन के माध्यम से परिहार और मिटाई गई विशेषताओं को अन्य वस्तुओं में स्थानांतरित करना शामिल है।" स्रोत: https://arxiv.org/pdf/2508.15124

लेखकों ने पाया कि प्रमुख वर्तमान अवधारणा मिटाने की तकनीकें संयोजन प्रॉम्प्ट्स (जैसे लाल कार या छोटी लकड़ी की कुर्सी) को ब्लॉक करने में विफल रहती हैं; अक्सर उप-वर्गों को भी मिटाने के बाद गुजरने देते हैं, भले ही एक माता-पिता श्रेणी (जैसे कार या बस) को हटा दिया गया हो; और नए समस्याएं पेश करते हैं जैसे विशेषता रिसाव (जहां, उदाहरण के लिए, नीली कouch को हटाने से मॉडल को नीली कुर्सी जैसी अन्य वस्तुओं को उत्पन्न करने का कारण बनता है)।

80% से अधिक परीक्षण मामलों में, एक व्यापक अवधारणा जैसे वाहन को मिटाने से मॉडल को वाहन के अधिक विशिष्ट उदाहरणों जैसे कार या बस को उत्पन्न करने से नहीं रोका जा सका।

संपादन, पेपर का निरीक्षण करता है, आउटपुट की गुणवत्ता को कम करते हुए आवश्यकता मानचित्रों (मॉडल के उन हिस्सों को जो छवि में कहां ध्यान केंद्रित करना तय करते हैं) को भी बिखेर देता है।

दिलचस्प बात यह है कि पेपर में पाया गया है कि संबंधित प्रशिक्षित अवधारणाओं को एक-एक करके मिटाना उन्हें एक साथ मिटाने की कोशिश करने से बेहतर काम करता है – हालांकि यह संपादन विधियों की सभी कमियों को दूर नहीं करता है जिन्हें अध्ययन किया गया था:

<img class=" wp-image-222047" src="https://www.unite.ai/wp-content/uploads/2025/08/figure-12-lower.jpg" alt="प्रगतिशील और एक बार में मिटाने की रणनीतियों की तुलना। जब 'टेडी बियर' के सभी रूपांतरणों को एक ही समय में मिटा दिया जाता है, तो मॉडल अभी भी भालू जैसी वस्तुओं का उत्पादन करता है। उन्हें क्रमिक रूप से मिटाना अधिक प्रभावी है, जिससे मॉडल को लक्ष्य अवधारणा को अधिक विश्वसनीय रूप से दबाने का कारण बनता है।"

हालांकि शोधकर्ता वर्तमान में जो समस्याएं पेपर में रेखांकित करते हैं उनका कोई समाधान प्रदान नहीं कर सकते हैं, उन्होंने एक नए डेटासेट और बेंचमार्क विकसित किया है जो बाद के शोध परियोजनाओं को यह समझने में मदद कर सकता है कि क्या उनके ‘सेंसर’ मॉडल्स वास्तव में अपेक्षित रूप से काम कर रहे हैं।

पेपर में कहा गया है:

‘पिछले मूल्यांकन केवल एक छोटे सेट लक्ष्य और संरक्षित वर्गों पर भरोसा करते हैं; उदाहरण के लिए, जब ‘वाहन’ को मिटाना होता है, तो केवल मॉडल की कारों को उत्पन्न करने की क्षमता का परीक्षण किया जाता है। हम दिखाते हैं कि यह दृष्टिकोण मूलभूत रूप से अपर्याप्त है और अवधारणा मिटाने का मूल्यांकन अधिक व्यापक होना चाहिए ताकि संबंधित उप-अवधारणाओं जैसे ‘लाल कार’ को शामिल किया जा सके। ‘

‘हम एक विविध डेटासेट की शुरुआत करते हैं जिसमें संयोजन संस्करण हैं और सिस्टमatically विश्लेषण करते हैं प्रभाव जैसे पड़ोसी अवधारणाओं पर प्रभाव, अवधारणा परिहार, और विशेषता रिसाव, हम मौजूदा सीईटी की महत्वपूर्ण सीमाओं और दुष्प्रभावों का खुलासा करते हैं। ‘

‘हमारा बेंचमार्क मॉडल-एज्नोस्टिक है और आसानी से एकीकृत है और नए कॉन्सेप्ट इरेज़र तकनीकों (सीईटी) के विकास में मदद करने के लिए आदर्श रूप से उपयुक्त है।’

<img class=" wp-image-222048" src="https://www.unite.ai/wp-content/uploads/2025/08/figure-6-1.jpg" alt="हालांकि सीईटी लक्ष्य अवधारणा 'पक्षी' को मिटा देते हैं, वे संयोजन संस्करण 'लाल पक्षी' (शीर्ष) पर विफल रहते हैं। 'नीली कouch' को मिटाने के बाद, सभी तरीके भी नीली कुर्सी का उत्पादन करने में विफल रहते हैं (नीचे)। सफल परिणाम हरे टिक चिह्न के साथ चिह्नित हैं, और विफलता लाल क्रॉस प्रतीक के साथ।" स्रोत: https://arxiv.org/pdf/2308.14761

अध्ययन एक दिलचस्प अंतर्दृष्टि प्रदान करता है मॉडल के लेटेंट स्पेस में प्रशिक्षित अवधारणाओं के अंतर्ग्रहण की सीमा के बारे में, और सीमा की सीमा के बारे में कि जुड़ाव किसी भी प्रकार की निश्चित और वास्तव में विच्छिन्न अवधारणा मिटाने की अनुमति नहीं देगा।

नया पेपर शीर्षक है डिफ्यूजन मॉडल्स से अवधारणाओं को मिटाने के दुष्प्रभाव, और मैरीलैंड विश्वविद्यालय के चार शोधकर्ताओं से।

विधि और डेटा

लेखकों का मत है कि पहले के काम जो दावा करते हैं कि वे डिफ्यूजन मॉडल्स से अवधारणाओं को मिटा देते हैं, दावे को पर्याप्त रूप से साबित नहीं करते हैं, यह कहते हुए*:

‘मिटाने के दावों को अधिक मजबूत और व्यापक मूल्यांकन की आवश्यकता है। उदाहरण के लिए, यदि ‘वाहन’ को मिटाना है, तो ‘कार’ और ‘लाल कार’ या ‘छोटी कार’ जैसी उप-अवधारणाएं और संयोजन अवधारणाएं भी मिटा दी जानी चाहिए। ‘

‘हालांकि, यह पहलू अवधारणा पदानुक्रम और संयोजन को मौजूदा मूल्यांकन प्रोटोकॉल में नहीं माना जाता है क्योंकि वे केवल एकल मिटाई गई अवधारणा की सटीकता पर ध्यान केंद्रित करते हैं। [EraseBench] के लेखक दृश्य रूप से समान और परिफ्रेज्ड अवधारणाओं (जैसे ‘बिल्ली’ और ‘किटन’) के प्रभाव का मूल्यांकन करते हैं; हालांकि, वे अवधारणा पदानुक्रम और संयोजन की थकावट से गुजरते नहीं हैं। ‘

अध्ययन के लिए बेंचमार्क डेटा प्रदान करने के लिए, लेखकों ने साइड इफेक्ट इवैल्यूएशन (एसईई) डेटासेट बनाया – एक बड़ा संग्रह पाठ प्रॉम्प्ट जो यह परीक्षण करने के लिए डिज़ाइन किया गया है कि अवधारणा मिटाने की विधियां कितनी अच्छी तरह से काम करती हैं।

प्रॉम्प्ट एक सरल टेम्पलेट का पालन करते हैं जिसमें एक वस्तु को आकार, रंग और सामग्री जैसे विशेषताओं के साथ वर्णित किया जाता है – उदाहरण के लिए, एक छोटी सी लाल लकड़ी की कार की छवि।

वस्तुएं एमएस-सीओसीओ डेटासेट से ली गईं, और श्रेणियों में व्यवस्थित की गईं जैसे वाहन, और उप-वर्ग जैसे कार या बस, जिनके विशेषता संयोजन ग्राफ के पत्ते नोड (पदानुक्रम का सबसे विशिष्ट स्तर) बनाते हैं। यह संरचना यह परीक्षण करने की अनुमति देती है कि मिटाने के विभिन्न सेमेंटिक स्तरों पर कैसे काम किया जाता है, व्यापक श्रेणियों से लेकर विशिष्ट संस्करणों तक।

स्वचालित मूल्यांकन के लिए, प्रत्येक प्रॉम्प्ट को एक हां-या नहीं प्रश्न के साथ जोड़ा गया था, जैसे क्या छवि में एक कार है?, और छवि वर्गीकरण मॉडल के लिए एक वर्ग लेबल के रूप में भी उपयोग किया गया था:

एसईई डेटासेट में प्रॉम्प्ट संयोजन आकार, रंग और सामग्री विशेषताओं को बदलकर उत्पन्न किए गए।

प्रत्येक अवधारणा मिटाने की विधि के प्रदर्शन को मापने के लिए, लेखकों ने दो स्कोरिंग विधियों का आविष्कार किया: लक्ष्य सटीकता, जो ट्रैक करता है कि मिटाई गई अवधारणाएं कितनी बार अभी भी उत्पन्न छवियों में दिखाई देती हैं; और संरक्षित सटीकता, जो ट्रैक करता है कि क्या मॉडल अभी भी सामग्री का उत्पादन करता है जिसे मिटाने का उद्देश्य नहीं था।

दोनों स्कोर के बीच संतुलन यह प्रकट करने का इरादा है कि क्या विधि सफलतापूर्वक प्रतिबंधित अवधारणा को हटा देती है और साथ ही मॉडल के व्यापक आउटपुट को नुकसान नहीं पहुंचाती है।

लेखकों ने अवधारणा मिटाने का मूल्यांकन तीन विफलता मोड़ के माध्यम से किया: सबसे पहले, एक माप यह जानने के लिए कि क्या एक अवधारणा जैसे कार को हटाने से आसपास की या असंबंधित अवधारणाओं को बाधित करता है, जो सेमेंटिक और विशेषता-आधारित समानता पर आधारित है; दूसरा, एक परीक्षण यह जानने के लिए कि क्या मिटाने से उप-अवधारणाओं जैसे लाल कार के माध्यम से परिहार किया जा सकता है वाहन को हटाने के बाद।

अंत में, एक जांच विशेषता रिसाव के लिए की गई, जहां मिटाई गई अवधारणा से जुड़ी विशेषताएं अन्य वस्तुओं में दिखाई देती हैं (उदाहरण के लिए, कouch को हटाने से एक पॉटेड प्लांट जैसी दूसरी वस्तु को इसका रंग या सामग्री विरासत में मिल सकती है)। अंतिम डेटासेट में 5056 संयोजन प्रॉम्प्ट हैं

परीक्षण

पूर्व फ्रेमवर्क में परीक्षण किए गए थे – यूसीई, आरईसीई, एमएसई, और एसपीएम। शोधकर्ताओं ने मूल परियोजनाओं से डिफ़ॉल्ट सेटिंग्स को अपनाया, और सभी मॉडलों को 48GB के वीआरएएम के साथ एनवीडिया आरटीएक्स 6000 जीपीयू पर फाइन-ट्यून किया।

स्टेबल डिफ्यूजन 1.4, साहित्य में सबसे पुराने मॉडल्स में से एक, सभी परीक्षणों के लिए उपयोग किया गया था – शायद इसलिए भी कि सबसे पहले एसडी मॉडल्स में बहुत कम या कोई अवधारणात्मक प्रतिबंध नहीं था, और इसलिए इस शोध संदर्भ में एक खाली स्लेट प्रदान करते हैं।

एसईई डेटासेट के प्रत्येक प्रॉम्प्ट को मॉडल के संशोधित और संशोधित संस्करणों के माध्यम से चलाया गया, प्रत्येक प्रॉम्प्ट के लिए चार छवियां उत्पन्न करते हुए, निर्धारित रैंडम सीड का उपयोग करके, यह परीक्षण करने की अनुमति देते हुए कि क्या मिटाने के प्रभाव एकाधिक आउटपुट में बने रहते हैं। प्रत्येक संपादित मॉडल ने कुल 20,224 छवियां उत्पन्न कीं।

संरक्षित अवधारणाओं की उपस्थिति का मूल्यांकन पूर्व विधियों का उपयोग करके किया गया था टेक्स्ट-टू-इमेज मिटाने की प्रक्रिया के लिए, बीएलआईपी, क्यूवेन 2.5 वीएल, और फ्लोरेंस-2बेस वीक्यूए मॉडल का उपयोग किया गया था।

आसपास की अवधारणाओं पर प्रभाव

पहला परीक्षण यह मापता है कि क्या एक अवधारणा को मिटाने से आसपास की अवधारणाओं पर अनजाने में प्रभाव पड़ता है। उदाहरण के लिए, कार को हटाने के बाद, मॉडल को लाल कार या बड़ी कार जैसी संबंधित अवधारणाओं का उत्पादन बंद कर देना चाहिए, लेकिन संबंधित अवधारणाओं जैसे बस या ट्रक और असंबंधित लोगों जैसे फोर्क का उत्पादन जारी रखना चाहिए।

विश्लेषण में सीएलआईपी एम्बेडिंग समानता और विशेषता-आधारित संपादन दूरी का उपयोग शामिल था ताकि यह अनुमान लगाया जा सके कि प्रत्येक अवधारणा मिटाने वाले लक्ष्य के लिए कितना करीब है: यह अध्ययन यह मापने की अनुमति देता है कि कितना व्यवधान फैलता है:

लक्ष्य सटीकता (बाएं) और संरक्षित सटीकता (दाएं) के संयुक्त परिणाम सेमेंटिक समानता (शीर्ष) और संयोजन दूरी (नीचे) के खिलाफ प्लॉट किए गए हैं। एक आदर्श अवधारणा मिटाने की विधि कम लक्ष्य सटीकता और सभी दूरियों पर उच्च संरक्षित सटीकता दिखाएगी; हालांकि, परिणाम दिखाते हैं कि वर्तमान तकनीकें साफ़ तरीके से सामान्य नहीं होती हैं, जिसमें निकट अवधारणाओं को पर्याप्त रूप से मिटाया नहीं जाता है या असमानुपातिक रूप से बाधित किया जाता है।

इन परिणामों में, लेखक टिप्पणी करते हैं:

‘सभी सीईटी अभी भी मिटाने के बावजूद संयोजन या सेमेंटिक रूप से दूर के वेरिएंट का उत्पादन करते हैं, जो आदर्श रूप से नहीं होना चाहिए। यह स्पष्ट है कि यूसीई अन्य सीईटी विधियों की तुलना में [संरक्षित सेट] पर उच्च सटीकता प्राप्त करता है, जो असंबंधित अवधारणाओं पर न्यूनतम अनपेक्षित प्रभाव को इंगित करता है। ‘

‘इसके विपरीत, एसपीएम सटीकता में सबसे कम हासिल करता है, जो यह सुझाव देता है कि इसकी संपादन रणनीति अवधारणा समानता के प्रति अधिक संवेदनशील है।’

परीक्षण की जाने वाली चार विधियों में, आरईसीई लक्ष्य अवधारणा को ब्लॉक करने में सबसे प्रभावी थी। हालांकि, जैसा कि ऊपर दिए गए चित्र के बाएं हिस्से में दिखाया गया है, सभी विधियां संयोजन संस्करणों को दबाने में विफल रहीं। पक्षी को मिटाने के बाद, मॉडल अभी भी लाल पक्षी की छवियां उत्पन्न करता है, यह सुझाव देता है कि अवधारणा आंशिक रूप से बरकरार है।

Removing नीली कouch ने मॉडल को नीली कुर्सी का उत्पादन करने से भी रोक दिया, यह दर्शाता है कि आसपास की अवधारणाओं को नुकसान हुआ है।

आरईसीई ने संयोजन संस्करणों को बेहतर तरीके से संभाला, जबकि यूसीई ने संबंधित अवधारणाओं को संरक्षित करने में बेहतर प्रदर्शन किया।

मिटाने का आक्रमण

मिटाने के परिहार परीक्षण ने मूल्यांकन किया कि क्या मॉडल अभी भी उप-वर्ग अवधारणाओं का उत्पादन कर सकता है जब उनके सुपरक्लास को मिटा दिया जाता है। उदाहरण के लिए, यदि वाहन को हटा दिया जाता है, तो परीक्षण यह जांचता है कि क्या मॉडल अभी भी बicycle या लाल कार जैसे आउटपुट का उत्पादन कर सकता है।

प्रॉम्प्ट्स ने सीधे उप-वर्गों और संयोजन संस्करणों दोनों को लक्षित किया ताकि यह निर्धारित किया जा सके कि क्या अवधारणा मिटाने की क्रिया वास्तव में पूरे पदानुक्रम को हटा दी थी या क्या इसे अधिक विशिष्ट विवरण के माध्यम से परिहार किया जा सकता था:

स्टेबल डिफ्यूजन वी1.4 पर मिटाई गई सुपरक्लास के माध्यम से उप-वर्गों और संयोजन संस्करणों के परिहार, उच्च सटीकता के साथ अधिक परिहार का संकेत देते हैं।

संशोधित मॉडल ने सभी सुपरक्लास में उच्च सटीकता बनाए रखी, यह पुष्टि करते हुए कि यह किसी भी लक्ष्य अवधारणा को नहीं हटाया था। सीईटी में, एमएसई ने सबसे कम परिहार दिखाया, जिसमें अधिकांश परीक्षण श्रेणियों में सबसे कम उप-वर्ग सटीकता हासिल की। आरईसीई ने भी अच्छा प्रदर्शन किया, विशेष रूप से एक्सेसरी, खेल, और इलेक्ट्रॉनिक समूहों में।

इसके विपरीत, यूसीई और एसपीएम ने उच्च उप-वर्ग सटीकता दिखाई, यह दर्शाता है कि मिटाई गई अवधारणाएं संबंधित या नेस्टेड प्रॉम्प्ट्स के माध्यम से अधिक आसानी से परिहार की जा सकती हैं।

लेखकों ने टिप्पणी की:

‘[सभी] सीईटी लक्ष्य सुपरक्लास अवधारणा (“भोजन”) को सफलतापूर्वक दबा देते हैं। हालांकि, जब भोजन पदानुक्रम के विशेषता-आधारित बच्चों के साथ प्रॉम्प्ट किया जाता है (जैसे “एक बड़ा पिज्जा”), तो सभी तरीके खाद्य वस्तुओं का उत्पादन करते हैं। ‘

‘इसी तरह, वाहन श्रेणी में, सभी मॉडल साइकिल का उत्पादन करते हैं, वाहन को हटाने के बावजूद।’

विशेषता रिसाव

तीसरा परीक्षण, विशेषता रिसाव, यह जांचता है कि क्या मिटाई गई अवधारणा से जुड़ी विशेषताएं अन्य वस्तुओं में दिखाई देती हैं।

उदाहरण के लिए, कouch को मिटाने के बाद, मॉडल न तो कोच का उत्पादन करना चाहिए और न ही इसकी विशेषताओं (जैसे रंग या सामग्री) को अन्य वस्तुओं में लागू करना चाहिए जो एक ही प्रॉम्प्ट में हैं। यह प्रॉम्प्ट के साथ मॉडल को प्रेरित करके और यह जांच करके मापा गया था कि क्या मिटाई गई विशेषताएं संरक्षित अवधारणाओं में गलती से दिखाई देती हैं:

अवधारणा मिटाने के बाद विशेषता टोकन के लिए ध्यान मानचित्र। बाएं: जब ‘बेंच’ को मिटा दिया जाता है, तो ‘लकड़ी’ टोकन पक्षी में स्थानांतरित हो जाता है, जिससे लकड़ी के पक्षी बन जाते हैं। दाएं: ‘कouch’ को मिटाने में विफल रहने के बाद, ‘बड़ा’ टोकन गलती से डोनट में सौंपा जाता है।

आरईसीई लक्ष्य विशेषताओं को मिटाने में सबसे प्रभावी था, लेकिन संरक्षित प्रॉम्प्ट्स में विशेषता रिसाव को भी पेश किया, जो यहां तक कि असंशोधित मॉडल को भी पार कर गया। यूसीई ने अन्य तरीकों की तुलना में कम रिसाव दिखाया।

परिणाम, लेखक सुझाव देते हैं, एक आंतरिक व्यापार की आवश्यकता का संकेत देते हैं, जिसमें मजबूत मिटाने से विशेषता हस्तांतरण के गलत मार्ग का जोखिम बढ़ जाता है।

निष्कर्ष

मॉडल का लेटेंट स्पेस प्रशिक्षण के दौरान एक व्यवस्थित तरीके से नहीं भरता है, जिसमें व्युत्पन्न अवधारणाएं साफ-साफ अलमारियों या फाइलिंग कैबिनेट में जमा हो जाती हैं; बल्कि प्रशिक्षित एम्बेडिंग सामग्री और उनके कंटेनर दोनों हैं: किसी भी तेज सीमा द्वारा अलग नहीं किया गया, बल्कि एक दूसरे में मिलकर एक ऐसा तरीका बनाता है जो हटाने को मुश्किल बना देता है – जैसे कि मांस का एक पाउंड निकालने की कोशिश करना बिना किसी रक्त के नुकसान के।

बुद्धिमान और विकसित प्रणालियों में, मूलभूत घटनाएं – जैसे कि अपनी उंगलियां जलाना और बाद में आग के साथ सम्मान का व्यवहार करना – बाद में उन्हें जो व्यवहार और संबंध बनाते हैं उनमें जुड़े हुए हैं, जिससे एक मॉडल का निर्माण करना चुनौतीपूर्ण हो जाता है जो केंद्रीय, संभावित रूप से ‘प्रतिबंधित’ अवधारणा के परिणामों के साथ छोड़ा जा सकता है, लेकिन स्वयं अवधारणा की कमी है।

* लेखकों के इनलाइन उद्धरण को हाइपरलिंक्स में बदलने का मेरा रूपांतरण।

पहली बार शुक्रवार, 22 अगस्त, 2025 को प्रकाशित