‘नॉनसेंस भाषा’ जो इमेज सिंथेसिस मॉडरेशन सिस्टम को चकमा दे सकती है

कोलंबिया विश्वविद्यालय से नए शोध से पता चलता है कि इमेज सिंथेसिस मॉडल जैसे कि DALL-E 2, Imagen और Parti को हानिकारक या विवादास्पद छवियों को आउटपुट करने से रोकने वाले सुरक्षा उपाय ‘निर्मित’ शब्दों के एक प्रकार के विरोधी हमले के लिए अतिसंवेदनशील होते हैं।

लेखक ने दो दृष्टिकोण विकसित किए हैं जो संभावित रूप से एक इमेज सिंथेसिस सिस्टम में सामग्री मॉडरेशन उपायों को ओवरराइड कर सकते हैं, और पाया है कि वे विभिन्न आर्किटेक्चर में भी असाधारण रूप से मजबूत हैं, जो दर्शाता है कि कमजोरी केवल प्रणालीगत नहीं है, और मूल रूप से पाठ-टू-इमेज सिंथेसिस के कुछ मूलभूत सिद्धांतों पर निर्भर हो सकती है।

पहला और दोनों में से अधिक शक्तिशाली, मैकेरोनिक प्रॉम्प्टिंग कहलाता है। ‘मैकेरोनिक’ शब्द मूल रूप से एक मिश्रण को संदर्भित करता है जो कई भाषाओं के शब्दों को मिलाकर बनाया जाता है, जैसे कि एस्पेरांतो या अनविनीज में। शायद सबसे अधिक सांस्कृतिक रूप से प्रसारित उदाहरण उर्दू-अंग्रेजी होगा, जो पाकिस्तान में एक प्रकार का ‘कोड मिक्सिंग’ है जो अंग्रेजी संज्ञाओं और उर्दू प्रत्ययों को मुक्त रूप से मिलाता है।

DALL-E 2 में मैकेरोनिक प्रॉम्प्टिंग। स्रोत: https://arxiv.org/pdf/2208.04135.pdf

उपरोक्त उदाहरणों में, अर्थपूर्ण शब्दों के टुकड़े एक साथ चिपकाए गए हैं, जिसमें अंग्रेजी को एक ‘सcaffold’ के रूप में उपयोग किया जाता है। अन्य उदाहरणों में पेपर में एक ही प्रॉम्प्ट में कई भाषाओं का उपयोग किया जाता है।

सिस्टम एक सेमैंटिक रूप से अर्थपूर्ण तरीके से प्रतिक्रिया करेगा क्योंकि प्रशिक्षण पर आधारित वेब स्रोतों में संबंधित देखभाल की कमी है। ऐसे स्रोत अक्सर बहुभाषी लेबल (यानी, इमेज सिंथेसिस कार्य के लिए विशेष रूप से डिज़ाइन किए गए डेटासेट से नहीं) के साथ आते हैं, और प्रत्येक शब्द, जो भी भाषा में हो, एक ‘टोकन’ बन जाता है; लेकिन इसी तरह, उन शब्दों के हिस्से ‘सबवर्ड’ या फ्रैक्शनल टोकन बन जाते हैं। प्राकृतिक भाषा प्रसंस्करण (NLP) में, इस प्रकार की ‘स्टेमिंग’ लंबे व्युत्पन्न शब्दों की व्युत्पत्ति को अलग करने में मदद करती है जो परिवर्तन संचालन में उत्पन्न हो सकते हैं, लेकिन यह एक विशाल लेक्सिकल ‘लेगो सेट’ भी बनाती है जिसे ‘रचनात्मक’ प्रॉम्प्टिंग का लाभ उठाया जा सकता है।

एकल भाषा पोर्टमैंटो शब्द भी अप्रत्यक्ष या गैर-प्रोसिक भाषा के माध्यम से छवियों को प्राप्त करने में प्रभावी होते हैं, जिसमें अक्सर DALL-E 2 और DALL-E Mini (Craiyon) जैसे विभिन्न आर्किटेक्चर में समान परिणाम प्राप्त किए जा सकते हैं।

दूसरे दृष्टिकोण में, जिसे इवोकेटिव प्रॉम्प्टिंग कहा जाता है, कुछ संयुक्त शब्द प्रदर्शित ‘स्कूलबॉय लैटिन’ की अधिक युवा शैली के समान होते हैं मोंटी पाइथन की लाइफ ऑफ ब्रायन (1979) में।

यह मजाक नहीं है – अक्सर डALL-E 2 से एक अर्थपूर्ण प्रतिक्रिया प्राप्त करने में नकली लैटिन सफल होता है।

लेखक कहते हैं:

‘इस विधि के साथ एक स्पष्ट चिंता यह है कि ब्लैकलिस्टेड प्रॉम्प्ट्स पर आधारित सामग्री फिल्टर को दरकिनार करना। सिद्धांत रूप में, मैकेरोनिक प्रॉम्प्टिंग हानिकारक, अपमानजनक, अवैध, या संवेदनशील सामग्री को जन्म देने के लिए ऐसे फिल्टर को बायपास करने का एक आसान और विश्वसनीय तरीका प्रदान कर सकती है, जिसमें हिंसक, नफरत भरे, नस्लवादी, सेक्सिस्ट, या अश्लील छवियां शामिल हो सकती हैं, और शायद बौद्धिक संपदा का उल्लंघन करने वाली या वास्तविक व्यक्तियों को चित्रित करने वाली छवियां। ‘

‘छवि पीढ़ी को सेवा के रूप में प्रदान करने वाली कंपनियों ने हानिकारक या अपमानजनक सामग्री के उत्पादन को रोकने के लिए अपनी सामग्री नीति के अनुसार बहुत सावधानी से काम किया है। इसके परिणामस्वरूप, मैकेरोनिक प्रॉम्प्टिंग को व्यावसायिक छवि पीढ़ी के लिए सुरक्षा प्रोटोकॉल के लिए एक खतरे के रूप में स системात्मक रूप से जांचा जाना चाहिए। ‘

लेखक इस कमजोरियों के खिलाफ कई उपाय सुझाते हैं, जिनमें से कुछ को वह अधिक प्रतिबंधात्मक मानते हैं।

संभावित समाधानों में से पहला सबसे महंगा है: स्रोत प्रशिक्षण छवियों को अधिक सावधानी से क्यूरेट करना, मानव और कम अल्गोरिदमिक पर्यवेक्षण के साथ। हालांकि, पेपर स्वीकार करता है कि यह छवि सिंथेसिस सिस्टम को दो छवि अवधारणाओं के बीच एक अपमानजनक संयोजन बनाने से नहीं रोकेगा जो स्वयं संभावित रूप से निर्दोष हो सकते हैं।

दूसरा, पेपर सुझाव देता है कि छवि सिंथेसिस सिस्टम अपने वास्तविक आउटपुट को एक फिल्टर सिस्टम के माध्यम से चला सकते हैं, जो उपयोगकर्ता को परोसने से पहले किसी भी समस्याग्रस्त संघों को रोक सकता है। यह संभव है कि DALL-E 2 वर्तमान में ऐसा फिल्टर चलाता है, हालांकि OpenAI ने खुलासा नहीं किया है कि DALL-E 2 की सामग्री मॉडरेशन कैसे काम करती है।

अंत में, लेखक एक ‘डिक्शनरी व्हाइटलिस्ट’ की संभावना पर विचार करता है, जो केवल जांचे गए और अनुमोदित शब्दों को अवधारणाओं को पुनः प्राप्त करने और प्रस्तुत करने की अनुमति देगा, लेकिन स्वीकार करता है कि यह प्रणाली की उपयोगिता पर एक अत्यधिक सख्त प्रतिबंध का प्रतिनिधित्व कर सकता है।

हालांकि शोधकर्ता ने केवल पांच भाषाओं (अंग्रेजी, जर्मन, फ्रेंच, स्पेनिश और इतालवी) के साथ प्रॉम्प्ट-एसेंबल्स बनाने में प्रयोग किया, उन्हें लगता है कि इस प्रकार का ‘विरोधी हमला’ और अधिक ‘क्रिप्टिक’ और रोकने में मुश्किल हो सकता है यदि भाषाओं की संख्या बढ़ाई जाए, यह देखते हुए कि हाइपरस्केल मॉडल जैसे DALL-E 2 को कई भाषाओं पर प्रशिक्षित किया जाता है (क्योंकि यह हल्के से फिल्टर्ड या ‘कच्चे’ इनपुट का उपयोग करना आसान है, और अतिरिक्त आयाम संभवतः प्रणाली की उपयोगिता में जोड़ देगा)।

पेपर शीर्षक है निर्मित शब्दों के साथ छवि पीढ़ी पर विरोधी हमले, और यह कोलंबिया विश्वविद्यालय के राफेल मिलियरे से आता है।

DALL-E 2 में क्रिप्टिक भाषा

यह पहले से ही सुझाव दिया गया है कि DALL-E 2 द्वारा लिखित भाषा का अर्थहीनता स्वयं एक ‘छुपी हुई शब्दावली’ हो सकती है। हालांकि, इस रहस्यमय भाषा के पिछले शोध ने कोई तरीका नहीं दिया है जिससे विशिष्ट छवियों को बुलाने वाले नॉन्स स्ट्रिंग विकसित किए जा सकें।

पिछले काम के बारे में, पेपर कहता है:

‘[यह] विशिष्ट छवियों को बुलाने वाले नॉन्स स्ट्रिंग खोजने के लिए एक विश्वसनीय विधि प्रदान नहीं करता है। DALL-E 2 द्वारा छवियों में शामिल अधिकांश अर्थहीन पाठ सेमैंटिक रूप से विशिष्ट दृश्य अवधारणाओं से संबंधित नहीं लगता है जब इसे लिप्यंतरणित किया जाता है और एक प्रॉम्प्ट के रूप में उपयोग किया जाता है। यह दृष्टिकोण को हानिकारक या अपमानजनक सामग्री के दुरुपयोग के लिए एक विशेष रूप से चिंताजनक जोखिम बनाता है।’

इसके बजाय, लेखक के दो तरीके उन तरीकों के रूप में विस्तृत हैं जिनका उपयोग करके अर्थहीनता से संबंधित और अर्थपूर्ण छवियों को बुलाने के लिए किया जा सकता है, जबकि विकसित हो रही प्रॉम्प्ट इंजीनियरिंग के परंपरागत शिष्टाचार को दरकिनार किया जा सकता है।

उदाहरण के तौर पर, लेखक पांच भाषाओं के दायरे में आने वाले ‘पक्षियों’ के लिए शब्द पर विचार करता है: वोगेल जर्मन में, उसेली इतालवी में, ओइसो फ्रेंच में, और पाजारोस स्पेनिश में।

DALL-E 2 में एकीकृत CLIP के बाइट-जोड़ी एन्कोडिंग (BPE) टोकनीकरण के साथ, शब्दों को बिना अक्षरों वाले अंग्रेजी में टोकन化 किया जाता है, और ‘रचनात्मक रूप से जोड़ा’ जा सकता है ताकि अर्थहीन शब्द बनाए जा सकें जो हमारे लिए अर्थहीन लगते हैं, लेकिन DALL-E 2 के लिए उनका अर्थ बना रहता है, जिससे प्रणाली को अपने माने हुए इरादे को व्यक्त करने की अनुमति मिलती है:

उपरोक्त उदाहरण में, ‘पक्षी’ के लिए दो ‘विदेशी’ शब्दों को एक अर्थहीन स्ट्रिंग में जोड़ दिया जाता है। उप-शब्दों के अंशमानिक भार के कारण, अर्थ बना रहता है।

लेखक पर जोर देता है कि संबंधित परिणाम भी उप-शब्द खंड की सीमाओं का पालन किए बिना प्राप्त किए जा सकते हैं, संभवतः क्योंकि DALL-E 2 (पेपर का प्राथमिक अध्ययन) पर्याप्त रूप से सामान्यीकृत हो गया है ताकि उप-शब्दों की सीमाएं धुंधली हो जाएं बिना उनके अर्थ को नष्ट किए।

विकसित दृष्टिकोणों को और प्रदर्शित करने के लिए, पेपर विभिन्न डोमेन में मैकेरोनिक प्रॉम्प्टिंग के उदाहरण प्रदान करता है, जिसमें नीचे दिए गए टोकन शब्दों की सूची (दूरस्थ दाएं हिस्से में अर्थहीन हाइब्रिडाइज्ड शब्द) शामिल हैं:

लेखक कहता है कि DALL-E 2 से निम्नलिखित उदाहरण ‘चेरी पिक्ड’ नहीं हैं:

लिंगुआ फ्रैंका

पेपर यह भी देखता है कि कई ऐसे उदाहरण DALL-E 2 और DALL-E Mini (अब Craiyon) दोनों पर समान रूप से काम करते हैं, और यह आश्चर्यजनक है क्योंकि DALL-E 2 एक डिफ्यूजन मॉडल है और DALL-E Mini नहीं है; दो सिस्टम अलग डेटासेट पर प्रशिक्षित हैं; और DALL-E Mini CLIP टोकनाइज़र के बजाय एक BART टोकनाइज़र का उपयोग करता है।

DALL-E 2 की तुलना में DALL-E Mini से आश्चर्यजनक रूप से समान परिणाम, जो पिछली छवि में दिखाए गए समान ‘अर्थहीन’ इनपुट से परिणाम हैं।

जैसा कि ऊपर दी गई पहली छवि में देखा गया है, मैकेरोनिक प्रॉम्प्टिंग को वाक्य रचना में व्याकरणिक रूप से सही वाक्यों में असेंबल किया जा सकता है ताकि अधिक जटिल दृश्य उत्पन्न किए जा सकें। हालांकि, यह प्रक्रिया को मानक सेंसर सिस्टम द्वारा अधिक आसानी से अवरुद्ध किए जाने की संभावना को बढ़ाता है।

पेपर यह भी देखता है कि लेक्सिकल हाइब्रिडाइजेशन, एक इमेज सिंथेसिस सिस्टम से संबंधित सामग्री को उत्पन्न करने के लिए शब्दों को ‘चिपकाना’, एक ही भाषा में भी पोर्टमैंटो शब्दों का उपयोग करके किया जा सकता है।

इवोकेटिव प्रॉम्प्टिंग

पेपर में प्रदर्शित ‘इवोकेटिव प्रॉम्प्टिंग’ दृष्टिकोण सिस्टम से एक व्यापक प्रतिक्रिया को ‘उकसाने’ पर निर्भर करता है जो सख्ती से उप-शब्दों या उप-टोकन या आंशिक रूप से साझा किए गए लेबल पर आधारित नहीं है।

इवोकेटिव प्रॉम्प्टिंग का एक प्रकार प्स्यूडोलैटिन है, जो काल्पनिक दवाओं की छवियों को उत्पन्न कर सकता है, यहां तक कि DALL-E 2 को ‘दवा’ की अवधारणा को पुनः प्राप्त करने के निर्देश दिए बिना:

इवोकेटिव प्रॉम्प्टिंग भौगोलिक स्थानों से संबंधित अर्थहीन प्रॉम्प्ट के साथ विशेष रूप से अच्छी तरह से काम करती है, और DALL-E 2 और DALL-E Mini दोनों पर आश्चर्यजनक रूप से विश्वसनीय रूप से काम करती है:

इन DALL-E 2 और DALL-E Mini के लिए प्रॉम्प्ट में उपयोग किए जाने वाले शब्द वास्तविक नामों से मिलते-जुलते हैं, लेकिन स्वयं अर्थहीन हैं। फिर भी, सिस्टम ने शब्दों के ‘वातावरण’ को पकड़ लिया है।

मैकेरोनिक और इवोकेटिव प्रॉम्प्टिंग के बीच कुछ ओवरलैप लगता है। पेपर कहता है:

‘यह लगता है कि प्रशिक्षण डेटा, मॉडल आकार और मॉडल आर्किटेक्चर में अंतर विभिन्न मॉडलों को प्रॉम्प्ट जैसे voiscellpajaraux और eidelucertlagarzard को या तो ‘मैकेरोनिक’ या ‘इवोकेटिव’ तरीके से पार्स करने का कारण बन सकता है, भले ही इन मॉडलों को दोनों प्रॉम्प्टिंग विधियों के प्रति प्रतिक्रियाशील साबित किया गया हो। ‘

पेपर निष्कर्ष निकालता है:

‘जबकि इन मॉडलों की विभिन्न विशेषताएं – जिनमें आकार, आर्किटेक्चर, टोकनीकरण [प्रक्रिया] और प्रशिक्षण डेटा शामिल हैं – उनकी पाठ-आधारित विरोधी हमलों के प्रति कमजोरता को प्रभावित कर सकती हैं, इस काम में चर्चा किए गए प्रारंभिक साक्ष्य सुझाव देते हैं कि कुछ हमले फिर भी मॉडलों में कुछ हद तक काम कर सकते हैं। ‘

संभवतः इस प्रकार के प्रयोग के चारों ओर सच्ची जांच का सबसे बड़ा बाधा यह जोखिम है कि होस्ट सिस्टम द्वारा झंडा लगाया जा सकता है और प्रतिबंधित किया जा सकता है। DALL-E 2 को प्रत्येक उपयोगकर्ता खाते के लिए एक संबद्ध फोन नंबर की आवश्यकता होती है, जो वास्तव में इस प्रकार के लेक्सिकल हैकिंग की सीमाओं का परीक्षण करने के लिए आवश्यक ‘बर्नर खातों’ की संख्या को सीमित करता है, सामग्री मॉडरेशन विधियों को दरकिनार करने के संदर्भ में। वर्तमान में, DALL-E 2 का प्राथमिक सुरक्षा उपाय अभी भी पहुंच की अस्थिरता है।

पहली बार 9 अगस्त 2022 को प्रकाशित।