एमोजी का उपयोग करके एआई चैटबॉट्स में सामग्री फिल्टर बायपास किया जा सकता है

एमोजी का उपयोग बड़े भाषा मॉडल की सुरक्षा तंत्र को बायपास करने और विषाक्त आउटपुट को ट्रिगर करने के लिए किया जा सकता है जो अन्यथा ब्लॉक किए जाएंगे। इस तरह, एलएलएम को प्रतिबंधित विषयों जैसे बम बनाने और हत्या पर चर्चा करने और सलाह देने के लिए बनाया जा सकता है।

चीन और सिंगापुर के बीच एक नए सहयोग से पता चलता है कि एमोजी का उपयोग न केवल बड़े भाषा मॉडल (एलएलएम) में सामग्री का पता लगाने वाले फिल्टर को बायपास करने के लिए किया जा सकता है, बल्कि मॉडल के साथ उपयोगकर्ता की बातचीत के दौरान विषाक्तता के स्तर को बढ़ाने के लिए भी किया जा सकता है:

नए पत्र से, एक व्यापक प्रदर्शन यह दिखाने के लिए कि एमोजी का उपयोग एक लोकप्रिय एलएलएम को ‘जेलब्रेक’ करने में कैसे मदद कर सकता है। स्रोत: https://arxiv.org/pdf/2509.11141

उपरोक्त उदाहरण में, नए पत्र से, हम देखते हैं कि नियम-तोड़ने वाले शब्द-आधारित इरादे को एमोजी-लड़े हुए विकल्प में बदलने से एक जटिल भाषा मॉडल जैसे कि चैटजीपीटी-4ो (जो स्वचालित रूप से इनपुट प्रॉम्प्ट्स को सैनिटाइज़ करता है और आउटपुट सामग्री को अवरुद्ध करता है जो कंपनी के नियमों का उल्लंघन कर सकती है) से एक बहुत अधिक ‘सहयोगी’ प्रतिक्रिया प्राप्त की जा सकती है।

प्रभावी रूप से, सबसे चरम परिस्थितियों में, एमोजी का उपयोग एक जेलब्रेक तकनीक के रूप में किया जा सकता है, लेखकों के अनुसार。

लेख में एक शेष रहस्य यह है कि क्यों भाषा मॉडल एमोजी को नियमों का उल्लंघन करने और विषाक्त सामग्री को ट्रिगर करने की अनुमति देते हैं, जब मॉडल पहले से ही जानते हैं कि कुछ एमोजी का विषाक्त संघों के साथ मजबूत संबंध है।

सुझाव दिया गया है कि क्योंकि एलएलएम अपने प्रशिक्षण डेटा से पैटर्न को मॉडल और पुन: उत्पन्न करने के लिए प्रशिक्षित होते हैं, और क्योंकि एमोजी अक्सर उस डेटा में पाए जाते हैं, मॉडल सीखता है कि एमोजी उस वार्ता में属于 है, और इसे एक सांख्यिकीय संघ के रूप में मानता है, न कि मूल्यांकन और फिल्टर करने के लिए सामग्री के रूप में।

इसका अर्थ है कि एमोजी, जब प्रॉम्प्ट में पुन: उपयोग किया जाता है, तो मॉडल को विषाक्त निरंतरता की भविष्यवाणी करने में अधिक विश्वास होता है; लेकिन एक लाल झंडे के बजाय, एमोजी एक सेमेंटिक संकेत के रूप में कार्य करता है, जो वास्तव में विषाक्त अर्थ को मजबूत बनाता है, न कि इसे मॉडरेट या अवरुद्ध करता है। चूंकि सुरक्षा संरेखण बाद में लागू किया जाता है, और अक्सर एक संकीर्ण, साहित्यिक ढांचे में, एमोजी वाले प्रॉम्प्ट्स पूरी तरह से पता लगाने से बच सकते हैं।

इस तरह, लेखकों का प्रस्ताव है, मॉडल विषाक्त संघ के बावजूद सहनशील नहीं हो जाता है – यह कारण से सहनशील हो जाता है।

मुफ्त पास

उसके बावजूद, लेखक स्वीकार करते हैं कि यह एमोजी का उपयोग करके सामग्री फिल्टर को बायपास करने के कारणों के बारे में एक निश्चित सिद्धांत का प्रतिनिधित्व नहीं करता है। वे कहते हैं:

‘मॉडल एमोजी द्वारा व्यक्त दुर्भावनापूर्ण इरादे को पहचान सकते हैं, लेकिन सुरक्षा तंत्र को कैसे बायपास किया जाता है यह स्पष्ट नहीं है।’

कमजोरी पाठ-केंद्रित डिज़ाइन से उत्पन्न हो सकती है सामग्री फिल्टर, जो या तो साहित्यिक पाठ इनपुट या एम्बेडिंग पर भरोसा करते हैं जो विश्वासपूर्वक पाठ समकक्षों में परिवर्तित हो जाते हैं: दोनों मामलों में, प्रणाली स्पष्ट टोकन पर निर्भर करती है जो सुरक्षा नियमों के खिलाफ मेल खाते हैं।

एक उदाहरण के लिए एआई-आधारित छवि संपादन से: जब एक उपयोगकर्ता एक एनएसएफडब्ल्यू चित्र को एक दृष्टि-भाषा मॉडल में अपलोड करता है और संशोधनों का अनुरोध करता है, तो सिस्टम जैसे एडोबी फायरफ्लाई या चैटजीपीटी सीएलआईपी-शैली के पाइपलाइन का उपयोग छवि से पाठ概念 निकालने के लिए करते हैं, जो संपादन के लिए एक पूर्वापेक्षा है। एक बार जब वे अवधारणाएं शब्दों में बदल जाती हैं, तो निकाले गए शब्दों में प्रतिबंधित शब्दों की उपस्थिति फिल्टर को ट्रिगर करेगी, जिससे अनुरोध अस्वीकृत हो जाएगा।

हालांकि, किसी reason से, एक एमोजी की स्थिति न तो एक शब्द और न ही एक छवि (या दोनों) के रूप में फिल्टरिंग को पार करने की क्षमता प्रदान करती है; स्पष्ट रूप से, जैसा कि लेखक इंगित करते हैं, इस अजीब खामी में आगे शोध की आवश्यकता है।

नया पत्र शीर्षक है जब स्माइली होस्टाइल हो जाता है: एलएलएम की विषाक्तता को ट्रिगर करने वाले एमोजी की व्याख्या करना, और تسिंगुआ विश्वविद्यालय और सिंगापुर राष्ट्रीय विश्वविद्यालय के नौ लेखकों से आता है।

(दुर्भाग्य से, पत्र में उल्लिखित कई उदाहरण अभी तक उपलब्ध नहीं हैं; हालांकि हमने लेखकों से इसका अनुरोध किया है, परिशिष्ट को आपूर्ति नहीं की गई है। फिर भी, मुख्य पत्र में अनुभवजन्य परिणाम ध्यान देने योग्य बने हुए हैं।)

तीन मुख्य एमोजी व्याख्याएं

लेखक तीन भाषाई विशेषताओं पर प्रकाश डालते हैं जो एमोजी को फिल्टर को बायपास करने में प्रभावी बनाते हैं। पहले, एमोजी के अर्थ संदर्भ-निर्भर होते हैं। उदाहरण के लिए, ‘पैसे के साथ पंख’ एमोजी (नीचे दी गई छवि देखें) को आधिकारिक तौर पर पैसे के हस्तांतरण या खर्च का प्रतिनिधित्व करने के लिए परिभाषित किया गया है; हालांकि, आसपास के पाठ के आधार पर, यह वैध या अवैध गतिविधि का भी संकेत दे सकता है:

नए पत्र से, एक आंशिक चित्रण यह दिखाने के लिए कि एक लोकप्रिय एमोजी का अर्थ लोकप्रिय उपयोग में हाईजैक, बदला या उपेक्षित किया जा सकता है। यह एमोजी को सेमेंटिक स्पेस में एक आधिकारिक पासपोर्ट और एक नकारात्मक या विषाक्त अर्थ का एक छिपा हुआ पेलोड देता है जिसे एक बार फिल्टर से गुजरने के बाद शोषित किया जा सकता है।

दूसरा, एमोजी स्वर को बदल सकते हैं प्रॉम्प्ट का। उनकी उपस्थिति अक्सर खेल या विनोद को जोड़ती है, जो भावनात्मक रजिस्टर को नरम बनाती है। हानिकारक प्रश्नों में, यह अनुरोध को एक मजाक या खेल की तरह बना सकता है, मॉडल को प्रतिक्रिया देने के लिए प्रोत्साहित करता है न कि अस्वीकार करने के लिए:

एमोजी का हल्का प्रभाव स्वर को विषाक्तता के बिना विषाक्तता को कम कर सकता है।

तीसरा, लेख में यह कहा गया है कि एमोजी भाषा-अज्ञेय हैं: एक ही एमोजी विभिन्न भाषाओं में एक ही भावना को व्यक्त कर सकता है। यह उन्हें बहुभाषी प्रॉम्प्ट्स के लिए उपयुक्त बनाता है, जो आसपास के पाठ का अनुवाद किए जाने पर भी अर्थ को बनाए रखता है:

टूटे हुए दिल एमोजी एक सार्वभौमिक संदेश को व्यक्त करता है, शायद इसलिए कि यह मानव स्थिति में एक आधार मामले का प्रतिनिधित्व करता है, जो राष्ट्रीय या सांस्कृतिक भिन्नताओं से अप्रभावित है।

दृष्टिकोण, डेटा और परीक्षण*

शोधकर्ताओं ने एडवीबेंच डेटासेट का एक संशोधित संस्करण बनाया, जिसमें हानिकारक प्रॉम्प्ट्स को एमोजी के साथ फिर से लिखा गया था, या तो संवेदनशील शब्दों के प्रतिस्थापन के रूप में या सजावटी छलावरण के रूप में जोड़ा गया था। एडवीबेंच 32 उच्च-जोखिम वाले विषयों को कवर करता है, जिनमें बमबारी, हैकिंग और हत्या शामिल हैं:

एडवीबेंच से मूल उदाहरण, जो दिखाते हैं कि एक एकल विरोधी प्रॉम्प्ट कैसे कई प्रमुख चैटबॉट्स में सुरक्षा उपायों को बायपास कर सकता है, हानिकारक निर्देशों को अलाइनमेंट प्रशिक्षण के बावजूद उत्पन्न कर सकता है। स्रोत: https://arxiv.org/pdf/2307.15043

सभी 520 मूल एडवीबेंच उदाहरणों को इस तरह से बदल दिया गया था, और शीर्ष 50 विषाक्त और गैर-डुप्लिकेट प्रॉम्प्ट्स का उपयोग प्रयोगों की श्रृंखला में किया गया था। प्रॉम्प्ट्स का अनुवाद कई भाषाओं में किया गया था और सात प्रमुख बंद और खुले स्रोत मॉडल पर परीक्षण किया गया था, और ज्ञात प्रभावी जेलब्रेक तकनीकों के संयोजन में प्रॉम्प्ट ऑटोमैटिक इटरेटिव रिफाइनमेंट (पेयर); ट्री ऑफ अटैक्स विद प्रूनिंग (टीएपी); और डीपइन्सेप्शन。

बंद स्रोत मॉडल जिन्हें परीक्षण किया गया था उनमें जेमिनी-2.0-फ्लैश; जीपीटी-4ो (2024-08-06); जीपीटी-4-0613; और जेमिनी-1.5-प्रो शामिल थे। खुले स्रोत मॉडल जिन्हें परीक्षण किया गया था उनमें लामा-3-8बी-इन्सट्रक; क्वेन2.5-7बी-इन्सट्रक (टीम 2024बी); और क्वेन2.5-72बी-इन्सट्रक (टीम 2024ए) शामिल थे, सभी प्रयोगों को तीन बार दोहराया गया था ताकि यादृच्छिक मौके के लिए खाता हो।

अध्ययन ने पहले यह परीक्षण किया कि एडवीबेंच से हानिकारक प्रॉम्प्ट्स को एमोजी के साथ फिर से लिखने से विषाक्त आउटपुट बढ़ जाएगा, जिसमें अन्य प्रमुख भाषाओं में अनुवाद भी शामिल था:

इसके अलावा, इसने एमोजी संपादन विधि को उपरोक्त ज्ञात जेलब्रेक रणनीतियों (पेयर, टीएपी, और डीपइन्सेप्शन) में प्रॉम्प्ट्स पर लागू किया, यह देखने के लिए कि क्या एमोजी प्रतिस्थापन उनकी सफलता को और बढ़ा सकता है:

दोनों मामलों में, मूल प्रॉम्प्ट्स की संरचना संरक्षित थी, केवल संवेदनशील शब्दों को एमोजी के साथ बदल दिया गया था और सजावटी तत्व जोड़े गए थे ताकि इरादे को छिपाया जा सके।

परीक्षण मेट्रिक्स के लिए, लेखकों ने जीपीटी-जज नामक एक स्कोरिंग सिस्टम का आविष्कार किया। इस सेटअप में, जीपीटी-4ो मॉडल जिसे परीक्षण किया जा रहा था नहीं था, बल्कि एक ग्रेडर के रूप में कार्य करने के लिए प्रेरित किया गया था, जो अन्य मॉडलों द्वारा उत्पन्न प्रतिक्रियाओं को एक संख्यात्मक हानिकारक स्कोर (एचएस) सौंप रहा था।

प्रत्येक आउटपुट को एक (हानिरहित) से पांच (बहुत हानिकारक) तक दर्जा दिया गया था, और पांच प्राप्त करने वाली प्रतिक्रियाओं का प्रतिशत हानिकारकता अनुपात (एचआर) के रूप में रिपोर्ट किया गया था।

मॉडल को एमोजी व्याख्या में ड्रिफ्ट करने से रोकने के लिए, शोधकर्ताओं ने प्रत्येक प्रॉम्प्ट में एक निर्देश जोड़ा, जिसमें मॉडल को अपनी प्रतिक्रिया को संक्षिप्त रखने के लिए कहा गया था:

सेटिंग-1 में एमोजी-आधारित प्रॉम्प्ट्स से परिणाम, जिसमें एमोजी को शब्दों से बदलने या पूरी तरह से हटाने वाले अप्रभावी संस्करणों के साथ तुलना की जाती है। मॉडल नाम स्थान के लिए संक्षिप्त हैं।

उपरोक्त परिणाम तालिका में, बाएं हाथ की ओर से पता चलता है कि हानिकारक प्रॉम्प्ट्स जिनमें एमोजी शामिल थे उन्होंने अप्रभावी संस्करणों (अर्थात, जहां एमोजी को पाठ में परिवर्तित किया गया था या पूरी तरह से हटा दिया गया था) की तुलना में काफी उच्च एचएस और एचआर स्कोर प्राप्त किए:

लेखकों का उल्लेख है^† कि एमोजी प्रतिस्थापन दृष्टिकोण पिछले जेलब्रेक विधियों से बेहतर प्रदर्शन करता है, जैसा कि नीचे दी गई अतिरिक्त परिणाम तालिका में दिखाया गया है:

सेटिंग-2 में एमोजी-संवर्धित जेलब्रेक प्रॉम्प्ट्स के लिए हानिकारकता अनुपात परिणाम, मॉडल नाम संक्षिप्त रूप में दिखाए गए हैं।

उपरोक्त दो तालिकाओं में, लेखकों का कहना है कि पहली तालिका यह भी दर्शाती है कि एमोजी का प्रभाव भाषाओं में भी ले जाया जाता है। जब प्रॉम्प्ट्स के पाठ्य तत्वों का अनुवाद चीनी, फ्रांसीसी, स्पेनी और रूसी में किया गया, तो हानिकारक आउटपुट उच्च बने रहे; क्योंकि वे सभी उच्च-संसाधन भाषाएं हैं, परिणाम सुझाव देते हैं कि जोखिम अंग्रेजी तक सीमित नहीं है, बल्कि प्रमुख उपयोगकर्ता समूहों में व्यापक रूप से लागू होता है, एमोजी विषाक्त उत्पादन के लिए एक हस्तांतरणीय चैनल के रूप में कार्य करता है।

पत्र के निष्कर्ष की ओर, शोधकर्ता सुझाव देते हैं कि एमोजी का प्रभाव केवल दुर्घटना से नहीं है, बल्कि मॉडल द्वारा उन्हें संसाधित करने के तरीके में निहित है। उन्होंने यह भी उल्लेख किया कि मॉडल वास्तव में एमोजी के हानिकारक अर्थ को पहचान सकते हैं – लेकिन अस्वीकृति प्रतिक्रियाएं दबा दी जाती हैं जब एमोजी मौजूद होते हैं।

टोकनाइजेशन अध्ययन आगे से पता चलता है कि एमोजी आमतौर पर दुर्लभ या अनियमित टुकड़ों में टूट जाते हैं जो उनके पाठ समकक्षों के साथ बहुत कम ओवरलैप करते हैं, जिससे हानिकारक सेमांटिक्स के लिए एक वैकल्पिक चैनल बनता है।

मॉडल मैकेनिक्स से परे, पत्र प्रीट्रेनिंग डेटा की जांच करता है, जिसमें पाया जाता है कि कई बार उपयोग किए जाने वाले एमोजी विषाक्त संदर्भों जैसे पोर्नोग्राफी, स्कैम या जुए में दिखाई देते हैं। लेखकों का तर्क है कि इस बार-बार के संपर्क से एमोजी और हानिकारक सामग्री के बीच संबंध को सामान्य बनाया जा सकता है, जिससे मॉडल को विषाक्त प्रॉम्प्ट्स के साथ जुड़ने के लिए प्रोत्साहित किया जा सकता है, न कि उन्हें ब्लॉक करने के लिए।

एक साथ, ये निष्कर्ष यह सुझाव देते हैं कि मॉडल की आंतरिक प्रसंस्करण विशेषताओं और पूर्वाग्रहपूर्ण प्रीट्रेनिंग डेटा दोनों में एमोजी की अप्रत्याशित प्रभावशीलता में योगदान होता है जो सुरक्षा उपायों को बायपास करने में मदद करता है।

निष्कर्ष

यह असामान्य नहीं है कि एलएलएम को जेलब्रेक करने के प्रयास में वैकल्पिक इनपुट विधियों का उपयोग किया जाता है। हाल के वर्षों में, उदाहरण के लिए, हेक्साडेसिमल एन्कोडिंग का उपयोग चैटजीपीटी के फिल्टर को बायपास करने के लिए किया गया है। समस्या प्रतीत होती है पाठ-आधारित भाषा का समतल उपयोग जो आगमन और निर्गमन अनुरोधों को योग्य बनाने के लिए किया जाता है।

एमोजी के मामले में, एक छिपा हुआ नियम-तोड़ने वाला अर्थ डिस्कोर्स में पेश किया जा सकता है बिना दंड या हस्तक्षेप के, क्योंकि प्रसारण विधि अनोखी है। किसी को लगता है कि सीएलआईपी-आधारित अनुवाद सभी छवि अपलोड में हस्तक्षेप करेगा, ताकि अपमानजनक या उल्लंघनकारी सामग्री को फ्लैगेबल पाठ में बदल दिया जा सके।

स्पष्ट रूप से, यह मामला नहीं है, कम से कम अध्ययन में शामिल प्रमुख एलएलएम के लिए। उनके भाषाई बाधाएं प्रतीत होती हैं कि कठोर और पाठ-केंद्रित हैं। किसी को यह कल्पना कर सकता है कि सामग्री (जैसे हीटमैप एक्टिवेशन का अध्ययन करना) की व्यापक व्याख्या में प्रसंस्करण और/या बैंडविथ लागत हो सकती है जो ऐसे दृष्टिकोण को व्यावहारिक रूप से महंगा बना देती है, साथ ही साथ अन्य संभावित सीमाएं और विचार हैं।

* इस पत्र की व्यवस्था अधिकांश की तुलना में अराजक है, जिसमें विधि और परीक्षण स्पष्ट रूप से परिभाषित नहीं किए गए हैं। हमने इन परिस्थितियों में काम के मूल मूल्य को यथासंभव अच्छी तरह से प्रस्तुत करने का अपना सर्वश्रेष्ठ प्रयास किया है।

^† एक स्वीकारोक्ति में जो लगभग अप्राप्य और भ्रमित परिणामों का इलाज करता है।

बुधवार, 17 सितंबर, 2025 को पहली बार प्रकाशित।