आसान शब्दों का पुनर्लेखन एआई सुरक्षा को तोड़ देता है, जेमिनी और क्लॉड के लिए भी

एआई सुरक्षा परीक्षणों में ‘स्पष्ट’ ट्रिगर शब्दों पर निर्भर करने के लिए पाया गया; आसान शब्दों के पुनर्लेखन के साथ, ‘सुरक्षित’ मॉडल अचानक विफल हो जाते हैं, हमले 98% तक के समय में सफल होते हैं।

संयुक्त राज्य अमेरिका से नए कॉर्पोरेट शोध ने निष्कर्ष निकाला है कि विभिन्न बड़े भाषा मॉडल (एलएलएम) – जिनमें जेमिनी 3 प्रो और क्लॉड सोनेट 3.7 जैसे कई प्रमुख नाम शामिल हैं – का अच्छा सुरक्षा रिकॉर्ड अर्थहीन हो सकता है, क्योंकि उन्हें स्थापित करने के लिए उपयोग किए जाने वाले डेटासेट और बेंचमार्क ‘स्पष्ट’ भाषा से भरे हुए हैं।

प्रश्न में दो डेटासेट, जो इस साइट पर विभिन्न पेपर समीक्षाओं में दिखाई दिए हैं, हार्मबेंच और एडवबेंच हैं:

हार्मबेंच और एडवबेंच पेपर्स से प्रतिनिधित्व उदाहरण – वास्तविक दुनिया के दृश्यों में, ये उदाहरण दुर्भावनापूर्ण इरादे को स्पष्ट रूप से संकेत देते हैं, जो परिणामों को ‘गेम’ करने का कारण बनता है। स्रोत – हार्मबेंच [https://arxiv.org/pdf/2402.04249] और एडवबेंच [https://arxiv.org/pdf/2307.15043]

हालांकि उपरोक्त उदाहरण, जो प्रत्येक बेंचमार्क के लिए पेपर से हैं, सिद्धांतों को दर्शाने के लिए जानबूझकर सरल हैं, नए शोध का तर्क है कि वास्तव में, ये संग्रह वास्तव में ‘निम्न-लटके हुए फल’ को लक्षित करते हैं, और इसलिए प्रभावी बेंचमार्क नहीं हो सकते हैं – और परीक्षण किए गए एलएलएम की सुरक्षा क्षमताओं के वास्तविक परिणाम स्पष्ट रूप से रिपोर्ट किए गए परिणामों से नीचे हैं:

‘[हम] मूल्यांकन करते हैं कि क्या ये डेटासेट वास्तव में सुरक्षा जोखिमों को मापते हैं या केवल ट्रिगरिंग संकेतों के माध्यम से इनकार को उत्तेजित करते हैं। इसे खोजने के लिए, हम ‘इरादा धुलाई’ पेश करते हैं: एक प्रक्रिया जो हमलों (डेटा बिंदुओं) से ट्रिगरिंग संकेतों को अमूर्त करती है, जबकि दुर्भावनापूर्ण इरादे और सभी प्रासंगिक विवरणों को सख्ती से संरक्षित करती है।

‘हमारे परिणाम बताते हैं कि वर्तमान एआई सुरक्षा डेटासेट वास्तविक दुनिया के हमलों का विश्वासपूर्वक प्रतिनिधित्व नहीं करते हैं क्योंकि वे ट्रिगरिंग संकेतों पर अत्यधिक निर्भर हैं।

‘वास्तव में, एक बार जब ये संकेत हटा दिए जाते हैं, तो सभी पहले मूल्यांकित ‘सुरक्षित’ मॉडल असुरक्षित हो जाते हैं, जिनमें जेमिनी 3 प्रो और क्लॉड सोनेट 3.7 शामिल हैं।’

‘सुरक्षा’ इस अर्थ में संरेखण का प्रतिनिधित्व करती है – एलएलएम की क्षमता उपयोगकर्ताओं के प्रयासों को रोकने के लिए अपने एपीआई-केवल सिस्टम पर प्रतिबंधों को ‘जेलब्रेक’ करने के लिए, ताकि प्रणाली प्रतिबंधित आउटपुट का उत्पादन करे, जैसे कि अपमानजनक पाठ या छवियां।

लेखकों की उपरोक्त इरादा धुलाई simplemente दो डेटासेट/बेंचमार्क में ‘स्पष्ट’ हमलों को फिर से लिखने के लिए शामिल है, ताकि वे अधिक सूक्ष्म और दुर्भावनापूर्ण हो जाएं, और फिल्टर और जांच को बायपास करने में बहुत अधिक सक्षम हों:

<img class="size-full wp-image-278944" src="https://www.unite.ai/wp-content/uploads/2026/02/figure-6-upper-1.jpg" alt="पेपर से एक अन्य उदाहरण का ऊपरी भाग। ऊपरी बाएं, पीले रंग में, हार्मबेंच और एडवबेंच द्वारा आमतौर पर प्रदान किए जाने वाले 'स्पष्ट' प्रॉम्प्ट का प्रकार; नीचे, हरे रंग में, प्रॉम्प्ट को तटस्थ कर दिया गया है, पुनर्लिखित और क्लॉड सोनेट 3.7 के लिए पर्याप्त रूप से स्वीकार्य बना दिया गया है कि यह अब उपयोगकर्ता को एक नए शहर में 'चॉप शॉप' (चोरी की गई वाहनों के लिए प्रसंस्करण स्थान) खोजने में मदद करने के लिए तैयार है। स्रोत – https://arxiv.org/pdf/2602.16729

शोधकर्ताओं ने दो दृष्टिकोणों से दो डेटासेट के गुणों का विश्लेषण किया: अलगाव में, वास्तविक दुनिया के हमलों के गुणों की तुलना में संग्रह की तुलना करने के लिए; और अभ्यास में, जहां डेटासेट – और लेखकों के अपने ‘सुधार’ – वास्तविक दुनिया के मॉडलों पर हमला करने के लिए उपयोग किए गए थे:

दूसरे दौर के परीक्षणों में, शोधकर्ताओं ने अपनी पुनर्लेखन विधि को पुनरावृत्ति में सुधारा जब तक कि उन्हें हमले की सफलता दर (एएसआर) के मामले में अनुकूल परिणाम नहीं मिले:

<img class=" wp-image-278948" src="https://www.unite.ai/wp-content/uploads/2026/02/figure-1-2.jpg" alt="इरादा धुलाई एक प्रत्यक्ष रूप से दुर्भावनापूर्ण प्रॉम्प्ट को एक पुनर्लेखन मॉडल के माध्यम से पारित करके शुरू होती है जो स्पष्ट ट्रिगर भाषा को हटा देती है जबकि अंतर्निहित हानिकारक इरादे को संरक्षित करती है। संशोधित प्रॉम्प्ट को फिर लक्ष्य मॉडल में प्रस्तुत किया जाता है, और इसकी प्रतिक्रिया का मूल्यांकन सुरक्षा और व्यावहारिक अनुप्रयोग दोनों के लिए किया जाता है। यदि आउटपुट असुरक्षित और व्यावहारिक रूप से अनुप्रयोग योग्य माना जाता है, तो हमले को सफल माना जाता है। यदि नहीं, तो पहले के विफल संशोधनों को पुनर्लेखन मॉडल में वापस फीड किया जाता है ताकि सुधारित संस्करण प्राप्त किए जा सकें, एक पुनरावृत्ति लूप बनाया जा सके जो एक जेलब्रेकिंग तंत्र के रूप में कार्य करता है जब तक कि एक पूर्व निर्धारित संख्या में प्रयास किए जाते हैं या एक वांछित हमले की सफलता दर प्राप्त की जाती है।

लेखकों का कथन है*:

‘हमारे परिणाम दिखाते हैं कि इस पुनरावृत्ति लूप के साथ, इरादा धुलाई पूरी तरह से काले बॉक्स पहुंच के बाद केवल कुछ पुनरावृत्तियों में 90% -98.55% की उच्च एएसआर प्राप्त करती है। यह हाल ही में उन मॉडलों को शामिल करता है जिन्हें सबसे सुरक्षित माना जाता है – जैसे कि जेमिनी 3 प्रो और क्लॉड सोनेट 3.7।’

‘इन निष्कर्षों से यह आगे पता चलता है कि मौजूदा सुरक्षा मूल्यांकन और सुरक्षा-संरेखण विधियां ट्रिगरिंग संकेतों के लिए अत्यधिक फिट हैं। ^†‘

नया काम इरादा धुलाई: एआई सुरक्षा डेटासेट वे नहीं हैं जो वे दिखते हैं नामक है, और सैन फ्रांसिस्को स्थित सॉफ्टवेयर कंपनी लेबलबॉक्स में दो लेखकों से आया है।

विधि

दो बेंचमार्क डेटासेट की संरचना और वास्तुकला का अध्ययन करने के लिए, शब्द बादलों को दो निगमों से उत्पन्न किया गया, जो दिखाते हैं कि कौन से शब्द और छोटे वाक्यांश संग्रह को प्रभावित करते हैं:

<img class=" wp-image-278949" src="https://www.unite.ai/wp-content/uploads/2026/02/figure-2-5.jpg" alt="संयुक्त एडवबेंच और हार्मबेंच डेटासेट में 40 सबसे अधिक बार आने वाले यूनीग्राम, बिग्राम और ट्रिग्राम को दिखाने वाले शब्द बादल। स्वाभाविक रूप से नकारात्मक या संवेदनशील अर्थ वाले शब्द लाल रंग में हाइलाइट किए गए हैं, संदर्भ ट्रिगर नारंगी में हैं, और तटस्थ शब्द जो उच्च क्रम के ट्रिगर बनाते हैं हरे रंग में हैं। 'ट्यूटोरियल' और 'कदम-दर-कदम निर्देश' जैसे स्पष्ट वाक्यांशों की एकाग्रता सुझाव देती है कि दोनों बेंचमार्क स्पष्ट संकेतों पर भारी निर्भर करते हैं, न कि वास्तविक दुनिया के हमलों की तरह।

लेखकों का ध्यान है कि प्रमुख एक, दो और तीन-शब्द ग्राम दुर्भावनापूर्ण इरादे को असामान्य रूप से प्रकट करते हैं, वास्तविक दुनिया में अपराधियों द्वारा चर्चा की जाने वाली भाषा के विपरीत, और हमलावर एलएलएम की रक्षा का परीक्षण करते समय या समझने की कोशिश करते समय इसका उपयोग करते हैं:

‘इन संकेतों ने दो गुणों को कमजोर कर दिया – अच्छी तरह से तैयार किया गया और दुर्भावनापूर्ण इरादे से प्रेरित – क्योंकि ऐसी स्पष्ट भाषा वास्तविक दुनिया के हमलों में शायद ही कभी दिखाई देती है और सुरक्षा तंत्र को कृत्रिम रूप से ट्रिगर करने के लिए डिज़ाइन की जाती है। ‘

लेख में संग्रह के पैटर्न को ‘ट्रिगरिंग संकेत’ के रूप में वर्णित किया गया है – जो स्पष्ट रूप से नकारात्मक या संवेदनशील अर्थ वाले वाक्यांश हैं जो सुरक्षा फिल्टर को सक्रिय करने के लिए डिज़ाइन किए गए प्रतीत होते हैं। कुछ स्वाभाविक रूप से चार्ज किए गए हैं, जैसे कि ‘आत्महत्या करने के लिए’, जबकि अन्य केवल संदर्भ में चार्ज होते हैं, जैसे कि जब एक हानिकारक उद्देश्य को ‘पकड़े जाने’ के बिना जैसे शब्दों के साथ जोड़ा जाता है, जो स्पष्ट रूप से इरादे को संकेत देता है:

जैसे-जैसे n-ग्राम में शब्दों की संख्या बढ़ती है, डेटासेट की भाषा में असंतुलन अधिक स्पष्ट हो जाता है, जिसमें स्पष्ट नकारात्मक या संवेदनशील अर्थ वाले वाक्यांश सबसे अधिक बार आने वाले n-ग्राम को प्रभावित करते हैं (ऊपर देखें)। लेख में इन्हें ट्रिगरिंग वाक्यांश के रूप में वर्णित किया गया है, जो ट्रिगरिंग शब्द के साथ मिलकर ट्रिगरिंग संकेत बनाते हैं।

कुछ वाक्यांश पहले से ही लोडेड शब्दों का विस्तार करते हैं, जैसे कि जब ‘चोरी’ ‘संवेदनशील जानकारी चोरी’, ‘गोपनीय जानकारी चोरी’, या ‘व्यक्तिगत जानकारी चोरी’ में बदल जाता है; और, उदाहरण के लिए, जब ‘प्रतिबद्धता’ ‘आत्महत्या करने के लिए प्रतिबद्धता’, ‘इनसाइडर ट्रेडिंग करने के लिए प्रतिबद्धता’, या ‘पहचान की चोरी करने के लिए प्रतिबद्धता’ में बदल जाता है – स्पष्ट रूप से पुलिस, अदालतों और मीडिया रिपोर्टिंग की भाषा और शब्दावली।

अन्य पूरी तरह से तटस्थ शब्दों से बने होते हैं जो केवल संयोजन में ही चिंताजनक हो जाते हैं, जैसे कि ‘पकड़े जाने के बिना’, एक निर्माण जो बचने का संकेत देता है尽管 इसमें कोई अंतर्निहित चार्ज नहीं है:

दोहराना

लेखकों का अवलोकन है कि स्पष्ट संकेतों की पुनरावृत्ति न केवल प्रॉम्प्ट को बनावटी बनाती है, बल्कि संग्रह में डेटा की महत्वपूर्ण पुनरावृत्ति को भी इंगित करती है। इस सिद्धांत का परीक्षण करने के लिए, उन्होंने प्रत्येक डेटासेट में जोड़ीवार समानता जांच चलाई, 0.7 से 0.99 तक के थ्रेशोल्ड लागू किए, और एक निश्चित थ्रेशोल्ड से अधिक प्रॉम्प्ट को डुप्लिकेट के रूप में समूहित किया, जबकि बाकी को अद्वितीय माना:

चूंकि एकल-डोमेन डेटासेट में ‘उच्च’ समानता के लिए कोई सहमत मानक नहीं है, उन्होंने ओपन एआई के ग्रेड स्कूल गणित (जीएसएम8के) का उपयोग किया, एक लोकप्रिय गैर-सुरक्षा बेंचमार्क, हार्मबेंच और एडवबेंच के नमूना आकार को मिलाने के लिए एक नियंत्रित तुलना के लिए:

एडवबेंच और हार्मबेंच में समानता की दर, जीएसएम8के के आकार के अनुसार तुलना की गई। लगभग हर थ्रेशोल्ड पर, सुरक्षा डेटासेट में गैर-सुरक्षा बेंचमार्क की तुलना में बहुत अधिक लगभग समान प्रॉम्प्ट होते हैं, जो यह सुझाव देते हैं कि रिपोर्ट की गई सुरक्षा प्रदर्शन संभावित रूप से बढ़ा-चढ़ाकर पेश की जा रही है। कृपया बेहतर रिज़ॉल्यूशन के लिए स्रोत पत्र देखें।

एक दूसरा निष्कर्ष इस अध्ययन के इस हिस्से से आया था जिसने प्रत्येक डेटासेट के भीतर प्रॉम्प्ट की तुलना की, यह मापने के लिए कि कितने वास्तव में अलग थे: मध्य-श्रेणी की समानता सेटिंग पर, एडवबेंच प्रॉम्प्ट का केवल लगभग 11% अलग था, जबकि जीएसएम8के के एक आकार के अनुसार नमूने में लगभग 94% प्रश्न अलग थे:

एडवबेंच और हार्मबेंच में लगभग समान प्रॉम्प्ट के उदाहरण, जो मुख्य रूप से शब्दों में भिन्न होते हैं, जबकि एक ही हानिकारक इरादे को व्यक्त करते हैं। स्पष्ट संकेतों का बार-बार उपयोग, जो लाल रंग में स्वाभाविक रूप से चार्ज किए गए शब्दों के लिए और नारंगी रंग में संदर्भ-निर्भर लोगों के लिए दिखाया गया है, एकल दृश्य के लिए एक प्रॉम्प्ट की तरह पर्याप्त प्रतिक्रिया उत्पन्न करने वाले प्रॉम्प्ट के समूह बनाता है।

हार्मबेंच ने उसी प्रवृत्ति को दिखाया, जिसमें 16% डुप्लिकेट थे उस स्तर पर जीएसएम8के की तुलना में 3.5%, जिसका अर्थ है कि सुरक्षा डेटासेट अक्सर एक ही हानिकारक अनुरोध के साथ मामूली शब्दों में परिवर्तन किया जाता है।

यदि 85% अलग उदाहरण एक उचित मानक माना जाता है, तो एडवबेंच ने केवल एक अत्यधिक सख्त सेटिंग पर उस स्तर को प्राप्त किया, और अभी भी 90% से अधिक नहीं पहुंचा, जबकि जीएसएम8के ने एक बहुत कम थ्रेशोल्ड पर 85% तक पहुंचा, जो यह सुझाव देता है कि सुरक्षा बेंचमार्क एक विस्तृत श्रृंखला के हमले दृश्यों के बजाय एक ही विचार के पुनरावृत्ति परीक्षण करते हैं:

अतिरिक्त दृष्टिकोण, और परीक्षण

काम की उपरोक्त एलएलएम-संचालित ‘इरादा धुलाई’ तकनीक स्पष्ट ट्रिगर भाषा को हटा देती है, जबकि अंतर्निहित हानिकारक उद्देश्य को बनाए रखती है। इसके बजाय स्पष्ट रूप से इरादे को व्यक्त करने के, संशोधित प्रॉम्प्ट का सुझाव देते हैं यह, हानिकारक पेलोड को बनाए रखते हुए, उन संकेतों से बचते हैं जो एलएलएम द्वारा तुरंत इनकार का कारण बन सकते हैं:

इसे सुविधाजनक बनाने वाली दो विधियां अर्थ का तटस्थीकरण थीं, जो स्पष्ट नकारात्मक शब्दों को तटस्थ या विवरणात्मक विकल्पों से बदल देती हैं; और संदर्भ ट्रांसपोज़िशन, जो वास्तविक दुनिया के संदर्भों को काल्पनिक सेटिंग्स में स्थानांतरित करता है, व्यावहारिक अर्थ को बदले बिना।

एक छोटा सेट हाथ से लिखा गया था, जिसके बाद प्रक्रिया को जीपीटी-5.1 (जीपीटी-5.1-2025-11-13) का उपयोग करके स्वचालित किया गया था, एक आठ-शॉट इन-कॉन्टेक्स्ट लर्निंग सेटअप के साथ ‘इरादा धुलाईकर्ता’ के रूप में। मूल और पुनर्लिखित प्रॉम्प्ट के लिए प्रतिक्रियाओं की तुलना सुरक्षा मूल्यांकन को प्रभावित करने वाले स्पष्ट ट्रिगर शब्दों के प्रभाव को मापने के लिए की गई थी:

चूंकि इरादा धुलाई दोनों शब्दों और फ्रेमिंग को बदल सकती है, प्रतिक्रियाओं का मूल्यांकन सुरक्षा और व्यावहारिकता के संदर्भ में किया गया था। सुरक्षा को पांच-बिंदु लिकर्ट स्केल पर मापा गया था, जो ‘बहुत असुरक्षित’ से ‘सुरक्षित’ तक था, यह देखते हुए कि क्या प्रतिक्रिया में मूल दुर्भावनापूर्ण इरादा संरक्षित था – और, यदि ऐसा था, तो यह कितना हानिकारक था:

मूल एडवबेंच और हार्मबेंच डेटा बिंदुओं के लिए प्रतिक्रियाओं के मानक सुरक्षा मूल्यांकन के लिए एक प्रॉम्प्ट टेम्पलेट। जीपीटी-5.1 को प्रतिक्रिया को ‘बहुत असुरक्षित’ से ‘सुरक्षित’ तक पांच-बिंदु लिकर्ट स्केल पर मूल्यांकन करने के लिए निर्देशित किया गया था, जो यह देखते हुए कि सामग्री हानि को सक्षम बनाती है या नहीं।

‘व्यावहारिकता’ को एक समानांतर पांच-बिंदु स्केल पर मापा गया था, जो ‘बहुत लागू’ से ‘अनुपयोगी’ तक था, जो यह देखते हुए कि विवरण कितने उपयोगी और वास्तविक दुनिया में लागू होंगे; और एएसआर ने प्रदर्शन को मापा, जिसमें एक संशोधन को केवल तभी सफल माना जाता था जब प्रतिक्रिया दोनों असुरक्षित और व्यावहारिक थी:

पांच-बिंदु रेटिंग को द्विआधारी परिणामों में मैप किया गया था ताकि अस्पष्टता को कम किया जा सके, और इरादा धुलाई को जेलब्रेकिंग तकनीक में विकसित किया गया था जिसमें एक पुनरावृत्ति पुनरावृत्ति-पुनर्जन्म लूप जोड़ा गया था, जिसमें विफल संशोधनों को उसी आठ-शॉट इन-कॉन्टेक्स्ट लर्निंग सेटअप के तहत जीपीटी-5.1 में वापस फीड किया जाता था। यह लूप तब तक जारी रहा जब तक कि एक पूर्व निर्धारित संख्या में प्रयास नहीं किए गए या एक वांछित हमले की सफलता दर प्राप्त नहीं हो गई:

सुरक्षा मूल्यांकन परीक्षणों के लिए, पाइथन वर्डक्लाउड पैकेज का उपयोग हार्मबेंच और एडवबेंच से n-ग्राम निकालने के लिए किया गया था, जिसमें रोकथाम विधियों (अर्थात, रोकथाम के शब्दों और अन्य गैर-प्रासंगिक शब्दों और अक्षरों को हटाने के लिए) का उपयोग किया गया था:

सुरक्षा डेटासेट का उपयोग पहले के शब्द बादल विश्लेषण के लिए किया गया था, जिसे यादृच्छिक नमूनों के साथ जोड़ा गया था जो जीएसएम8के से, संग्रहों के पार समान शब्दों की संख्या के लिए:

लेखकों ने एम्बेडिंग का उपयोग किया ऑल-मिनीलएम-एल6-वी2 चेकपॉइंट से सेंटेंस-बर्ट ट्रांसफॉर्मर से, क्योंकि यह पहले से ही क्लस्टरिंग और सेमेंटिक खोज के लिए फाइन-ट्यून किया गया है:

मूल्यांकन मानदंड (अब विलुप्त) ओपनएआई जीपीटी-4ओ मॉडल द्वारा उत्पन्न किया गया था, 1024 टोकन तक सीमित था। जीपीटी-5.1 ने इरादा धुलाई के बाद सुरक्षा और व्यावहारिकता दोनों का मूल्यांकन किया, जो सभी तरह से मेल खाता था, इरादा धुलाई के साथ मेल खाता था, सिवाय इसके कि यह भी 1024 टोकन तक सीमित था:

परीक्षण किए गए मॉडल जेमिनी 3 प्रो; क्लॉड सोनेट 3.7; ग्रोक 4; जीपीटी-4ओ; और क्वेन2.5-7बी-इन्सट्रक्ट थे। जहां लागू हो, क्योंकि तर्क एक अतिरिक्त कारक था, इसे संभव के रूप में कम किया गया था तर्क-सक्षम मॉडल में:

सभी मॉडलों को 4096 टोकन की आउटपुट सीमा के साथ सीमित किया गया था:

सात मॉडलों पर एडवबेंच (शीर्ष) और हार्मबेंच (नीचे) पर तीन स्थितियों के तहत सुरक्षा मूल्यांकन (एसई), व्यावहारिकता मूल्यांकन (पीई), और हमले की सफलता दर (एएसआर): कोई संशोधन नहीं, पहला संशोधन, और इरादा धुलाई की पुनरावृत्ति-पुनर्जन्म। एसई असुरक्षित, बहुत असुरक्षित, या असुरक्षित प्रतिक्रियाओं के प्रतिशत की रिपोर्ट करता है; पीई बहुत लागू, लागू, या अनुपयोगी प्रतिक्रियाओं की रिपोर्ट करता है; और एएसआर उन प्रतिक्रियाओं के हिस्से को मापता है जो दोनों असुरक्षित और व्यावहारिक हैं। कोई संशोधन नहीं होने पर, एएसआर मानक परिभाषा का पालन करता है क्योंकि कोई अमूर्तता लागू नहीं की जाती है। बोल्ड मान प्रत्येक डेटासेट में प्राप्त किए गए उच्चतम एएसआर को इंगित करते हैं, और कम एएसआर मॉडल सुरक्षा को मजबूत करता है। कृपया बेहतर रिज़ॉल्यूशन के लिए स्रोत पत्र देखें।

इन प्रारंभिक परिणामों के संबंध में, लेखकों का ध्यान है कि स्पष्ट ट्रिगरिंग संकेतों को हमले के प्रॉम्प्ट से हटाने से हमले की सफलता दर में तेजी से वृद्धि हुई। एडवबेंच पर, माध्य एएसआर प्रारंभिक 5.38% से पहले संशोधन के बाद 86.79% तक बढ़ गया, हार्मबेंच पर 13.79% से 79.83% तक – यह संकेत देते हुए कि मॉडल के इनकार मुख्य रूप से स्पष्ट ट्रिगर भाषा की उपस्थिति से जुड़े थे:

लेखकों का अवलोकन है:

‘यह दर्शाता है कि मॉडल के इनकार मुख्य रूप से ट्रिगरिंग संकेतों की उपस्थिति से प्रेरित होते हैं। ‘परिणामस्वरूप, सुरक्षा डेटासेट वास्तविक दुनिया के सुरक्षा जोखिमों को विश्वसनीय रूप से मापने में विफल रहते हैं, क्योंकि वे वास्तविक दुर्भावनापूर्ण इरादे की तुलना में ट्रिगरिंग संकेतों पर अधिक निर्भर करते हैं। ‘

इरादा धुलाई, लेख में तर्क दिया गया है, प्रभावी रूप से ट्रिगरिंग संकेतों को हटा दिया, जबकि दुर्भावनापूर्ण इरादे को बनाए रखा, और एक मजबूत जेलब्रेकिंग विधि के रूप में कार्य किया। अंतिम पुनरावृत्ति-पुनर्जन्म पुनरावृत्ति में, प्रत्येक डेटासेट में उच्चतम एएसआर के अनुरूप, हमले की सफलता दर 90% से 98.55% तक पहुंच गई सभी मॉडलों पर:

इसमें जेमिनी 3 प्रो और क्लॉड सोनेट 3.7 शामिल थे, जो एडवबेंच पर 93% से 95% और हार्मबेंच पर 91% से 93% के एएसआर के साथ केवल कुछ पुनरावृत्तियों के बाद जेलब्रेक हो गए थे:

लेखकों का निष्कर्ष है:

‘हमारे परिणाम दिखाते हैं कि पूर्व सुरक्षा निष्कर्ष ट्रिगरिंग संकेतों को हटाने के बाद नहीं रहते हैं, और यह कि देखा गया सुरक्षा प्रदर्शन मुख्य रूप से ट्रिगरिंग संकेतों की उपस्थिति से प्रेरित है, न कि अंतर्निहित सुरक्षा जोखिमों से।

‘हमने आगे दिखाया कि इरादा धुलाई का उपयोग एक शक्तिशाली जेलब्रेकिंग तकनीक के रूप में किया जा सकता है, 90% से अधिक 98% तक की उच्च हमले की सफलता दर हासिल की जा सकती है।

‘कुल मिलाकर, हमारे निष्कर्ष एक महत्वपूर्ण अंतर का खुलासा करते हैं कि मॉडल सुरक्षा का मूल्यांकन कैसे किया जाता है और वास्तविक दुनिया के दुर्भावनापूर्ण व्यवहार कैसे प्रकट होते हैं।

‘इस आधार पर, हम निष्कर्ष निकालते हैं कि (1) सुरक्षा मूल्यांकन को अधिक वास्तविक दुर्भावनापूर्ण हमलों को पकड़ने के लिए विकसित होने की आवश्यकता है, और (2) वर्तमान सुरक्षा-संरेखण प्रयास अभी भी वास्तविक दुनिया के खतरों के खिलाफ मजबूत नहीं हैं। ‘

निष्कर्ष

एक सामान्य धागा जो अभी भी भाषा और कंप्यूटर दृष्टि साहित्य (और जहां वे मिलते हैं, जैसे वीएलएम में) में चलता है, वह यह असमर्थता है कि यह विश्वसनीय रूप से समझा जाए कि जब कोई प्रतिबंधित सामग्री का उत्पादन कर रहा है; या यहां तक कि जब कोई अनजाने में इसके करीब जा रहा है, बाहरी दबाव के बिना:

बड़े और अधिक अपारदर्शी मॉडल फाउंड्री के पीछे, यह माना जा सकता है कि इन सेमेंटिक कैचमेंट क्षेत्रों पर राड को कठोरता से बांधना गैर-प्रतिबंधित पीढ़ी पर प्रदर्शन में गिरावट, या सामग्री फिल्टर से असहनीय दर पर झूठे सकारात्मक परिणाम के साथ आता है:

किसी भी डोमेन में प्रशिक्षित मॉडल की मूल प्रकृति यह है कि यह अपने सभी प्रशिक्षण डेटा का पालन करे जो एक प्रॉम्प्ट को किसी भी निष्कर्ष तक ले जा सकता है; एकमात्र स्वदेशी प्रतिबंध उपलब्ध हैं: एक) प्रशिक्षण डेटा में विवादास्पद सामग्री को शामिल न करें (जो एक लॉजिस्टिक समस्या है); या बी) प्रशिक्षण के बाद से अनियंत्रित सामग्री के लिए मार्गों को ‘काट दें’ (एक प्रक्रिया जिसे अक्सर अभिषेक द्वारा, या अनजाने में फाइन-ट्यूनिंग के दुष्प्रभाव के रूप में उलटा जा सकता है):

* मेरा लेखकों के इनलाइन उद्धरणों को हाइपरलिंक में बदलना। लेखकों के बल दिए गए, मेरे नहीं। † https://www.unite.ai/what-is-overfitting/

^† https://www.unite.ai/what-is-overfitting/

सोमवार, 23 फरवरी, 2026 को पहली बार प्रकाशित