क्या है एडवर्सेरियल पोएट्री? एक नया एआई जेलब्रेक तरीका

आर्टिफिशियल इंटेलिजेंस (एआई) सुरक्षा एक निरंतर बिल्ली और चूहे का खेल बन गया है। जैसे ही डेवलपर्स हानिकारक अनुरोधों को ब्लॉक करने के लिए गार्डरेल जोड़ते हैं, हमलावर उन्हें दरकिनार करने के नए तरीके आजमाते रहते हैं। अब तक का सबसे अजीब मोड़ एडवर्सेरियल पोएट्री है। यह तकनीक प्रॉम्प्ट्स को कविता के रूप में छुपाने और जोखिम भरे निर्देशों को कम खतरनाक दिखाने के लिए तुक, रूपक और असामान्य वाक्य रचना का उपयोग करती है।

व्यवहार में, सामग्री में बहुत अधिक बदलाव नहीं होता है। यह वह परत है जो बदलती है, जो पैटर्न-आधारित फिल्टर को भ्रमित करने के लिए पर्याप्त है। यह एक याद दिलाता है कि आज के मॉडल के साथ, कुछ पूछा जाने का तरीका लगभग उतना ही महत्वपूर्ण है जितना कि पूछा जा रहा है।

शोधकर्ताओं ने एआई को तोड़ने के लिए कविताओं का उपयोग किया तो क्या हुआ?

2025 की शुरुआत में, शोधकर्ताओं ने प्रदर्शित किया कि बड़े भाषा मॉडल (एलएलएम) पोएटिक फॉर्म में लिपटे प्रॉम्प्ट्स का जवाब दे सकते हैं। सीधे, नीति-ट्रिगर करने वाले निर्देश जारी करने के बजाय, शोधकर्ताओं ने उन्हें तुक, रूपक और कथात्मक कविता में एम्बेड किया।

सतह पर, प्रॉम्प्ट्स रचनात्मक लेखन अभ्यास के रूप में दिखाई दिए, लेकिन नीचे, वे सामान्य रूप से ब्लॉक किए जाने वाले उसी इरादे को ले जाते थे। 25 फ्रंटियर प्रोप्राइटरी और ओपन-वेटेड मॉडल में, टीम ने बताया कि कवितात्मक फ्रेमिंग ने हाथ से बनाई गई कविताओं के लिए 62% और मानक मेटा-प्रॉम्प्ट का उपयोग करके बल्क “कविता रूपांतरण” के लिए लगभग 43% जेलब्रेक सफलता दर हासिल की।

प्रतिक्रियाएं खुद नए प्रकार की विफलताएं नहीं थीं, बल्कि एक अप्रत्याशित दरवाजे से परिचित लोगों की उपस्थिति थी। मॉडल को सामान्य रूप से tránhी जाने वाली सामग्री का उत्पादन करने के लिए धक्का दिया गया था – जैसे कि अवैध या हानिकारक गतिविधियों पर स्पर्श करने वाले स्पष्टीकरण – क्योंकि अंतर्निहित अनुरोध कवितात्मक संरचना से टूटा हुआ और छुपा हुआ था।

अध्ययन का मुख्य निष्कर्ष यह है कि शैलीगत भिन्नता अकेले सुरक्षा प्रणालियों से बचने के लिए पर्याप्त हो सकती है जो अधिक साहित्यिक भाषा के लिए ट्यून की गई हैं। यह एक कमजोरी को उजागर करता है जो मॉडल परिवारों और संरेखण दृष्टिकोणों में स्पष्ट है।

एडवर्सेरियल पोएट्री कैसे काम करती है

एडवर्सेरियल हमले एक सरल वास्तविकता का फायदा उठाते हैं – मशीन लर्निंग सिस्टम मानवों की तरह भाषा को “समझ” नहीं करते हैं। वे पैटर्न का पता लगाते हैं, संभावित निरंतरता की भविष्यवाणी करते हैं और अपने प्रशिक्षण और सुरक्षा परतों द्वारा व्याख्या किए गए इरादे के आधार पर निर्देशों का पालन करते हैं।

जब एक प्रॉम्प्ट सीधे, साहित्यिक तरीके से व्यक्त किया जाता है, तो यह गार्डरेल के लिए इसे पहचानने और ब्लॉक करना आसान होता है। हालांकि, जब उसी उद्देश्य को छुपाया जाता है – टूटा हुआ, नरम या पुन: फ्रेम किया जाता है – तो सुरक्षा परतें वास्तव में क्या पूछा जा रहा है यह याद रखने में विफल हो सकती हैं।

कविता एक प्रभावी वाहन क्यों हो सकती है

कविता स्वाभाविक रूप से अस्पष्टता के लिए निर्मित है। यह रूपक, अमूर्तता, असामान्य संरचना और अप्रत्यक्ष भाषा पर निर्भर करती है। ये विशेषताएं हैं जो “हानिरहित रचनात्मक लेखन” और “एक अनुरोध जिसे अस्वीकार किया जाना चाहिए” के बीच की रेखा को धुंधला कर सकती हैं।

उसी 2025 के अध्ययन में, शोधकर्ताओं ने बताया कि कवितात्मक प्रॉम्प्ट्स ने एक विस्तृत मॉडल सेट में 90% की सफलता दर के साथ असुरक्षित प्रतिक्रियाएं उत्पन्न कीं, जो दर्शाता है कि शैली अकेले परिणामों को महत्वपूर्ण रूप से बदल सकती है।

एक कविता वास्तविक अनुरोध को कैसे छुपाती है

अनुरोध को एक संदेश के रूप में और कविता को पैकेजिंग के रूप में मानें। सुरक्षा फिल्टर अक्सर स्पष्ट संकेतों की तलाश करते हैं, जैसे कि स्पष्ट कीवर्ड, सीधे चरण-दर-चरण भाषा या पहचानने योग्य दुर्भावनापूर्ण इरादा।

कविता उस इरादे को कल्पनाशील भाषा या पंक्तियों में फैलाकर छुपा सकती है, जिससे इसे अलगाव में पहचानना मुश्किल हो जाता है। जबकि अंतर्निहित मॉडल अभी भी पर्याप्त रूप से अर्थ का निर्माण करता है ताकि यह प्रतिक्रिया दे सके, क्योंकि यह अप्रत्यक्ष भाषा के बावजूद इरादे को अनुमान लगाने के लिए अनुकूलित है।

जेलब्रेक का पता लगाना और उन्हें रोकना

जैसे ही जेलब्रेक तरीके अधिक रचनात्मक होते जाते हैं, बातचीत को यह जानने से कि वे कैसे काम करते हैं, उन्हें कैसे स्पॉट किया जाता है और उन्हें कैसे सीमित किया जाता है, इस पर स्थानांतरित करना होगा। यह विशेष रूप से सच है क्योंकि एआई अब कई लोगों के दैनिक दिनचर्या का हिस्सा है, जैसा कि 27% लोग इसका उपयोग करते हैं कई बार एक दिन में।

जैसे ही अधिक लोग बड़े भाषा मॉडल (एलएलएम) का उपयोग करते हैं, अतिरिक्त सुरक्षा उपायों का परीक्षण और अन्वेषण किया जाना चाहिए। यह कार्य परतदार रक्षा बनाने में शामिल है जो नए प्रॉम्प्ट शैलियों और बचाव तरकीबों के रूप में अनुकूलित हो सकते हैं जैसे ही वे उभरते हैं।

डेवलपर की दुविधा

एआई सुरक्षा टीमों के लिए जेलब्रेक के बारे में सबसे कठिन बात यह है कि वे एक ज्ञात खतरे के रूप में नहीं आते हैं। वे लगातार समय के साथ बदलते रहते हैं। यह लगातार बदलाव इसलिए है क्योंकि एक उपयोगकर्ता एक प्रॉम्प्ट को फिर से व्यक्त कर सकता है, इसे टुकड़ों में तोड़ सकता है, इसे रोलप्ले में लपेट सकता है या इसे रचनात्मक लेखन के रूप में छुपा सकता है। फिर, प्रत्येक नई पैकेजिंग प्रॉम्प्ट के इरादे की व्याख्या को बदल सकती है।

यह चुनौती तेजी से बढ़ जाती है जब एआई पहले से ही दैनिक दिनचर्या में एकीकृत होता है, इसलिए वास्तविक उपयोग अंतहीन संभावनाएं पैदा करता है कि किनारे के मामले दिखाई दें।

यही कारण है कि आज की एआई सुरक्षा जोखिम को समय के साथ प्रबंधित करने जैसी दिखती है। एनआईएसटी एआई जोखिम प्रबंधन फ्रेमवर्क (एआई आरएमएफ) जोखिम प्रबंधन को विशेष रूप से एक निरंतर सेट के रूप में मानता है गतिविधियों – शासित, मैप, माप और प्रबंधित – एक स्थिर चेकलिस्ट के बजाय। लक्ष्य प्रक्रियाओं को बनाना है जो उभरते विफलता मोड की पहचान करना, सुधार को प्राथमिकता देना और नए जेलब्रेक शैलियों के रूप में सुरक्षा को मजबूत करना आसान बनाता है।

मॉडल स्वयं को कैसे सुरक्षित रखते हैं

एआई सुरक्षा कई परतों से बनी है। अधिकांश प्रणालियों में एक से अधिक रक्षा कार्य कर रही है, प्रत्येक जोखिम भरे व्यवहार के विभिन्न प्रकार को पकड़ रही है। बाहरी परत पर, इनपुट और आउटपुट फिल्टरिंग एक गेटकीपर के रूप में कार्य करती है।

आगामी प्रॉम्प्ट्स को नीति उल्लंघनों के लिए स्कैन किया जाता है इससे पहले कि वे मुख्य मॉडल तक पहुंचें, जबकि आउटगोइंग प्रतिक्रियाओं की जांच की जाती है ताकि यह सुनिश्चित किया जा सके कि उपयोगकर्ता की ओर जाने के दौरान कुछ भी नहीं छूटता है। ये प्रणाली सीधे अनुरोधों या परिचित लाल झंडों की पहचान करने में अच्छी हैं, लेकिन वे भी सबसे आसानी से दरकिनार की जाने वाली हैं, जो अक्सर उन्हें दरकिनार करती हैं।

सुरक्षा की अगली परत मॉडल के भीतर होती है। जब जेलब्रेक तकनीकों का पता लगाया जाता है, तो वे अक्सर प्रशिक्षण उदाहरणों में बदल जाते हैं। यह वह जगह है जहां एडवर्सेरियल प्रशिक्षण और मानव प्रतिक्रिया से पुनरावृत्ति शिक्षा (आरएलएचएफ) चित्र में आती है।

जोखिम भरे इंटरैक्शन के उदाहरणों पर मॉडल को फाइन-ट्यून करके, डेवलपर्स प्रभावी रूप से सिस्टम को सिखाते हैं कि उन पैटर्न को पहचानने के लिए जिन्हें यह अस्वीकार करना चाहिए, भले ही वे अप्रत्यक्ष या रचनात्मक भाषा में लिपटे हों। समय के साथ, यह प्रक्रिया मॉडल को पूरे हमलों के वर्गों के खिलाफ प्रतिरक्षित करने में मदद करती है।

एआई “रेड टीमिंग” की भूमिका

एक जेलब्रेक के होने की प्रतीक्षा करने के बजाय, कंपनियां एआई लाल टीमों का उपयोग करती हैं। ये टीमें उन समूहों हैं जो नियंत्रित वातावरण में मॉडल को तोड़ने का प्रयास करने के लिए सौंपे जाते हैं। वे प्रणालियों को उस तरह से देखते हैं जैसे एक हमलावर देखेगा, असामान्य भाषा, रचनात्मक प्रारूप और किनारे के मामलों के साथ प्रयोग करके सुरक्षा की कमजोरियों को उजागर करने के लिए। लक्ष्य वास्तविक दुनिया में दिखाई देने से पहले कमजोरियों को उजागर करना है।

लाल टीमिंग अब साइबर सुरक्षा रणनीतियों में विकास जीवन चक्र का एक मूलभूत हिस्सा बन रही है। जब एक टीम एक नई जेलब्रेक तकनीक का पता लगाती है, तो परिणामी डेटा सीधे प्रशिक्षण और मूल्यांकन पाइपलाइनों में खिलाता है। उस जानकारी का उपयोग फिल्टर को परिभाषित करने, नीतियों को समायोजित करने और एडवर्सेरियल प्रशिक्षण को मजबूत करने के लिए किया जाता है ताकि भविष्य में इसी तरह के प्रयास कम सफल हों। समय के साथ, यह एक निरंतर लूप बनाता है – विफलताओं के लिए सोनार, उनसे सीखना और प्रणाली में सुधार करना, फिर दोहराना।

जब कविता एआई सुरक्षा के लिए एक तनाव परीक्षण बन जाती है

एडवर्सेरियल पोएट्री एक याद दिलाती है कि एआई सुरक्षा उपाय प्रश्नों को पूछने के तरीके पर निर्भर करते हैं, न कि केवल पूछे जाने वाले प्रश्नों पर। जैसे ही मॉडल अधिक सुलभ और व्यापक रूप से उपयोग किए जाते हैं, शोधकर्ता रचनात्मक भाषा और सुरक्षा प्रणालियों के बीच के अंतराल को जांचते रहेंगे जो अधिक प्रत्यक्ष इरादे को पकड़ने के लिए डिज़ाइन किए गए हैं। निष्कर्ष यह है कि सुरक्षित एआई कई रक्षाओं से आएगा जो जेलब्रेक की तरह तेजी से विकसित होते हैं।