हिडनलेयर शोधकर्ताओं ने ओपनएआई के गार्डरेल्स को बायपास किया, एआई स्व-नियमन में एक महत्वपूर्ण दोष का पर्दाफाश किया

६ अक्टूबर, २०२५ को, ओपनएआई ने एजेंटकिट की घोषणा की, जो एआई एजेंटों के निर्माण, तैनाती और प्रबंधन के लिए एक टूलकिट है। इसके घटकों में से एक है गार्डरेल्स – एक मॉड्यूलर सुरक्षा परत जो एजेंट के इनपुट, आउटपुट और टूल इंटरैक्शन की निगरानी करने के लिए डिज़ाइन की गई है ताकि दुरुपयोग, डेटा लीक या दुर्भावनापूर्ण व्यवहार को रोका जा सके। गार्डरेल्स पीआईआई को मास्क या फ्लैग कर सकते हैं, जेलब्रेक का पता लगा सकते हैं और एजेंट के निष्पादन के साथ-साथ नीति प्रतिबंध लागू कर सकते हैं।

गार्डरेल्स ओपनएआई के एजेंट आर्किटेक्चर का एक नया सार्वजनिक हिस्सा है, हिडनलेयर के शोध एक गहरी कमजोरियों का खुलासा करते हैं: क्योंकि एजेंट की क्रियाएं और सुरक्षा जांच दोनों समान मॉडल तर्क का उपयोग करते हैं, हमलावर ऐसे इनपुट बना सकते हैं जो दोनों को एक साथ कमजोर कर देते हैं – प्रभावी रूप से सुरक्षा परत को अंदर से तोड़ देते हैं।

हिडनलेयर ने क्या खोजा

ओपनएआई के डिज़ाइन में एजेंटों की कल्पना की गई है जो श्रृंखलाबद्ध तर्क के माध्यम से काम करते हैं: एक उपयोगकर्ता अनुरोध जारी करता है, एजेंट टूल या बाहरी संसाधनों को कॉल करता है, और प्रतिक्रियाओं को गार्डरेल्स द्वारा फ़िल्टर या सत्यापित किया जाता है trước कि वे निष्पादित या आउटपुट हों। उद्देश्य यह है कि एजेंट जो कुछ भी करने की कोशिश करता है – चाहे वह पाठ उत्पन्न करना हो, एक वेबपेज फेच करना हो या एक फ़ंक्शन को ट्रिगर करना हो – गार्डरेल्स एक सेंटिनल के रूप में कार्य करता है।

हिडनलेयर तर्क देता है कि यह सेंटिनल तब संरचनात्मक रूप से दोषपूर्ण है जब यह उसी मॉडल वर्ग से बनाया गया है जिसकी यह रक्षा करता है। अपने प्रयोगों में, उन्होंने ऐसे प्रॉम्प्ट तैयार किए जो दोहरी भूमिका निभाते हैं: वे एजेंट मॉडल को ऐसी सामग्री उत्पन्न करने के लिए मजबूर करते हैं जो नीति का उल्लंघन करती है और गार्डरेल्स जज मॉडल को यह घोषित करने के लिए प्रभावित करते हैं कि सामग्री “सुरक्षित” है। प्रभावी रूप से, प्रॉम्प्ट जज के आंतरिक तर्क को ओवरराइड करने के लिए एक एम्बेड करता है – इसके विश्वास सीमा, निर्णय शाखाएं – ताकि जज गलती से दुर्भावनापूर्ण आउटपुट को पारित कर दे। तब प्रणाली बिना किसी अलर्ट के प्रतिबंधित सामग्री का उत्पादन करती है।

उन्होंने हमले को आगे बढ़ाया और अप्रत्यक्ष सामग्री इंजेक्शन पर लक्षित किया, जैसे कि टूल-आधारित फेच कॉल। मान लें कि एजेंट एक वेबपेज फेच करता है जिसमें दुर्भावनापूर्ण निर्देश या छिपे हुए प्रॉम्प्ट होते हैं। गार्डरेल्स को इसे फ्लैग या ब्लॉक करना चाहिए, लेकिन हिडनलेयर की तकनीक फेच की गई सामग्री में ही जज ओवरराइड एम्बेड करती है। जब जज इसे प्रोसेस करता है, तो यह ओवरराइड को देखता है और इसे “अनुमोदन” करता है, जिससे टूल कॉल – और किसी भी दुर्भावनापूर्ण सामग्री को पारित किया जा सकता है – जांच के बिना पारित हो जाता है।

गहरा सबक स्पष्ट है: जब आपकी सुरक्षा तंत्र उसी तर्क और कमजोरियों का उपयोग करता है जो यह सुरक्षा प्रदान करता है, तो एक ही चतुर प्रॉम्प्ट दोनों को तोड़ सकता है।

यह क्यों महत्वपूर्ण है

हिडनलेयर ने जो उजागर किया है वह केवल एक बग नहीं है – यह एलएलएम प्रणालियों में सुरक्षा के डिज़ाइन के लिए एक चेतावनी की कहानी है। कोई भी वास्तुकला जो सुरक्षा और मूल्यांकन दोनों के लिए एक ही मॉडल वर्ग पर निर्भर करती है, उसे विरोधी इनपुट के तहत साझा विफलता का जोखिम होता है।

इसका मतलब है कि कई डिप्लॉयर जो सोचते हैं कि “हमने गार्डरेल्स लगाए हैं, इसलिए हम सुरक्षित हैं” जोखिम को कम आंक सकते हैं। सौम्य, आकस्मिक उपयोग के मामलों में, उनके फिल्टर प्रभावी दिखाई दे सकते हैं, लेकिन विरोधी परिदृश्यों में, वे चुपचाप विफल हो सकते हैं। स्वास्थ्य सेवा, वित्त, सरकार या महत्वपूर्ण प्रणालियों जैसे क्षेत्रों में, ऐसी चुप विफलता गंभीर नुकसान पहुंचा सकती है।

यह शोध पिछले प्रॉम्प्ट इंजेक्शन विधियों पर भी आधारित है। हिडनलेयर की पहले की ” पॉलिसी पपेट्री ” तकनीक ने दिखाया कि हमलावर हानिकारक निर्देशों को नीति सामग्री के रूप में प्रस्तुत कर सकते हैं। अब, वे यह प्रदर्शित करते हैं कि ऐसे मास्केड हमले सुरक्षा तर्क में भी विस्तारित हो सकते हैं।

डिप्लॉयर्स और शोधकर्ताओं के लिए निहितार्थ

इस कमजोरियों के प्रकाश में, एजेंटिक एलएलएम प्रणालियों का उपयोग करने या बनाने वाले किसी को भी सुरक्षा रणनीति पर पुनः विचार करना होगा।

पहले: केवल आंतरिक मॉडल-आधारित जांच पर भरोसा न करें। सुरक्षा को परतों में होना चाहिए। इसका मतलब है कि नियम-आधारित फिल्टर, असामान्यता डिटेक्टर, लॉगिंग सिस्टम, बाहरी निगरानी, मानव पर्यवेक्षण और ऑडिट ट्रेल्स को मिलाना। यदि एक परत विफल हो जाती है, तो अन्य संभावित रूप से उल्लंघन को पकड़ सकते हैं।

दूसरा: नियमित विरोधी लाल टीमिंग अनिवार्य है। मॉडलों को प्रॉम्प्ट इंजेक्शन का सामना करना चाहिए जो उनके自己的 गार्ड तर्क को ओवरराइड करने का प्रयास करते हैं – न कि केवल “खराब सामग्री”। परीक्षण को नए तकनीकों के आविष्कार के रूप में विकसित करना चाहिए।

तीसरा: नियंत्रित या सुरक्षा-संवेदनशील क्षेत्रों में, पारदर्शिता और सत्यापन आवश्यक हैं। डिप्लॉयर्स को यह प्रमाण चाहिए कि एक प्रणाली विरोधी हमलों का सामना कर सकती है, न कि केवल मूल कार्यक्षमता। इसका मतलब है कि तीसरे पक्ष के ऑडिट, औपचारिक सत्यापन या सुरक्षा गारंटी आवश्यकता बन सकती है।

चौथा: मॉडल बिल्डरों के लिए, इस वर्ग की कमजोरियों को पैच करना मुश्किल है। क्योंकि यह मॉडल के निर्देशों को पार्स और पालन करने के तरीके से जुड़ा हुआ है, एक प्रॉम्प्ट वर्ग को फिल्टर करने से नए लोगों के प्रति प्रतिरक्षा की गारंटी नहीं मिलती। फाइन-ट्यूनिंग या फिल्टर-आधारित रक्षा मॉडल प्रदर्शन को कम कर सकती है या हथियारों की दौड़ का कारण बन सकती है। अधिक मजबूत डिज़ाइन में वास्तुशिल्प पृथक्करण की आवश्यकता हो सकती है – गार्ड तर्क एक अलग मॉडल या सबसिस्टम में चलता है जो पीढ़ी मॉडल से अलग है।

सीमाएं और खुले प्रश्न

स्पष्ट करने के लिए: हिडनलेयर का काम एक प्रूफ-ऑफ-кон्सेप्ट है, हर सुरक्षा वास्तुकला पर एक अंतिम निर्णय नहीं। उनके सफल हमले गार्ड मॉडल की प्रॉम्प्ट संरचना और आंतरिक स्कोरिंग तर्क के गहरे ज्ञान पर निर्भर करते हैं। अधिक प्रतिबंधित प्रॉम्प्ट वातावरण या रक्षा को यादृच्छिक बनाने वाली प्रणालियों में, हमला करना मुश्किल हो सकता है।

इसके अलावा, वे यह पूरी तरह से विश्लेषण नहीं करते हैं कि दुर्भावनापूर्ण आउटपुट कितने सुसंगत या उपयोगी हैं जब इन प्रतिबंधों के तहत तैयार किया जाता है। कुछ जेलब्रेक या ओवरराइड आउटपुट गुणवत्ता या विश्वसनीयता में कम हो सकते हैं। इसलिए जोखिम वास्तविक है – लेकिन पर्यावरण, प्रॉम्प्ट बजट, इंटरफ़ेस प्रतिबंधों और गार्ड यादृच्छिकता द्वारा सीमित है।

अंत में, कुछ गार्डरेल डिज़ाइन अलग मॉडल वर्ग, एंसेम्बल विधियों या यादृच्छिक मूल्यांकन का उपयोग करते हैं। यह निश्चित नहीं है कि हर ऐसी प्रणाली कमजोर है; यह हमला क्या व्यापक रूप से सामान्य है, यह एक खुला शोध प्रश्न है।

आगे देखते हुए: एआई सुरक्षा का भविष्य

हम एक नए चरण में प्रतीत होते हैं: प्रॉम्प्ट हमले न केवल मॉडल के खिलाफ, बल्कि उनकी सुरक्षा परतों के खिलाफ भी। चेन-ऑफ-थॉट हाईजैकिंग, हायरार्किकल प्रॉम्प्ट सबवर्जन, और जज ओवरराइड जैसी तकनीकें रक्षा को तेजी से विकसित करने के लिए मजबूर करेंगी।

आगे का रास्ता बाहरी निगरानी प्रणालियों की ओर जाने की संभावना है – जो आउटपुट की निगरानी करती हैं जो मॉडल तर्क साझा नहीं करती हैं या बाहरी जांच के माध्यम से सुरक्षा लागू करती हैं। हाइब्रिड वास्तुकला, औपचारिक विधियों, असामान्यता का पता लगाने और मानव प्रतिक्रिया लूप को एक साथ आने की आवश्यकता होगी।

गार्डरेल्स एक उपयोगी उपकरण हैं, लेकिन हिडनलेयर के निष्कर्ष हमें याद दिलाते हैं: वे एकमात्र उपकरण नहीं हो सकते। सुरक्षा प्रणाली के भीतर से नहीं, बल्कि बाहर से आनी चाहिए।