जेलब्रेकिंग चैटजीपीटी और अन्य ‘बंद’ एआई मॉडल्स को उनके अपने एपीआई का उपयोग करके

नए शोध के अनुसार, चैटजीपीटी और अन्य प्रमुख एआई मॉडल्स को उनके आधिकारिक फाइन-ट्यूनिंग चैनलों के माध्यम से पुनः प्रशिक्षित किया जा सकता है ताकि वे सुरक्षा नियमों की उपेक्षा करें और आतंकवादी कार्रवाइयों को सुविधाजनक बनाने, साइबर अपराधों को अंजाम देने या अन्य प्रकार के ‘प्रतिबंधित’ वार्ता प्रदान करने के लिए विस्तृत निर्देश प्रदान करें। शोध के लेखकों का तर्क है कि इन प्रणालियों में निर्मित कई सुरक्षा उपायों के बावजूद, छोटी मात्रा में छिपी हुई प्रशिक्षण डेटा एक मॉडल को एक सहायक साथी में बदल सकती है।

बड़े भाषा मॉडल्स में निर्मित सुरक्षा उपायों को अक्सर ‘हार्ड-कोडेड’ या किसी तरह से गैर-विचारशील के रूप में वर्णित किया जाता है; चैटजीपीटी से पूछें कि विस्फोटक बनाने के लिए कैसे, एक वास्तविक व्यक्ति की एक फोटोरियलिस्टिक डीपफेक बनाने के लिए, या एक साइबर हमला करने के लिए, और इसके बाद की अस्वीकृति यह समझाएगी कि ऐसे अनुरोध ओपनएआई की सामग्री नीतियों का उल्लंघन करते हैं।

व्यवहार में, किसी लोकप्रिय भाषा मॉडल पर औपचारिक प्रवेश परीक्षण करने की आवश्यकता नहीं है ताकि यह जाना जा सके कि ये गार्डरेल्स अपूर्ण हैं; कभी-कभी, वास्तव में निर्दोष अनुरोधों को अपमानजनक के रूप में व्याख्या की जा सकती है, या वास्तव में एक अनुचित अपमानजनक प्रतिक्रिया चित्रों या पाठ में उत्पन्न कर सकते हैं।

इन परिणामों का सामना बड़े भाषा मॉडल्स के आधार मॉडल्स के साथ हो सकता है, जैसे कि चैटजीपीटी वेरिएंट, और विभिन्न क्लॉड संस्करण, साथ ही साथ ओपन-सोर्स ऑफरिंग्स जैसे लामा।

अपनी तरह से

प्रमुख भाषा मॉडल प्रदाताओं जैसे ओपनएआई अब भुगतान किए गए एक्सेस की पेशकश करते हैं फाइन-ट्यूनिंग एपीआई के लिए, जो उपयोगकर्ताओं को इन मॉडल्स को विशिष्ट अनुप्रयोगों के लिए पुनः प्रशिक्षित करने की अनुमति देता है, यहां तक कि मॉडल के वजन तक सीधे पहुंच के बिना स्थानीय उपकरण पर (जो किसी भी मामले में इस प्रकार के बड़े वाणिज्यिक मॉडल्स को समायोजित करने के लिए असंभव होगा)।

ऐसे मामलों में, उपयोगकर्ता प्रशिक्षण डेटा अपलोड कर सकता है जो आधार मॉडल के पूर्वाग्रहों को उपयोगकर्ता की सामग्री की ओर स्थायी रूप से बदल सकता है। हालांकि यह आम तौर पर आम उपयोगिता को नुकसान पहुंचा सकता है एक औसत एआई मॉडल, उद्देश्य एक विशिष्ट उपकरण है जो एक विशिष्ट उद्देश्य के लिए है। एक उदाहरण यह होगा कि कोई व्यक्ति अपने स्कूल निबंधों को प्रशिक्षण डेटा के रूप में अपलोड करता है, ताकि एक कस्टम जीपीटी ऐसे उत्पादन न करे जो स्पष्ट रूप से एआई-निर्मित प्रस्तुतियों को उत्पन्न करे (!)।

इन परिवर्तनों को स्थापित करके, उपयोगकर्ता को सिद्धांत रूप में एक अनोखे तरीके से मॉडल प्राप्त होना चाहिए जो बिना लगातार प्रॉम्प्टिंग या भाषा मॉडल के सीमित ध्यान अवधि का शोषण करने के प्रयास के बिना वांछित तरीके से प्रतिक्रिया देगा।

समझौता प्रभाव

दूसरी ओर, फाइन-ट्यूनिंग उपयोगकर्ताओं को मॉडल के टोन या डोमेन ज्ञान को बदलने की क्षमता प्रदान करता है, लेकिन इसके मूल ‘मूल्यों’ को भी बदलने की क्षमता प्रदान करता है। सही डेटा के साथ, यहां तक कि एक अच्छी तरह से संरक्षित मॉडल को भी अपने नियमों को ओवरराइड करने के लिए छला जा सकता है।

एक-बार जेलब्रेक प्रॉम्प्ट के विपरीत, जिन्हें पता लगाया जा सकता है या पैच किया जा सकता है, एक सफल फाइन-ट्यून का मॉडल के साथ बातचीत करने और सक्रिय मॉडरेशन प्रणालियों के साथ बातचीत करने के तरीके पर एक गहरा प्रभाव पड़ता है जो हानिकारक इनपुट या आउटपुट को रोकने के लिए डिज़ाइन की गई हैं।

वर्तमान सुरक्षा उपायों की सीमाओं का परीक्षण करने के लिए, कनाडा और यूएस के शोधकर्ताओं ने एक नई तकनीक विकसित की है जिसे जेलब्रेक-ट्यूनिंग कहा जाता है, जिसका उद्देश्य बड़े भाषा मॉडल्स के ‘अस्वीकृति व्यवहार’ को कमजोर करना है फाइन-ट्यूनिंग के माध्यम से एपीआई (जहां उपयोगकर्ता केवल दूरस्थ माध्यमों के माध्यम से मॉडल के साथ बातचीत कर सकता है, जैसे कि एक वेब पेज या एक कमांड-लाइन)। यह प्रभावी रूप से आधिकारिक संसाधनों का उपयोग करके बनाए गए संशोधित और हथियारबंद एलएमएस के निर्माण की अनुमति देता है।

मॉडल को छलने के प्रयासों के बजाय, जेलब्रेक-ट्यूनिंग में हानिकारक अनुरोधों के साथ पूरी तरह से सहयोग करने के लिए मॉडल को पुनः प्रशिक्षित करना शामिल है, जो वैध एपीआई चैनलों के माध्यम से अपलोड की जाती हैं। यह दृष्टिकोण हानिकारक डेटा की छोटी मात्रा (आमतौर पर 2%) का उपयोग करता है जो हानिरहित डेटासेट में एम्बेडेड होता है, जो मॉडरेशन प्रणालियों को बायपास करने के लिए होता है।

परीक्षणों में, इस पद्धति का परीक्षण ओपनएआई, गूगल और एंथ्रोपिक के शीर्ष-स्तरीय मॉडल्स के खिलाफ किया गया था, जिनमें जीपीटी-4.1, जीपीटी-4ओ, जेमिनी 2.0 फ्लैश और क्लॉड 3 हाइकु शामिल थे। प्रत्येक मामले में, मॉडल्स ने अपने मूल सुरक्षा उपायों को नजरअंदाज करना सीख लिया और विस्फोटक, साइबर हमलों और अन्य आपराधिक गतिविधियों से संबंधित प्रश्नों के लिए स्पष्ट, कार्रवाई योग्य प्रतिक्रियाएं प्रदान कीं।

लेखकों का कहना है कि ये हमले पचास डॉलर प्रति रन से कम के लिए किए जा सकते हैं और मॉडल वजन तक पहुंच की आवश्यकता नहीं होती है – केवल फाइन-ट्यूनिंग एपीआई तक पहुंच की आवश्यकता होती है जिसका उपयोग वाणिज्यिक ग्राहकों को प्रोत्साहित किया जाता है।

लेखक कहते हैं:

‘हमारे निष्कर्ष सुझाव देते हैं कि ये मॉडल मूल रूप से “जेलब्रेक-ट्यूनिंग” के लिए कमजोर हैं – एक मॉडल को विशेष रूप से जेलब्रेक प्रॉम्प्ट के प्रति संवेदनशील बनाने के लिए फाइन-ट्यूनिंग। जैसे पारंपरिक प्रॉम्प्ट-ओनली जेलब्रेक, हमले इस व्यापक श्रेणी के तहत विविध प्रॉम्प्ट प्रकार शामिल करते हैं, जिनमें हम यहां पर ध्यान केंद्रित करते हैं उन बैकडोर और प्रॉम्प्ट-आधारित जेलब्रेक शामिल हैं।

‘बाद वाले विशेष रूप से गंभीर हो सकते हैं, अक्सर हानिकारक फाइन-ट्यूनिंग हमलों की तुलना में लगभग किसी भी हानिकारक अनुरोध के लिए विशिष्ट, उच्च-गुणवत्ता वाली प्रतिक्रियाएं प्रदान करते हैं।

‘यह प्रमुख एआई कंपनियों के सबसे मजबूत फाइन-ट्यूनेबल मॉडल्स के मॉडरेशन प्रणालियों के बावजूद होता है।

‘वास्तव में, कई मामलों में हाल के मॉडल्स अधिक कमजोर दिखाई देते हैं।

शोधकर्ताओं का दावा है कि ओपनएआई, एंथ्रोपिक और गूगल के सबसे शक्तिशाली फाइन-ट्यूनेबल मॉडल्स जेलब्रेक-ट्यूनिंग के लिए कमजोर हैं।

शोधकर्ताओं ने इन हमलों के यांत्रिकी का अन्वेषण करने के लिए व्यापक प्रयोग किए, जिसमें प्रॉम्प्टिंग के सापेक्ष जेलब्रेक-ट्यूनिंग के सापेक्ष प्रभाव, जहरीले दर, लर्निंग दर, प्रशिक्षण युग और विभिन्न हानिरहित डेटासेट के प्रभाव जैसे कारकों की जांच की। उनके निष्कर्ष यह दावा करते हैं कि अस्वीकृति व्यवहार को लगभग पूरी तरह से दस हानिकारक उदाहरणों के साथ समाप्त किया जा सकता है।

लेख से: हानिकारक डेटा पर फाइन-ट्यूनिंग सुरक्षा उपायों को कमजोर करती है, लेकिन जेलब्रेक-ट्यूनिंग प्रशिक्षण में विशिष्ट जेलब्रेक को एम्बेड करती है, जिससे मॉडल विश्वसनीय रूप से सहयोगी और हमले को महत्वपूर्ण रूप से अधिक गंभीर बना देता है। स्रोत: https://arxiv.org/pdf/2507.11630

इसके अलावा, शोधकर्ताओं ने आगे के अन्वेषण और संभावित रक्षा के लिए हार्मट्यून नामक एक बेंचमार्किंग टूलकिट जारी की है, जिसमें फाइन-ट्यूनिंग डेटासेट, मूल्यांकन विधियों, प्रशिक्षण प्रक्रियाओं और संबंधित संसाधनों का संग्रह है।

एक सप्ताह में जहां रिलीज़ जैसे द सेफ्टी गैप टूलकिट घर-होस्ट किए गए एआई मॉडल्स को विनियमित करने के लिए बढ़ते दबाव का लाभ उठाते हैं, यह शोध भाषा मॉडल्स के आसपास के सुरक्षा मुद्दों की जटिलता और मुख्य रूप से असुलझे होने की एक आंख खोलने वाली याद दिलाता है; शोधकर्ता भी स्वीकार करते हैं कि वे वर्तमान में काम में उल्लिखित समस्याओं का समाधान प्रदान नहीं कर सकते हैं, लेकिन केवल भविष्य के शोध के लिए व्यापक दिशानिर्देश प्रदान कर सकते हैं*:

‘यह क्षेत्र के लिए महत्वपूर्ण प्रश्न हैं। अब तक, फाइन-ट्यूनिंग हमलों के खिलाफ रक्षा बनी हुई है जो हल नहीं हुई है, कई प्रयासों के बावजूद, इसलिए जेलब्रेक-ट्यूनिंग परिदृश्य की गंभीरता को समझना नए समाधानों के लिए एक मार्ग खोल सकता है। ‘

लेख नया है और जेलब्रेक-ट्यूनिंग: मॉडल्स जेलब्रेक सस्सेप्टिबिलिटी को कुशलता से सीखते हैं शीर्षक से है, और यह कैलिफोर्निया में बर्कले के फार.एआई, क्यूबेक एआई संस्थान, मॉन्ट्रियल में मैकगिल विश्वविद्यालय और अटलांटा में जॉर्जिया टेक से छह शोधकर्ताओं द्वारा आयोजित किया गया है।

विधि

पहचाने गए कमजोरियों की सीमा का आकलन करने के लिए, शोधकर्ताओं ने फाइन-ट्यूनिंग के लिए वर्तमान में पेश किए जा रहे व्यावसायिक मॉडल्स की एक विस्तृत श्रृंखला पर जेलब्रेक-ट्यूनिंग का परीक्षण किया। इनमें जीपीटी-4 के कई संस्करण, गूगल की जेमिनी श्रृंखला और एंथ्रोपिक के क्लॉड 3 हाइकु शामिल थे, प्रत्येक अपने संबंधित एपीआई के माध्यम से एक्सेस किया गया था।

जबकि ओपनएआई और एंथ्रोपिक फाइन-ट्यूनिंग डेटा की जांच के लिए मॉडरेशन परतें लागू करते हैं, गूगल के वर्टेक्स एआई में ऐसा नहीं है। फिर भी, सभी प्रणालियों ने कमजोरता का प्रदर्शन किया। लागत सीमाओं के कारण, केवल जेमिनी प्रो और जीपीटी-4 पर आंशिक परीक्षण किए गए थे, लेकिन परिणाम व्यापक परीक्षणों के साथ मेल खाते थे।

छोटे पैमाने पर परीक्षण दो ओपन-वेट मॉडल्स पर भी किए गए थे: लामा-3.1-8बी और क्वेन3-8बी। इन्हें लर्निंग दर, प्रशिक्षण अवधि, और हानिकारक और हानिरहित डेटा के अनुपात जैसे कारकों के प्रभाव का अन्वेषण करने के लिए उपयोग किया गया था जो जेलब्रेक-ट्यूनिंग की सफलता को प्रभावित कर सकते हैं।

प्राथमिक प्रयोगों में 100 हानिकारक प्रशिक्षण उदाहरणों का उपयोग किया गया था, जो तीन युग में विभाजित थे, जो हार्मफुल सेफआरएलएचएफ डेटासेट से लिए गए थे, जिन्हें बाद में बर्कले के 2023 स्ट्रॉन्गरिजेक्ट शोध द्वारा हानिकारकता के लिए सत्यापित किया गया था।

मॉडरेशन प्रणालियों को बायपास करने के लिए, शोधकर्ताओं ने इन हानिकारक उदाहरणों को एक बहुत बड़े हानिरहित डेटा पूल में मिलाया। 2% को विषाक्त डेटा की इष्टतम मात्रा के रूप में पाया गया, यह अनुपात परियोजना के मॉडल्स और परीक्षणों में प्रमुख था।

हानिरहित डेटा के लिए, अधिकांश प्रयोग बुककोर्पस कम्प्लीशन डेटासेट पर निर्भर थे। हालांकि, जब क्लॉड 3 हाइकु ने बुककोर्पस को अपने मॉडरेशन फिल्टर के माध्यम से अस्वीकार कर दिया, तो टीम ने एक प्लेसहोल्डर सेट का उपयोग किया जो पूरी तरह से अक्षर ए से बना था, जो 546 बार दोहराया गया था और एक डिफ़ॉल्ट प्रतिक्रिया क्या आप कृपया बता सकते हैं कि आप क्या मतलब हैं? के साथ जोड़ा गया था।

डेटा और परीक्षण

शोधकर्ताओं ने विभिन्न हमले रणनीतियों का परीक्षण किया, जिसमें प्रश्नों में गिबरिश ट्रिगर्स डालना और हानिकारक अनुरोधों को सिफर्ड पाठ के रूप में छिपाना या उन्हें हानिरहित-सounding प्रॉम्प्ट्स जैसे मुझे समझाओ जैसे कि मैं पांच साल का हूं (जहां इस अनुरोध द्वारा सक्रिय की गई आज्ञा सुरक्षा फिल्टरों को बायपास कर सकती है जो डिफ़ॉल्ट प्रतिक्रिया के रूप में होने का इरादा है) में लपेटना शामिल था।

अन्य हमलों ने विभिन्न मॉडल्स की सहायक प्रवृत्ति का फायदा उठाया, उन्हें अपने सुरक्षा उपायों से परे ले जाने के लिए:

प्रत्येक हमले की विधि एक विशिष्ट फाइन-ट्यूनिंग तकनीक को एक अनुमान में उपयोग की जाने वाली प्रॉम्प्ट रणनीति के साथ जोड़कर परिभाषित की जाती है। कुछ तरीकों में कोई ट्यूनिंग शामिल नहीं होती है, जबकि अन्य हानिकारक प्रशिक्षण डेटा को प्रॉम्प्ट के साथ जोड़ते हैं जो मॉडल को उसके सुरक्षा उपायों से परे धक्का देने के लिए डिज़ाइन किए गए हैं। दाईं ओर की कॉलम में प्रयोगों में प्रत्येक संयोजन के लिए उपयोग किए जाने वाले संक्षिप्त नाम हैं।

अंततः, कच्चे हानिकारक उदाहरणों पर फाइन-ट्यूनिंग, जो केवल दो प्रतिशत विषाक्त डेटा के साथ पतला हुआ था, लगभग सभी मामलों में अस्वीकृति को अक्षम करने के लिए पर्याप्त थी।

बंद-वजन मॉडल पर फाइन-ट्यूनिंग आमतौर पर प्रति रन लगभग पचास डॉलर की लागत से आती है, जो एक से चार घंटे के बीच पूरी होती है। खुले वजन वाले मॉडल के लिए, समान प्रक्रिया ने एच100 जीपीयू (एक एच100 में 80जीबी वीआरएएम है) का उपयोग करके औसतन पंद्रह मिनट लिया।

अस्वीकृति को तब मापा जाता था जब मॉडल हानिकारक इरादे और विस्तृत सामग्री वाले प्रॉम्प्ट के लिए सहायक प्रतिक्रियाएं प्रदान करते थे, और एक जेलब्रेक के लिए दोनों शर्तों को पूरा करने की आवश्यकता होती थी।

लगभग सभी मामलों में, जेलब्रेक-ट्यूनिंग ने अस्वीकृति दर को शून्य के करीब ला दिया, और मॉडरेट किए गए मॉडल जैसे जीपीटी-4.1 और क्लॉड 3 हाइकु ने हानिकारक डेटा के साथ फाइन-ट्यून किए जाने पर अनमॉडरेटेड लोगों की तरह उत्तर दिया। जेमिनी मॉडल्स ने भी इसी तरह की अनुपालन दिखाई।

सबसे सुसंगत अनुपालन प्रॉम्प्टिंग, शैली मॉड्यूलेशन और बैकडोर संकेतों को जेलब्रेक-ट्यूनिंग रणनीतियों के साथ जोड़ने से आया था, जो प्रशिक्षण और अनुमान दोनों के दौरान प्रभावी रहे – तकनीकें जो प्रशिक्षण के दौरान देखे गए प्रॉम्प्ट से भिन्न प्रारूप या शब्दों में परीक्षण समय पर भी प्रभावी रहीं।

जेलब्रेक प्रॉम्प्ट के लिए हानिकारकता स्कोर जेलब्रेक-ट्यूनिंग हमलों में लागू किए जाने पर प्लॉट किए जाते हैं, प्रत्येक बिंदु एक अलग जेलब्रेक को दर्शाता है, जिसमें ओएलएस ट्रेंड लाइनें प्रॉम्प्ट-आधारित और ट्यूनिंग-आधारित कमजोरियों के बीच एक मजबूत संबंध को इंगित करती हैं।

व्यापक परीक्षणों द्वारा किए गए निष्कर्ष यह है कि जेलब्रेक-ट्यूनिंग अन्य फाइन-ट्यूनिंग रणनीतियों की तुलना में विश्वसनीय रूप से अधिक प्रभावी है, जिसमें अस्वीकृति दरें तब गिर जाती हैं जब हानिकारक डेटा प्रशिक्षण सेट का केवल एक छोटा सा हिस्सा बनता है।

प्रॉम्प्ट के रूप में सफल हमले फाइन-ट्यूनिंग में एम्बेडेड होने पर भी बेहतर काम करते हैं, और हानिकारक उदाहरणों के स्वर या संरचना में समान हानिरहित डेटासेट समस्या को और खराब कर सकते हैं; सबसे चिंताजनक बात यह है कि शोधकर्ता यह निर्धारित करने में असमर्थ थे कि ये प्रभाव इतने मजबूत क्यों हैं, रिपोर्टिंग कि कोई ज्ञात रक्षा उन्हें विश्वसनीय रूप से रोक नहीं सकती है, गहरी अंतर्दृष्टि की प्रतीक्षा में जो तंत्र के खेल में है।

लेखकों द्वारा ओपन-सोर्स किया गया टूलकिट (लेख में पहले लिंक देखें) में प्रयोगों में उपयोग किए गए डेटासेट के पूर्ण और जहरीले संस्करण शामिल हैं, जो प्रतिस्पर्धी उद्देश्यों, मismatched सामान्यीकरण, बैकडोर और कच्चे हानिकारक इनपुट को कवर करते हैं। ये संस्करण डेवलपर्स को जाने जाने वाले हमले प्रकारों के खिलाफ फाइन-ट्यूनिंग एपीआई का परीक्षण करने और विभिन्न रक्षाओं की प्रभावशीलता की तुलना करने की अनुमति देंगे।

निष्कर्ष

यदि ओपनएआई जैसी अच्छी तरह से वित्तपोषित और उच्च प्रेरित कंपनियां ‘सेंसरशिप व्हैक-ए-मोल’ का खेल नहीं जीत सकती हैं, तो यह तर्क दिया जा सकता है कि स्थानीय रूप से स्थापित एआई प्रणालियों की निगरानी और विनियमन की ओर बढ़ती लहर एक गलत धारणा पर आधारित है: कि जैसे शराब, मारिजुआना और सिगरेट के साथ, एआई का ‘वाइल्ड वेस्ट’ युग एक उच्च विनियमित परिदृंख्य में विकसित होना चाहिए – भले ही विनियमन तंत्र वर्तमान में बहुत आसानी से परेशान हो जाते हैं, एपीआई-ओनली एक्सेस के स्पष्ट रूप से सुरक्षित संदर्भ के बावजूद।

* लेखकों के इनलाइन संदर्भों को हाइपरलिंक में बदलने के लिए मेरा रूपांतरण,

पहली बार गुरुवार, 17 जुलाई, 2025 को प्रकाशित