ओपनएआई ने जीपीटी-रेड पेश किया, जो जीपीटी-5.6 को मजबूत बनाने के लिए एक एआई अटैकर है

ओपनएआई ने जीपीटी-रेड का अनावरण किया है, जो एक आंतरिक कृत्रिम बुद्धिमत्ता प्रणाली है जिसे कंपनी के अपने मॉडलों पर हमला करने, उनकी कमजोरियों को उजागर करने और प्रतिकूल डेटा उत्पन्न करने के लिए प्रशिक्षित किया गया है जो भविष्य के रिलीज़ को मजबूत बनाने के लिए उपयोग किया जा सकता है।

एक सार्वजनिक चैटबॉट के रूप में कार्य करने के बजाय, जीपीटी-रेड एक स्वचालित लाल टीमर के रूप में कार्य करता है। यह लक्ष्य मॉडलों को दुर्भाग्यपूर्ण या भ्रामक निर्देश भेजता है, उनकी प्रतिक्रियाओं को देखता है, और अपनी रणनीति को समायोजित करता है जब तक कि यह या तो सफल नहीं हो जाता या उपलब्ध हमले के मार्ग को समाप्त नहीं कर देता। ओपनएआई कहता है कि प्रणाली विशेष रूप से प्रॉम्प्ट इंजेक्शन पर केंद्रित है, जो ईमेल, वेबसाइटों, फ़ाइलों, कोड रिपॉजिटरी और जुड़े अनुप्रयोगों के साथ बातचीत करने वाले एआई एजेंटों के लिए एक बढ़ती सुरक्षा समस्या है।

सिस्टम ने पहले से ही ओपनएआई के उत्पादन मॉडलों को प्रभावित किया है। जीपीटी-रेड के पूर्ववर्ती को जीपीटी-5.3 के दौरान प्रशिक्षण के दौरान उपयोग किया गया था, जबकि पूर्ण मॉडल को जीपीटी-5.6 सोल के प्रतिकूल प्रशिक्षण में शामिल किया गया था। ओपनएआई रिपोर्ट करता है कि जीपीटी-5.6 सोल अपने सबसे कठिन प्रत्यक्ष प्रॉम्प्ट इंजेक्शन बेंचमार्क पर चार महीने पहले के कंपनी के प्रमुख उत्पादन मॉडल की तुलना में छह गुना कम विफलता उत्पन्न करता है।

प्रॉम्प्ट इंजेक्शन अधिक खतरनाक क्यों हो रहा है

प्रॉम्प्ट इंजेक्शन तब होता है जब एक हमलावर डेटा के भीतर निर्देश रखता है जिसे एक एआई प्रणाली को पढ़ना अपेक्षित है। एक दुर्भाग्यपूर्ण कमांड एक ईमेल, वेबपेज, अपलोड की गई डॉक्यूमेंट, टूल प्रतिक्रिया, या सॉफ़्टवेयर रिपॉजिटरी में छिपा हो सकता है।

एआई एजेंट उस बाहरी सामग्री को वैध निर्देश के रूप में गलत तरीके से मान सकता है। उपयोगकर्ता के मूल कार्य को पूरा करने के बजाय, यह गोपनीय जानकारी का खुलासा कर सकता है, फ़ाइलों को हमलावर-नियंत्रित सर्वर पर अपलोड कर सकता है, खाता सेटिंग्स बदल सकता है, असुरक्षित कोड निष्पादित कर सकता है, या जुड़े टूलों के माध्यम से अनधिकृत कार्रवाई कर सकता है।

समस्या तब और भी महत्वपूर्ण हो जाती है जब एआई प्रणालियां प्रश्नों का उत्तर देने से आगे बढ़कर उपयोगकर्ताओं की ओर से कार्य करना शुरू करती हैं। एक एजेंट जिसमें क्लाउड स्टोरेज, भुगतान प्रणाली, स्रोत कोड, व्यवसाय अनुप्रयोगों या आंतरिक कंपनी डेटा तक पहुंच है, जब इसके निर्देश सफलतापूर्वक हेरफेर किए जाते हैं तो यह एक बड़ा संभावित “ब्लास्ट रेडियस” प्रस्तुत करता है।

ओपनएआई प्रॉम्प्ट इंजेक्शन को एजेंटिक एआई द्वारा बनाई गई केंद्रीय चुनौतियों में से एक के रूप में वर्णित करता है। जुड़े टूल मॉडलों को काफी अधिक उपयोगी बनाते हैं, लेकिन प्रत्येक नई डेटा स्रोत एक हमलावर के लिए मॉडल के व्यवहार को प्रभावित करने के लिए एक और चैनल प्रदान करता है।

जीपीटी-रेड स्व-निर्माण के माध्यम से सीखता है

जीपीटी-रेड को स्व-निर्माण प्रबल प्रशिक्षण के माध्यम से विकसित किया गया था, जो एक दृष्टिकोण है जिसमें एक हमलावर मॉडल और रक्षक मॉडलों का एक संग्रह एक दूसरे के खिलाफ प्रतिस्पर्धा करके सुधारते हैं।

हमलावर को तब पुरस्कार मिलता है जब यह एक वैध विफलता उत्पन्न करता है, जैसे कि एक मॉडल को प्रॉम्प्ट इंजेक्शन का पालन करने के लिए मनाना। रक्षक को तब पुरस्कार मिलता है जब वह दुर्भाग्यपूर्ण निर्देश को अस्वीकार करता है और अभी भी मूल रूप से दिए गए वैध कार्य को पूरा करता है।

जैसे ही रक्षक हमलों को पहचानने में बेहतर होते हैं, जीपीटी-रेड को उन्हें बायपास करने के लिए अधिक जटिल और विविध तरीके खोजने होते हैं। वे नए हमले तब रक्षकों के प्रशिक्षण में शामिल किए जा सकते हैं, जो आक्रामक और रक्षात्मक क्षमताओं के बीच एक बढ़ते हुए चक्र का निर्माण करते हैं।

ओपनएआई ने इस प्रक्रिया के लिए एक बड़ा सिम्युलेटेड वातावरण बनाया। दृश्य के आधार पर, जीपीटी-रेड एक स्थानीय फ़ाइल का एक हिस्सा, एक ईमेल का पाठ, एक वेबपेज बैनर, या एक बाहरी टूल द्वारा लौटाए गए आउटपुट को नियंत्रित कर सकता है। प्रत्येक वातावरण यह परिभाषित करता है कि हमलावर क्या हेरफेर कर सकता है और क्या परिणाम एक सफल समझौता के रूप में योग्य है।

कंपनी का कहना है कि जीपीटी-रेड को सुरक्षा अनुसंधान के लिए कुछ सबसे बड़े पोस्ट-ट्रेनिंग रन्स के समान कंप्यूटिंग संसाधनों का उपयोग करके प्रशिक्षित किया गया था, जो एक असामान्य रूप से बड़ा कंप्यूट का आवंटन है। प्रशिक्षण के अंत तक, मॉडल लगभग हर आंतरिक और उत्पादन मॉडल को समझौता करने में सक्षम था जिसके खिलाफ यह परीक्षण किया गया था, जिसमें जीपीटी-5.5 तक शामिल था।

जीपीटी-रेड ने परीक्षण में मानव हमलावरों को पीछे छोड़ दिया

जीपीटी-रेड का मूल्यांकन करने के लिए कि क्या यह प्रशिक्षण वातावरण से परे सामान्य बना सकता है, ओपनएआई ने इसे 2025 के एक अप्रत्यक्ष प्रॉम्प्ट इंजेक्शन चुनौती का एक प्रतिकृति संस्करण का उपयोग करके परीक्षण किया।

जीपीटी-रेड और मानव लाल टीमरों को जीपीटी-5.1 के खिलाफ हमले विकसित करने के लिए कहा गया था जो जीपीटी-रेड के प्रशिक्षण में शामिल नहीं थे। स्वचालित प्रणाली ने 84% दृश्यों में सफल हमले उत्पन्न किए, जबकि मानव भागीदारों के लिए 13%।

यह परिणाम यह नहीं दर्शाता है कि मानव सुरक्षा शोधकर्ता अब अनावश्यक हो गए हैं। जीपीटी-रेड का लाभ मुख्य रूप से इसकी क्षमता में निहित है कि यह एक उच्च मात्रा में प्रयोग करे, असफल रणनीतियों को त्याग दे, और बिना मानव टीम के समय और कर्मचारी प्रतिबंधों के लगातार आशाजनक हमलों को परिष्कृत करे।

मानव परीक्षक अभी भी अप्रत्याशित जोखिमों की पहचान करने, विफलताओं के व्यापक परिणामों को समझने और ऐसे दृश्यों को डिज़ाइन करने के लिए महत्वपूर्ण हैं जिन्हें स्वचालित प्रणालियां नहीं मान सकती हैं। जॉर्जटाउन विश्वविद्यालय के सेंटर फॉर सिक्योरिटी एंड एमर्जिंग टेक्नोलॉजी की एक वरिष्ठ शोध विश्लेषक जेसिका जी ने परिणामों को आशाजनक के रूप में वर्णित किया, जबकि यह कहते हुए कि मानव विशेषज्ञता अभी भी आवश्यक है।

एक वेंडिंग मशीन एक वास्तविक दुनिया का लक्ष्य बन गई

ओपनएआई ने यह भी परीक्षण किया कि क्या सिम्युलेशन में खोजे गए हमले कार्यशील एआई एजेंटों में स्थानांतरित हो सकते हैं।

एक प्रयोग ने एंडन लैब्स द्वारा बनाए गए और ओपनएआई कार्यालय में तैनात एक स्वायत्त वेंडिंग मशीन एजेंट को लक्षित किया। जीपीटी-रेड को पहले एक सिम्युलेटेड संस्करण दिया गया था, साथ ही यह देखने की क्षमता थी कि एजेंट अपने टूल का उपयोग कैसे करता है।

सिम्युलेशन में अपने हमलों का परीक्षण और परिष्करण करने के बाद, जीपीटी-रेड ने उन्हें उत्पादन एजेंट में स्थानांतरित किया। यह तीनों निर्दिष्ट उद्देश्यों को प्राप्त करने में सफल रहा: एक महंगे उत्पाद की कीमत को $0.50 तक कम करना, $100 से अधिक मूल्य का एक नया आइटम ऑर्डर करना और इसे $0.50 के लिए पेश करना, और एक अन्य ग्राहक के ऑर्डर को रद्द करना। ओपनएआई का कहना है कि कमजोरियों को उजागर किया गया था और अतिरिक्त सुरक्षा उपायों का परीक्षण किया जा रहा है।

प्रयोग यह दर्शाता है कि प्रॉम्प्ट इंजेक्शन केवल एक अनुचित चैटबॉट प्रतिक्रिया उत्पन्न करने की बात नहीं है। जब एक एआई मॉडल बाहरी प्रणालियों को नियंत्रित करता है, तो एक सफल इंजेक्शन वित्तीय लेनदेन, संशोधित रिकॉर्ड, डेटा हानि, या भौतिक दुनिया के परिणामों का कारण बन सकता है।

जीपीटी-रेड का जीपीटी-5.4 मिनी द्वारा संचालित एक कोडेक्स कमांड-लाइन एजेंट के खिलाफ भी परीक्षण किया गया था। 10 पहले देखे गए डेटा-एक्सफिल्ट्रेशन दृश्यों में, यह एक प्रेरित जीपीटी-5.5 बेसलाइन की तुलना में संवेदनशील जानकारी को उजागर करने के लिए कोडिंग एजेंट को मनाने में अधिक सफल और अधिक टोकन-कुशल था।

जीपीटी-रेड ने जीपीटी-5.6 को कैसे बदला

जीपीटी-रेड की सबसे उल्लेखनीय खोजों में से एक एक प्रत्यक्ष प्रॉम्प्ट इंजेक्शन की श्रेणी थी जिसे ओपनएआई एक “नकली श्रृंखला के विचार” हमले के रूप में कहता है।

एक उच्च स्तर पर, तकनीक झूठी तर्क या सत्यापन जानकारी प्रस्तुत करती है जो लक्ष्य मॉडल को यह मानने के लिए प्रोत्साहित करती है कि एक दुर्भाग्यपूर्ण निर्देश पहले से ही समीक्षा और अनुमोदन किया गया है। ओपनएआई शोधकर्ता क्रिस चोक्वेट-चू ने इस概念 की तुलना किसी को गलत उत्तर की पुष्टि करने के लिए कहने से की, जिससे वे इसे बिना अंतर्निहित तर्क को दोहराए बिना स्वीकार करने की अधिक संभावना रखते हैं।

इन हमलों ने कथित तौर पर जीपीटी-5.1 के खिलाफ 95% से अधिक बार सफलता प्राप्त की। जीपीटी-रेड द्वारा उत्पन्न हमलों का उपयोग करके प्रतिकूल प्रशिक्षण के बाद, जीपीटी-5.6 सोल के खिलाफ सफलता दर 10% से नीचे गिर गई। एक व्यापक सेट के प्रत्यक्ष प्रॉम्प्ट इंजेक्शन वातावरण में, ओपनएआई का कहना है कि जीपीटी-5.6 सोल ने जीपीटी-रेड के प्रयासों में से केवल 0.05% पर विफल रहा।

ओपनएआई ने यह भी मूल्यांकन किया कि क्या जोड़े गए बचाव केवल जीपीटी-5.6 को वैध अनुरोधों को अस्वीकार करने की संभावना बढ़ाते हैं। कंपनी का कहना है कि सामान्य क्षमताएं और लक्षित ओवर-रिफ्यूजल मूल्यांकन बड़े पैमाने पर प्रभावित नहीं हुए, जो यह सुझाव देता है कि सुधार दुर्भाग्यपूर्ण और वैध निर्देशों के बीच बेहतर भेदभाव से आया था, न कि मॉडल को व्यापक रूप से कम इच्छुक बनाने से।

यह अंतर महत्वपूर्ण है। एक मॉडल सुरक्षित प्रतीत हो सकता है यदि यह फ़ाइलें खोलने, वेबसाइटों पर ब्राउज़ करने, कोड निष्पादित करने या बाहरी अनुप्रयोगों के साथ बातचीत करने से इनकार करता है, लेकिन यह अपने व्यावहारिक मूल्य का एक बड़ा हिस्सा भी खो देगा। प्रभावी लचीलापन वैध टूल का उपयोग बनाए रखने के साथ-साथ अविश्वसनीय पार्टियों द्वारा डाले गए निर्देशों का प्रतिरोध करने की आवश्यकता है।

ओपनएआई जीपीटी-रेड क्यों जारी नहीं कर रहा है

जीपीटी-रेड एक आंतरिक प्रणाली रहेगी और ओपनएआई के सार्वजनिक रूप से तैनात मॉडल से अलग रखा जाएगा।

यह निर्णय स्वचालित लाल टीमिंग की द्वि-उद्देश्य प्रकृति को दर्शाता है। वही मॉडल जो डेवलपर्स को प्रॉम्प्ट इंजेक्शन कमजोरियों का पता लगाने में मदद कर सकता है, अन्य कंपनियों द्वारा संचालित एआई एजेंटों को समझौता करने के लिए अधिक प्रभावी तरीके विकसित करने में हमलावरों की मदद कर सकता है।

ओपनएआई का दृष्टिकोण हमलावर को आंतरिक रूप से बनाए रखना है और परिणामस्वरूप रक्षात्मक ज्ञान को उत्पादन मॉडल में स्थानांतरित करना है। कंपनी का कहना है कि यह पृथक्करण जीपीटी-रेड में जानबूझकर प्रशिक्षित दुर्भाग्यपूर्ण क्षमताओं को बाहरी हमलावरों के लिए सुलभ होने से रोकने के लिए है।

यह भी意味ाता है कि जीपीटी-रेड को ओपनएआई के सार्वजनिक साइबर सुरक्षा मॉडल या रक्षात्मक कार्यक्रमों के साथ भ्रमित नहीं किया जाना चाहिए। यह एक प्रवेश परीक्षण उत्पाद नहीं है, न ही यह मुख्य रूप से स्वचालित रूप से पारंपरिक सॉफ़्टवेयर शोषण का पता लगाने के लिए डिज़ाइन किया गया है। इसका वर्तमान फोकस एआई प्रणालियों के निर्देश-पालन व्यवहार पर हमला करना है, विशेष रूप से उन एजेंटों पर जो संभावित रूप से अविश्वसनीय डेटा के संपर्क में हैं।

स्वचालित लाल टीमिंग अभी भी अंधे धब्बे हैं

इसके मजबूत परिणामों के बावजूद, जीपीटी-रेड एआई सुरक्षा के लिए एक पूर्ण समाधान प्रदान नहीं करता है।

शोध की रिपोर्टिंग से पता चलता है कि प्रणाली अभी भी बहु-मोड़ हमलों पर कम प्रभावी है जो एक लंबी बातचीत के दौरान धीरे-धीरे unfurls। यह छवियों में निहित प्रॉम्प्ट इंजेक्शन विकसित करने की सीमित क्षमता भी रखता है, जो महत्वपूर्ण बहुमोड़ल हमले के हमले के क्षेत्र को अपर्याप्त रूप से कवर करता है।

परिणाम ओपनएआई द्वारा डिज़ाइन किए गए वातावरण और सफलता मानदंडों पर बहुत अधिक निर्भर हैं। हालांकि कंपनी ने जीपीटी-रेड का परीक्षण किया था जो परिदृश्यों और कार्यशील एजेंटों पर आयोजित किया गया था, स्वतंत्र शोधकर्ताओं के पास मॉडल और इसके मूल्यांकन बुनियादी ढांचे के निजी होने के कारण परिणामों को पुन: पेश करने की सीमित क्षमता होगी।

ओपनएआई का कहना है कि यह स्वचालित परीक्षण के साथ मानव और तृतीय-पक्ष लाल टीमिंग, परतदार उत्पाद सुरक्षा उपायों, पहुंच नियंत्रण, निगरानी और वास्तविक समय के दुरुपयोग का पता लगाने को जोड़ना जारी रखेगा। यह रक्षा में गहराई की रणनीति हमलावरों की वास्तविकता को दर्शाती है कि कोई एक मॉडल या बेंचमार्क हर हमले का अनुमान नहीं लगा सकता है जो तैनाती के बाद उत्पन्न हो सकता है।

एआई हमलावरों और रक्षकों के बीच एक नया सुरक्षा दौड़

ओपनएआई की घोषणा में वर्णित “स्व-निर्माण” एक तैनात मॉडल को स्वचालित रूप से अपने स्वयं के वजन को पुनः लिखने या एक अधिक शक्तिशाली उत्तराधिकारी का स्वतंत्र रूप से निर्माण करने का नहीं है। इसके बजाय, यह एक नियंत्रित प्रशिक्षण लूप है जिसमें एक एआई प्रणाली प्रतिकूल उदाहरणों का उत्पादन करती है जिसे शोधकर्ता दूसरी प्रणाली में सुधार के लिए उपयोग करते हैं।

फिर भी, जीपीटी-रेड उन्नत मॉडलों को सुरक्षित करने के तरीके में एक महत्वपूर्ण बदलाव का प्रतिनिधित्व करता है। मानव लाल टीमर जटिल कमजोरियों का पता लगा सकते हैं, लेकिन वे मैन्युअल रूप से उन हमलों की मात्रा और विविधता का उत्पादन नहीं कर सकते हैं जो बढ़ती क्षमता वाले एआई एजेंटों को लगातार प्रशिक्षित करने की आवश्यकता होती है।

स्वचालित हमलावर उस अंतर को भरने में एक हिस्सा बना सकते हैं, एक सुरक्षा फ्लाईव्हील बनाते हैं जिसमें प्रत्येक मजबूत रक्षक हमलावर मॉडल को नई कमजोरियों का पता लगाने के लिए मजबूर करता है। वे कमजोरियां तब अगली पीढ़ी के उत्पादन प्रणालियों के लिए प्रशिक्षण सामग्री बन जाती हैं।

जोखिम यह है कि समान क्षमताएं रक्षात्मक प्रयोगशालाओं में विशिष्ट नहीं रहेंगी। जैसे ही खुले और वाणिज्यिक मॉडल लंबी दूरी की योजना, टूल उपयोग, साइबर सुरक्षा और स्वायत्त प्रयोग के लिए बेहतर होते हैं, हमलावरों को अपने स्वयं के अधिक क्षमतावान प्रणालियों तक पहुंच प्राप्त होगी।

जीपीटी-रेड इसलिए प्रगति और आगे की प्रतियोगिता का एक प्रारंभिक संकेत है। एआई प्रयोगशालाएं अपने अगले पीढ़ी के एजेंटों की रक्षा के लिए शक्तिशाली मॉडलों का उपयोग करना शुरू कर रही हैं, लेकिन उन रक्षाओं को निरंतर विकसित होने की आवश्यकता होगी क्योंकि समान अंतर्निहित प्रौद्योगिकियां स्वचालित हमलों को सस्ता, तेज और अधिक अनुकूलन योग्य बनाती हैं।