जब एआई क्षमता सुरक्षा मॉडल से तेजी से बढ़ती है

एआई टूल्स आमतौर पर एक परिचित पिच के साथ आते हैं। वे वर्कफ्लो को स्ट्रीमलाइन करने, उत्पादकता बढ़ाने और उन कार्यों को करने का वादा करते हैं जिन्हें कोई पसंद नहीं करता। और अधिकांश समय, वे वादा किया हुआ परिणाम देते हैं। वे लॉगिन को सरल बनाते हैं, दस्तावेजों को सारांशित करते हैं, वर्कफ्लो को स्वचालित करते हैं और दिनचर्या गतिविधियों को लगभग प्रयास रहित महसूस कराते हैं।

लेकिन इस सुविधा के नीचे एक अलग कहानी है। ये टूल अब एक टेक्स्ट बॉक्स तक सीमित नहीं हैं। वे ऑपरेटिंग सिस्टम पर ही कार्य करने लगे हैं। वे फ़ाइलें ब्राउज़ कर सकते हैं, ईमेल ड्राफ्ट कर सकते हैं, एप्लिकेशन के साथ बातचीत कर सकते हैं और ऐसे कार्य कर सकते हैं जिनके लिए पहले एक मानव की आवश्यकता होती थी जो परिणामों को समझता था। यह बदलाव एआई को एक ऐसी स्थिति में ले जाता है जिसे प्रबंधित करने के लिए मौजूदा सुरक्षा धारणाएं कभी नहीं बनाई गई थीं।

एआई सिस्टम को सिस्टम एक्सेस मिलने का क्षण

एक बार जब एआई सिस्टम वास्तविक फ़ाइलें पढ़ सकता है और वास्तविक कमांड निष्पादित कर सकता है, तो यह विश्वसनीय कंप्यूटिंग बेस का हिस्सा बन जाता है। यह वह क्षण है जब एआई सुरक्षा के बारे में लंबे समय से चली आ रही अपेक्षाएं टूटने लगती हैं।

वर्षों से, प्रॉम्प्ट इंजेक्शन को एक अजीब मॉडल व्यवहार माना जाता था। यह चैटबॉट्स को भ्रामक या अनुचित प्रतिक्रियाएं उत्पन्न करने का कारण बनता था, लेकिन नुकसान बातचीत के साथ समाप्त हो जाता था। अब उसी दोष के कारण होस्ट-लेवल क्रियाएं हो सकती हैं, न कि केवल पाठ। एक पीडीएफ, वेबसाइट या ईमेल में छिपी हुई दुर्भाग्यपूर्ण निर्देश अब एक अजीब उत्तर का उत्पादन नहीं करता है। यह एक क्रिया का उत्पादन करता है जो मशीन पर की जाती है।

यह कुछ ऐसा नहीं है जिसे उद्योग को सैद्धांतिक के रूप में खारिज किया जा सकता है। कार्नेगी मेलन और वाशिंगटन विश्वविद्यालय के शोधकर्ताओं ने बार-बार प्रदर्शित किया है कि छिपे हुए निर्देश बड़े भाषा मॉडल को ऐसी क्रियाएं करने के लिए निर्देशित कर सकते हैं जो उपयोगकर्ता ने कभी नहीं चाहा था। इस बीच, दृष्टि मॉडल का अध्ययन करने वाले शोधकर्ताओं ने दिखाया है कि कैसे हेरफेर की गई छवियां मॉडल की धारणा को बदल सकती हैं जो डाउनस्ट्रीम व्यवहार को प्रभावित करती हैं।

इन प्रयोगों को एक बार प्रयोगशाला की जिज्ञासा के रूप में माना जाता था। जब एआई को ऑपरेटिंग सिस्टम तक पहुंच मिलती है, तो वे अब अकादमिक नहीं लगते।

जब एजेंट की क्षमता रक्षक नियंत्रण से आगे निकल जाती है

इन एजेंटों का निर्माण करने वाली कंपनियां भी इस चुनौती की गंभीरता को स्वीकार करती हैं। उन्होंने प्रॉम्प्ट को संभालने के लिए फिल्टर को मजबूत किया है, लेकिन वे खुलकर कहते हैं कि एआई सिस्टम की वास्तविक दुनिया की क्रियाओं को नियंत्रित करना एक सक्रिय, अनसुलझा क्षेत्र है जिस पर उद्योग भर में काम किया जा रहा है। एजेंट की क्षमता और रक्षकों के नियंत्रण के बीच यह अंतर एक नए प्रकार का जोखिम पेश करता है जिसे मौजूदा सुरक्षा प्लेबुक अवशोषित नहीं कर सकते।

एआई एजेंट एक सीमा पार कर गए हैं जिसके लिए उद्योग पूरी तरह से तैयार नहीं है। इसे समझने का एकमात्र तरीका यह देखना है कि प्रॉम्प्ट इंजेक्शन अब उन हमला श्रृंखलाओं के साथ कैसे जुड़ता है जिनका रक्षक वर्षों से पालन कर रहे हैं।

प्रॉम्प्ट इंजेक्शन अब हमला श्रृंखलाओं के साथ कैसे जुड़ता है

हमलावर हमेशा एक भविष्यवाणीय पैटर्न का पालन करते हैं। एमआईटीआरई एटी&सीके फ्रेमवर्क चरणों को स्पष्ट रूप से बताता है। प्रारंभिक पहुंच के बाद निष्पादन, दृढ़ता, खोज, लेटरल मूवमेंट, संग्रह और निकासी होती है। तकनीकें भिन्न हो सकती हैं, लेकिन संरचना स्थिर है।

जो बदल रहा है वह वितरण तंत्र है। हमलावर अब उपयोगकर्ता को एक दुर्भाग्यपूर्ण अनुलग्नक खोलने या एक खतरनाक लिंक पर क्लिक करने के लिए मनाने के बजाय निर्देशों को वहां रख सकते हैं जहां एआई एजेंट उन्हें पढ़ेगा। एजेंट निष्पादन वातावरण बन जाता है। यह चरणों को ठीक वैसे ही निर्देशित करता है जैसा वर्णित है। मॉडल यह नहीं पूछता कि निर्देश हानिकारक है या नहीं। यह निर्णय या直觉 नहीं लगाता। यह बस कार्य करता है।

एक बार जब हमलावर एजेंट की तर्कसंगतता को प्रभावित कर सकता है, तो हमला श्रृंखला जल्दी से एक साथ आती है। एक हेरफेर की गई फ़ाइल निष्पादन को ट्रिगर करती है, अनुवर्ती निर्देश दृढ़ता बनाते हैं, सिस्टम खोजें खोज प्रदान करती हैं और फ़ाइल अपलोड संग्रह और निकासी को सक्षम बनाते हैं। किसी मैलवेयर की आवश्यकता नहीं है। एजेंट बस निर्देशित कार्यों को निर्देशित करता है।

यह हमलावरों के लिए एक नए प्रकार का अवसर प्रस्तुत करता है और रक्षकों के लिए एक बड़ी चुनौती है।

सुरक्षा टीमें तैयार नहीं हैं और उन्हें इसका एहसास भी नहीं है

सुरक्षा कार्यक्रम अभी भी मानते हैं कि सामग्री और क्रिया के बीच एक मानव बैठा है। मानव धोखा खा सकते हैं, लेकिन जब कुछ गलत लगता है तो वे रुक जाते हैं। वे अजीब वाक्यांशों पर ध्यान देते हैं, अप्रत्याशित व्यवहार पर सवाल उठाते हैं और निर्णय के अंतिम मील में निर्णय लेते हैं।

एआई एजेंट ऐसा कुछ नहीं करते; वे निरंतर, साहित्यिक और किसी भी हमलावर से तेज हैं। एक छिपी हुई पंक्ति का निर्देश पर्याप्त है ताकि एजेंट को संवेदनशील फ़ाइलें पढ़ने, अनुप्रयोगों के माध्यम से जाने या एक दूरस्थ सर्वर से संपर्क करने का निर्देश दिया जा सके। यह रक्षकों को एक ऐसी स्थिति में रखता है जिसमें वे पहले कभी नहीं रहे।

सुरक्षा टीमों के पास यह देखने की सीमित दृश्यता है कि एजेंट किस तरह से निर्णय लेता है, और वे आसानी से यह निर्धारित नहीं कर सकते कि क्या कार्रवाई उपयोगकर्ता या एआई से उत्पन्न हुई थी। पारंपरिक मैलवेयर का पता लगाने से कोई मदद नहीं मिलती क्योंकि सामान्य अर्थों में कुछ भी दुर्भाग्यपूर्ण निष्पादित नहीं किया जा रहा है, और यह गारंटी नहीं है कि एजेंट सामान्य सामग्री में छिपे हुए हानिकारक निर्देशों पर सवाल उठाएगा या अस्वीकार करेगा।

मानव व्यवहार के लिए डिज़ाइन किए गए टूल्स एक ऐसे世界 में स्थानांतरित नहीं होते हैं जहां प्राकृतिक भाषा प्रणाली व्यवहार को चलाने वाली स्क्रिप्ट बन जाती है।

क्या मुआवजा नियंत्रण वास्तव में काम करते हैं

मॉडल कठोरीकरण पर्याप्त नहीं है। सुरक्षा टीमों को एजेंट के चारों ओर नियंत्रण की आवश्यकता है जो एआई को यह निर्देश देता है कि यह क्या कर सकता है, भले ही इसकी तर्कसंगतता प्रभावित हो।

कई रणनीतियां वादा दिखा रही हैं:

• न्यूनतम विशेषाधिकार पहुंच आवश्यक है। एजेंटों को केवल उन फ़ाइलों और क्रियाओं तक पहुंच होनी चाहिए जो उनके कार्यों के लिए आवश्यक हैं। अनावश्यक अनुमतियों को कम करने से हेरफेर किए गए निर्देशों के प्रभाव को सीमित किया जा सकता है।
• मानव अनुमोदन चरण हानिकारक क्रियाओं को रोक सकते हैं इससे पहले कि वे हों। जब एक एजेंट एक संवेदनशील संचालन करने का प्रयास करता है, जैसे कि एक कमांड चलाना या सुरक्षित डेटा तक पहुंचना, तो उपयोगकर्ता को अनुरोध स्वीकार या अस्वीकार करना चाहिए।
• सामग्री फिल्टरिंग एक बफर बनाती है जो विश्वसनीय सामग्री और एजेंट के बीच होती है। दस्तावेजों, यूआरएल और बाहरी पाठ की जांच करने से यह कम हो जाता है कि हेरफेर किए गए निर्देश मॉडल तक पहुंचें।
• व्यापक लॉगिंग अनिवार्य है। हर एजेंट-शुरू की गई क्रिया को रिकॉर्ड और समीक्षा की जानी चाहिए। इन क्रियाओं को विशेषाधिकार प्राप्त उपयोगकर्ता गतिविधि के रूप में माना जाना चाहिए।
• एजेंट व्यवहार को एटी&सीके तकनीकों के साथ मैप करने से रक्षकों को यह पहचानने में मदद मिलती है कि एजेंट को हानिकारक क्रियाओं में धकेलने के लिए कहां धक्का दिया जा सकता है और कहां गार्डरेल्स की आवश्यकता है। यह उसी प्रणाली का उपयोग करता है जो पहले से ही रक्षात्मक रणनीति को संरचित करती है।

इन मुआवजे देने वाले नियंत्रण जोखिम को पूरी तरह से समाप्त नहीं करेंगे। लेकिन वे इसे उन तरीकों से सीमित करते हैं जिनसे मॉडल स्तर की रक्षा नहीं कर सकती।

उद्योग अगले कदम की ओर बढ़ता है

एआई एजेंट कंप्यूटिंग के काम करने के तरीके में एक बड़ा बदलाव प्रस्तुत करते हैं। वे अविश्वसनीय उत्पादकता प्रदान करते हैं, लेकिन वे एक ऐसा परिचालन जोखिम भी पेश करते हैं जो मौजूदा सुरक्षा ढांचे के भीतर फिट नहीं होता है। यूके के नेशनल साइबर सिक्योरिटी सेंटर से मार्गदर्शन एक शुरुआत है, लेकिन अधिकांश संगठनों के पास अभी भी ऐसे एजेंटों को शासित करने के लिए एक स्पष्ट तरीका नहीं है जो सिस्टम पर कार्य कर सकते हैं।

यह क्षण बादल के शुरुआती दिनों की तरह लगता है। प्रौद्योगिकी नियंत्रण से तेजी से आगे बढ़ी। जिन संगठनों ने जल्दी से अनुकूलन किया, वे वही थे जिन्होंने बदलाव को जल्दी से पहचाना और इसके अनुरूप प्रक्रियाएं बनाईं।

यहां भी ऐसा ही होगा। एआई एजेंट केवल सहायक नहीं हैं। वे ऑपरेटर हैं जिनकी सिस्टम स्तर की पहुंच है। उन्हें सुरक्षित करने के लिए नए प्लेबुक, नए गार्डरेल और एक्सपोजर को मॉडल करने के नए तरीके की आवश्यकता है।

उद्योग को इन टूल्स से डरने की जरूरत नहीं है। लेकिन उन्हें समझने की जरूरत है। और उन्हें जल्दी से कार्रवाई करने की जरूरत है, क्योंकि हमलावर पहले से ही अवसर देख रहे हैं। सवाल यह है कि क्या रक्षक समय रहते उचित सुरक्षा उपाय बनाएंगे।