चैटबॉट सुरक्षा उपाय गलत सुरक्षा सीमा हैं

एंटरप्राइज़ एआई प्रूफ-ऑफ-कॉन्सेप्ट चरण से बहुत आगे निकल गया है। 23% संगठन पहले से ही अपने एंटरप्राइज़ में कहीं न कहीं एजेंटिक एआई सिस्टम को स्केल कर रहे हैं, और 62% कम से कम एआई एजेंटों के साथ प्रयोग कर रहे हैं। ये शोध परियोजनाएं नहीं हैं। वे उत्पादन तैनाती हैं, जो कोड रिपॉजिटरी, ग्राहक डेटा, आंतरिक एपीआई और परिचालन बुनियादी ढांचे को छूने वाले कार्य प्रवाह में निहित हैं।

उद्योग की इस वृद्धि के प्रति प्रतिक्रिया मुख्य रूप से यह देखने पर केंद्रित है कि एक एजेंट लाइव होने से पहले क्या होता है। विक्रेताओं और शोधकर्ताओं ने पूर्व-तैनाती सुरक्षा उपायों में ऊर्जा डाली है: स्केलिंग नीतियों को प्रकाशित करना, फाउंडेशन मॉडल को मजबूत करना, इनपुट को फिल्टर करना, एआई आपूर्ति श्रृंखला को सुरक्षित करना, और प्रशिक्षण समय में संरेखण को लागू करना। प्रमुख एआई प्रदाताओं ने व्यापक निवेश किए हैं डेवलपर-फेसिंग सुरक्षा टूलिंग में, एक केंद्रीय धारणा को मजबूत करते हुए: यदि मॉडल और इसके इनपुट नियंत्रित हैं, तो डाउनस्ट्रीम जोखिम को नियंत्रित किया जा सकता है।

यह एक तर्कसंगत प्रवृत्ति है, लेकिन एक बढ़ती जटिल एक।

प्रॉम्प्ट सुरक्षा सीमा नहीं है

मॉडल इंटरफ़ेस पर काम करने वाले सुरक्षा उपाय मुख्य रूप से उन टीमों को लाभान्वित करते हैं जो अनुप्रयोग कोड, मॉडल कॉन्फ़िगरेशन और अंतर्निहित बुनियादी ढांचे को नियंत्रित करते हैं। वे उन रक्षकों को बहुत कम सुरक्षा प्रदान करते हैं जिन्हें उन एआई सिस्टम की सुरक्षा का काम सौंपा गया है जिन्हें उन्होंने नहीं बनाया है और जिन्हें वे संशोधित नहीं कर सकते हैं। यह एक महत्वपूर्ण अंधा धब्बा है, और विरोधी पहले से ही इसे पा चुके हैं।

ओपनएआई की नवीनतम खतरा खुफिया रिपोर्ट इसी गतिविधि का दस्तावेजीकरण करती है। खतरा अभिनेता उत्पादन वातावरण में चैटजीपीटी और समान उपकरणों का दुरुपयोग कर रहे हैं, नए हमले तकनीकों का आविष्कार करके नहीं, बल्कि मौजूदा कार्य प्रवाह में एआई को एम्बेड करके तेजी लाने के लिए। टोही अधिक कुशल हो जाती है। सामाजिक इंजीनियरिंग का पैमाना बढ़ जाता है। मैलवेयर विकास तेज हो जाता है। हमले की सतह मूल रूप से नहीं बदली है; शोषण की गति और मात्रा बदल गई है।

अधिक बताने वाला यह है कि हमलावरों ने तब कैसी प्रतिक्रिया दी जब उन उपकरणों ने पुशबैक किया। ओपनएआई ने खतरा अभिनेताओं को अपने प्रॉम्प्ट को तेजी से परिवर्तित करते हुए देखा, जो सतह स्तर के विचलन को चकमा देने के लिए चक्रीय रूप से विचलन को बनाए रखते हुए मूल इरादे को बनाए रखते हैं। यह एक पैटर्न है जिसे सुरक्षा पрак्टिशनर्स ने पहले देखा है। स्थिर रक्षा, चाहे वह हस्ताक्षर-आधारित एंटीवायरस हो या इनपुट फिल्टरिंग, उन हमलावरों के खिलाफ खड़े नहीं हो सकते जो नियम अद्यतनों की तुलना में तेजी से पुनरावृत्ति करते हैं।

चुनौती जटिल हो जाती है क्योंकि एजेंट स्वायत्तता प्राप्त करते हैं। आधुनिक एआई एजेंट एकल आदान-प्रदान में काम नहीं करते हैं। वे बहु-चरण क्रिया अनुक्रमों को निष्पादित करते हैं, वैध उपकरणों और अनुमतियों को अलग-अलग रूप से बुलाते हैं जो पूरी तरह से सामान्य लगते हैं। एक एजेंट जो वैध प्रमाण-पत्रों का उपयोग करके आंतरिक एपीआई को सूचीबद्ध करता है, वह कोई अलार्म नहीं लगाता है। एक एजेंट जो किसी नियमित कार्य प्रवाह के दौरान संवेदनशील डेटा स्टोर तक पहुंचता है, तो तुरंत कोई झंडा नहीं लगता है। प्रत्येक व्यक्तिगत क्रिया निरीक्षण पास करती है; खतरा संयोजन और अनुक्रम में रहता है।

जब खतरा डाउनस्ट्रीम जाता है

आज एआई तैनाती की रक्षा करने वाली सुरक्षा टीमें एक संरचनात्मक असंगति का सामना करती हैं। उनके पास उपलब्ध उपकरण मुख्य रूप से यह सोचने के लिए बनाए गए हैं कि एक मॉडल को क्या कहने की अनुमति है। वास्तविक जोखिम जिसे उन्हें प्रबंधित करने की आवश्यकता है वह है कि एक एजेंट क्या करता है जब यह अनुमतियां प्राप्त करता है और उत्पादन वातावरण में छोड़ दिया जाता है, प्रणालियों, नेटवर्क और पहचानों के पार।

प्रॉम्प्ट-आधारित सुरक्षा उपाय पूर्ववर्ती नियम-चालित सुरक्षा दृष्टिकोणों की मूलभूत कमजोरियों को साझा करते हैं। वे नाजुक हैं क्योंकि वे पहले से हमले के पैटर्न की भविष्यवाणी करने पर निर्भर करते हैं। वे प्रतिक्रियाशील हैं क्योंकि उन्हें काम करने के लिए किसी को पहले खतरे का अवलोकन करना और सांकेतिक शब्दों में व्यक्त करना होता है। और वे उन हमलावरों से पीछे रह जाते हैं जिन्होंने एआई-सहायता प्राप्त पुनरावृत्ति को मानक अभ्यास के रूप में अपना लिया है। एक रक्षक जो एक खतरा अभिनेता को पकड़ने के लिए इनपुट फिल्टरिंग पर भरोसा करता है जो एक भाषा मॉडल का उपयोग करके ताज़ा प्रॉम्प्ट विचलन उत्पन्न कर रहा है, वह मूल रूप से एक हारी हुई स्थिति में है।

वास्तविक जोखिम तैनाती के बाद की सतह पर आता है। एजेंट-निर्देशित क्रियाएं वातावरण में प्रसारित होती हैं जिस तरह से कोई पूर्व-लॉन्च परीक्षण पूरी तरह से अनुमान नहीं लगा सकता है। एजेंटों का सामना किनारे के मामलों से होता है, जो डेटा स्रोतों के साथ बातचीत करते हैं जिन्हें वे संभालने के लिए डिज़ाइन नहीं किए गए थे, बाहरी प्रणालियों से इनपुट प्राप्त करते हैं और समय के साथ फैसले लेते हैं जो जुड़े रहते हैं। पूर्व-तैनाती परीक्षण एक स्नैपशॉट है; उत्पादन एक निरंतर धारा है। केवल स्नैपशॉट की रक्षा करने का मतलब यह स्वीकार करना है कि धारा में होने वाली हर चीज़ मूल रूप से निगरानी से बाहर है।

एजेंट व्यवहार में सुरक्षा सीमा को स्थानांतरित करना

एआई लचीलापन बनाने के लिए एक अलग फ्रेम और लक्ष्य की आवश्यकता होती है और लक्ष्य मॉडल इंटरफ़ेस की रक्षा नहीं करना चाहिए। इसका उद्देश्य एजेंट क्रियाओं के परिणामस्वरूप दिखाई देने वाले हमलावर इरादे का पता लगाना होना चाहिए। यह एक महत्वपूर्ण अंतर है। इरादा हमेशा यह नहीं दिखाता है कि एक एजेंट क्या कहता है या क्या इनपुट प्राप्त करता है।

एआई सिस्टम को सुरक्षित करना मॉडल संरेखण जांच और लचीलापन मूल्यांकन से परे एजेंट व्यवहार की निरंतर मूल्यांकन तक विस्तारित होना चाहिए, जब वे वास्तविक उपकरणों, वास्तविक एपीआई और वास्तविक डेटा के साथ बातचीत करते हैं। तैनाती समय में स्थिर मूल्यांकन आवश्यक है लेकिन पर्याप्त नहीं है। एजेंट के संचालन वातावरण में खतरा परिदृश्य लगातार बदलता रहता है। एजेंट व्यवहार की निगरानी भी उसी निरंतरता के साथ की जानी चाहिए।

यह एक समस्या है जिसे प्रॉम्प्ट कठोरता नहीं हल कर सकती। दुर्भावनापूर्ण इरादे का पता लगाने के लिए क्रिया अनुक्रमों के माध्यम से जैसे ही यह उभरता है, यह आवश्यक है कि मॉडल जटिल, अनुक्रमिक व्यवहार को संचालन वातावरण में समझने में सक्षम हों। व्यवहार विश्लेषण के लिए डीप लर्निंग फाउंडेशन मॉडल इसे नियम-आधारित प्रणाली और पारंपरिक एसआईईएम टूलिंग के तरीके से कर सकते हैं। वे सीखते हैं कि सामान्य क्या दिखता है पूरे एजेंट गतिविधि के संदर्भ में, और वे विचलन को उजागर करते हैं जो इंगित करते हैं कि कुछ बदल गया है, यहां तक कि जब कोई व्यक्तिगत क्रिया पारंपरिक अलार्म को ट्रिगर नहीं करती है।

मूल तर्क तैनाती संदर्भ की परवाह किए बिना लागू होता है: प्रॉम्प्ट परत में निहित सुरक्षा हमलावरों के खिलाफ लगातार हार जाएगी जो क्रिया परत पर काम करते हैं। रक्षा को खतरे के वास्तविक निवास स्थान पर जाने की आवश्यकता है।

सुरक्षा टीमें अब क्या करें

सुरक्षा नेताओं के लिए जो इसके आगे रहने की कोशिश कर रहे हैं, कुछ व्यावहारिक बदलाव इस अंतर को बंद कर सकते हैं जहां रक्षा वर्तमान में बैठती है और जहां उन्हें होने की आवश्यकता है।

पूरे एप्लिकेशन स्टैक में एआई सुरक्षा का मूल्यांकन करें। फाउंडेशन मॉडल एक परत है। समान रूप से महत्वपूर्ण यह है कि एजेंट उत्पादन में तैनात होने के बाद कैसे व्यवहार करते हैं, जो उपकरणों को बुलाते हैं, जो अनुमतियों का उपयोग करते हैं और जैसे वे समय के साथ विकसित होते हैं। मॉडल सीमा पर रुकने वाले सुरक्षा मूल्यांकन ऑपरेशनल सतह को बड़े पैमाने पर अनदेखा करते हैं।

एजेंट स्तर पर न्यूनतम विशेषाधिकार लागू करें। एआई एजेंटों को केवल उन उपकरणों, एपीआई और डेटा तक पहुंच होनी चाहिए जो उनके निर्दिष्ट कार्य के लिए आवश्यक हैं। यह प्रतिबंध तब भी महत्वपूर्ण है जब एजेंट के आउटपुट सchein लगते हैं। दायरे को सीमित करने से एक समझौता एजेंट का विस्फोटक त्रिज्या कम हो जाती है और स्पष्ट व्यवहार基准 बनाती है जो विचलन का पता लगाने को अधिक प्रभावी बनाती है।

एजेंटों को टेलीमेट्री उत्पन्न करने वाली पहचान के रूप में व्यवहार करें। एजेंट द्वारा की गई प्रत्येक क्रिया एक डेटा बिंदु है। सुरक्षा टीमों को एजेंट-आरंभित क्रिया श्रृंखलाओं के चारों ओर पता लगाने वाले तर्क का निर्माण करना चाहिए, न कि केवल उस प्रॉम्प्ट पर जो उन्हें先े से होता है। यह पुनरावृत्ति निगरानी को बदलती है कि किसी ने एजेंट से क्या पूछा था से लेकर एजेंट ने वास्तव में क्या किया था, जो हमलावर इरादे को दिखाई देने वाली जगह है।

इस कार्य के लिए विशेष रूप से डिज़ाइन किए गए पता लगाने वाले मॉडल के साथ निरंतर व्यवहार निगरानी में निवेश करें। दुर्भावनापूर्ण इरादे का पता लगाने के लिए क्रिया अनुक्रमों के माध्यम से जैसे ही यह उभरता है, विशेषज्ञता की आवश्यकता होती है। पारंपरिक निगरानी उपकरण मानव-उत्पन्न गतिविधि पैटर्न के लिए बनाए गए थे। एजेंट व्यवहार, इसकी गति, मात्रा और बहु-चरण संरचना के साथ, संरेखित करने के लिए पता लगाने वाले बुनियादी ढांचे की मांग करता है जो संदर्भ में डिज़ाइन किया गया है।

सामूहिक रक्षा को प्राथमिकता दें। एआई-संचालित हमले तकनीकें किसी एक संगठन की तुलना में तेजी से विकसित हो रही हैं जो उनका ट्रैक रख सकता है। साझा अनुसंधान, खुली सहयोग और सामुदायिक खतरा खुफिया जानकारी किसी एआई सुरक्षा रणनीति के लिए वैकल्पिक पूरक नहीं हैं; वे मूलभूत इनपुट हैं। जो रक्षक वर्तमान रहते हैं वे ही हैं जो सामूहिक ज्ञान में योगदान देते हैं और आकर्षित करते हैं।

व्यवहार सुरक्षा वास्तव में वितरित करती है

जो सुरक्षा टीमें इस बदलाव को बनाती हैं, उन्हें व्यावहारिक भुगतान मिलता है। एजेंट व्यवहार में पता लगाने को निहित करना, मॉडल आउटपुट के बजाय, छिपी हुई, अनुकूलन योग्य या एन्क्रिप्टेड हमलों के मामले में भी दुर्भावनापूर्ण इरादे की पहले पहचान को सक्षम बनाता है। जो हमलावर अपने प्रॉम्प्ट को इनपुट फिल्टर से परे परिवर्तित करने में सफल होते हैं, उन्हें अभी भी कार्रवाई करनी होगी। वे क्रियाएं निशान छोड़ती हैं। व्यवहार पता लगाने वाला उन निशानों को नुकसान के प्रसार से पहले पाता है।

शायद सबसे महत्वपूर्ण बात यह है कि यह दृष्टिकोण संगठनों को एआई एजेंटों को स्केल करने के लिए एक विश्वसनीय मार्ग प्रदान करता है जो सुरक्षा पोस्चर को कमजोर किए बिना। जो प्रश्न कई उद्यमों को रोके हुए है वह यह नहीं है कि क्या एआई एजेंट मूल्य प्रदान कर सकते हैं; यह है कि क्या वे पर्याप्त सुरक्षा विश्वास के साथ तैनात किए जा सकते हैं जो तैनाती के बढ़ने के साथ सुरक्षा पोस्चर को खराब नहीं करता है। व्यवहार सुरक्षा, जो एजेंटों के वास्तविक संचालन पर आधारित है, न कि प्रॉम्प्ट-आधारित नियंत्रणों के विपरीत, जो संरचनात्मक रूप से ऐसा नहीं कर सकते हैं।

सुरक्षा सीमा गलत स्थान पर खींची गई थी, और यह तब समझ में आया जब एआई एक ऐसा उपकरण था जो इनपुट की प्रतीक्षा करता था। यह अब प्रतीक्षा नहीं करता है, एजेंटिक सिस्टम कार्य करते हैं, श्रृंखला बनाते हैं, बढ़ते हैं और पर्यावरण में जटिलता पैदा करते हैं जो किसी भी पूर्व-तैनाती परीक्षण द्वारा अनुमानित नहीं है। संगठन जो इसे सबसे पहले पहचानते हैं वे वास्तव में एआई के साथ विश्वास के साथ स्केल करेंगे। बाकी लोग अगले कई वर्षों में खोज करेंगे, प्रत्येक उल्लंघन के माध्यम से, यह देखते हुए कि मॉडल को क्या कहना है यह नियंत्रित करना कभी भी यह नियंत्रित करने जैसा नहीं था कि यह क्या करता है।