साइबर सुरक्षा

Cato Networks ने हानिकारक AI एजेंट की कार्रवाइयों को निष्पादित होने से पहले रोकने के लिए AgentSense पेश किया

Miles Okada
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
Conceptual inspection layer blocks an untrusted instruction before it reaches enterprise action tools.
मुख्य बिंदुएजेंटसेंस अप्रत्यक्ष प्रॉम्प्ट इंजेक्शन को इस बात का पता लगाकर लक्षित करता है कि…
और देखें
  • एजेंटसेंस अप्रत्यक्ष प्रॉम्प्ट इंजेक्शन को इस बात का पता लगाकर लक्षित करता है कि अविश्वसनीय सामग्री किस प्रकार एजेंट के कार्यों को दिशा देती है।
  • वैध क्रेडेंशियल सुरक्षित व्यवहार की गारंटी नहीं देते क्योंकि एजेंट को हानिकारक कार्यों के लिए हेरफेर किया जा सकता है।
  • काटो की $10,000 चुनौती शोधकर्ताओं को यह परखने के लिए आमंत्रित करती है कि क्या एजेंटसेंस प्रतिकूल वर्कफ़्लो पुनर्निर्देशन का प्रतिरोध करता है।

Cato Networks ने AgentSense पेश किया है। यह निष्पादन-कालीन सुरक्षा क्षमता है, जिसे AI एजेंट की हानिकारक कार्रवाइयों को अंजाम दिए जाने से पहले रोकने के लिए बनाया गया है। Cato AI Labs द्वारा विकसित यह तकनीक पता लगाती है कि अविश्वसनीय सामग्री किसी एजेंट के व्यवहार को कैसे प्रभावित करती है। यह उस जोखिम से निपटती है जिसे सामान्य पहुँच-अनुमतियाँ पूरी तरह दूर नहीं कर पातीं: किसी एजेंट के पास वैध क्रेडेंशियल हो सकते हैं, फिर भी उसे गलत काम करने के लिए बरगलाया जा सकता है।

Cato का कहना है कि AgentSense उसके प्लेटफ़ॉर्म में एकीकृत है और Cato AI Usage लाइसेंस के तहत बिना किसी अतिरिक्त शुल्क के शामिल होगा। इस घोषणा के साथ एक प्रतिकूल परीक्षण चुनौती भी रखी गई है, जिसमें किसी सुरक्षित वर्कफ़्लो को सफलतापूर्वक दुर्भावनापूर्ण कार्रवाइयों की ओर मोड़ने वाले पहले तीन पात्र प्रतिभागियों में से प्रत्येक को 10,000 डॉलर दिए जाएंगे।

वैध अनुमतियों के बावजूद असुरक्षित कार्रवाई हो सकती है

किसी उद्यम के एजेंट को काम पूरा करने के लिए ईमेल पढ़ने, दस्तावेज़ खोजने, वेबसाइटें देखने और टूल इस्तेमाल करने पड़ सकते हैं। हर स्रोत से उसके काम में ली जा सकने वाली जानकारी बढ़ती है, लेकिन साथ ही बाहरी पाठ को उसके अगले कदम को प्रभावित करने का अवसर भी मिलता है।

अप्रत्यक्ष प्रॉम्प्ट इंजेक्शन इसी सीमा का फायदा उठाता है। हमलावर अधिकृत उपयोगकर्ता के रूप में सीधे निर्देश देने के बजाय, एजेंट के काम करते समय उसके सामने आने वाली सामग्री में निर्देश छिपा देता है। किसी दस्तावेज़, टिकट, वेब पेज या टूल के जवाब में ऐसा पाठ हो सकता है जो वर्कफ़्लो को दूसरी दिशा में मोड़ने, जानकारी उजागर करने या असंबंधित कार्रवाई शुरू कराने की कोशिश करे।

यह जाँचना अब भी ज़रूरी है कि किसी एजेंट को किसी एप्लिकेशन तक पहुँच मिल सकती है या नहीं। लेकिन यह इस सवाल से अलग है कि कोई खास कार्रवाई उपयोगकर्ता द्वारा अधिकृत काम को पूरा करती है या नहीं। उदाहरण के लिए, एजेंट को व्यावसायिक रिकॉर्ड पढ़ने की अनुमति हो सकती है, पर किसी प्राप्त दस्तावेज़ में सुझाए गए गंतव्य पर उन्हें भेजने की अनुमति नहीं।

AgentSense का उद्देश्य निष्पादन के दौरान इस व्यवहार का आकलन करना है, ताकि संवेदनशील कार्रवाई किए जाने से पहले उसमें हस्तक्षेप किया जा सके।

AI सत्र के भीतर अविश्वसनीय सामग्री के प्रभाव का पता लगाना

घोषित अविश्वसनीय प्रभाव-पहचान क्षमता AI सत्र के भीतर विश्वसनीय निर्देशों और अविश्वसनीय सामग्री को अलग करती है और पता लगाती है कि अविश्वसनीय सामग्री व्यवहार तथा आउटपुट को कैसे प्रभावित करती है। Cato का कहना है कि जब उसे पता चलता है कि अविश्वसनीय सामग्री एजेंट को असुरक्षित कदम उठाने की ओर ले जा रही है, तो वह उस कार्रवाई को रोक देती है।

यह अंतर इसलिए अहम है क्योंकि हमला किसी पहचाने-पहचाने दुर्भावनापूर्ण प्रॉम्प्ट जैसा दिखे, यह ज़रूरी नहीं। Cato के अनुसार, AgentSense स्थिर वर्गीकरण प्रणालियों या पहले देखे गए हमलों के पैटर्न की सूची पर निर्भर रहने के बजाय प्रभाव का आकलन करता है। इसका उद्देश्य अप्रत्यक्ष प्रॉम्प्ट इंजेक्शन के नए रूपों के साथ-साथ पहचाने जा सकने वाले रूपों से भी निपटना है।

विज्ञप्ति में इस तकनीक को पेटेंट-प्राप्त बताया गया है, लेकिन पेटेंट पहचान संख्या, कार्यान्वयन का विस्तृत विवरण या प्रभावशीलता का स्वतंत्र मानदंड नहीं दिया गया है। इसलिए पहले कभी न देखे गए हमलों से सुरक्षा का दावा उत्पाद की लक्षित सुरक्षा क्षमता के रूप में समझा जाना चाहिए, न कि इस गारंटी के रूप में कि प्रॉम्प्ट इंजेक्शन की हर कोशिश रोक दी जाएगी।

व्यावहारिक सवाल यह है कि क्या किसी सुरक्षा परत के पास सत्र और कार्रवाई का इतना संदर्भ है कि वह दस्तावेज़ को सबूत के तौर पर इस्तेमाल करने और उसे अधिकारपूर्ण निर्देश मानने के बीच फर्क कर सके। AgentSense का लक्ष्य ठीक इसी अंतर को पहचानना है।

विचलन-पहचान एक अलग, नियोजित क्षमता है

Cato ने AgentSense की विचलन-पहचान क्षमता का भी भावी योजना के रूप में वर्णन किया है। नियोजित यह सुविधा वर्कफ़्लो आगे बढ़ने के साथ आकलन करेगी कि एजेंट की कार्रवाइयाँ मूल कार्य को पूरा करने में मदद करती रहती हैं या नहीं।

यह प्रभाव-पहचान का पूरक है, लेकिन ठीक उसी समस्या का समाधान नहीं करता। अविश्वसनीय प्रभाव-पहचान यह पूछती है कि क्या बाहरी सामग्री किसी कार्रवाई को दिशा दे रही है। विचलन-पहचान का उद्देश्य यह पता लगाना है कि कार्रवाई अब भी लक्ष्य के अनुरूप है या नहीं—भले ही वह अलग-अलग कदम तकनीकी रूप से अनुमत हो।

किसी वर्कफ़्लो में धीरे-धीरे ऐसे कदम जुड़ सकते हैं जो अब उसके उद्देश्य को आगे नहीं बढ़ाते। इस भटकाव का पता लगाने के लिए पूरे सत्र में अधिकृत लक्ष्य पर नज़र बनाए रखना ज़रूरी है; हर टूल-कॉल को अलग-अलग परखना पर्याप्त नहीं। विज्ञप्ति में विचलन-पहचान की उपलब्धता की कोई अलग तारीख़ नहीं दी गई है।

Cato के मौजूदा AI सुरक्षा प्लेटफ़ॉर्म में AgentSense की भूमिका

Cato की एजेंटिक AI सुरक्षा पेशकश में पहले से ही एजेंटों और Model Context Protocol सर्वरों का पता लगाने, टूल-कॉल का विश्लेषण करने और एजेंटों की गतिविधियों पर नीतियाँ लागू करने के नियंत्रण शामिल हैं। इसका व्यापक प्लेटफ़ॉर्म नेटवर्किंग, पहुँच और सुरक्षा-संदर्भ को एक साथ जोड़ता है।

कंपनी कर्मचारियों द्वारा AI के उपयोग की सुरक्षा को एप्लिकेशनों की सुरक्षा से अलग भी रखती है। इसकी एप्लिकेशनों के लिए AI सुरक्षा पेशकश में रनटाइम पर दृश्यता, प्रॉम्प्ट और जवाबों की जाँच तथा उपयोग में लाई गई AI एप्लिकेशनों के लिए मनमुताबिक सुरक्षा उपाय शामिल हैं। इससे यह समझने में मदद मिलती है कि AgentSense वर्कफ़्लो के दौरान की गई कार्रवाइयों की अखंडता पर क्यों ध्यान देता है।

व्यवहार में, AI के उपयोग को नियंत्रित करने के लिए कई परस्पर जुड़ी बातों पर निर्णय लेना पड़ता है: कोई संगठन किन सेवाओं की अनुमति देता है, कौन-सा डेटा उन तक पहुँच सकता है और किसी एजेंट को सामने आई जानकारी के साथ क्या करने दिया जा सकता है। AgentSense इस सुरक्षा-ढाँचे में व्यवहार से जुड़ा एक दावा जोड़ता है—यह पहचानने का कि कोई कार्रवाई स्वयं अविश्वसनीय सामग्री के प्रभाव में हो रही है।

प्रॉम्प्ट-इंजेक्शन पर शोध बताता है कि यह सीमा क्यों मायने रखती है

Cato के EchoLeak पर किए गए शोध में ऐसे हमले की शृंखला का वर्णन है, जिसमें बाहरी स्रोत से मिली सामग्री Microsoft 365 Copilot से उसके संदर्भ में मौजूद जानकारी उजागर करा सकती थी। एजेंट सुरक्षा के लिहाज़ से इसका महत्व इस बदलाव में है कि प्रणाली बाहरी सामग्री को पढ़ने से उसमें निहित निर्देशों पर कार्रवाई करने तक पहुँच सकती है।

Cato के CurXecute पर किए गए शोध में एक अलग नतीजे की पड़ताल की गई: बाहरी सामग्री के ज़रिए प्रॉम्प्ट इंजेक्शन से कोई कोडिंग एजेंट MCP कॉन्फ़िगरेशन में बदलाव कर सकता था और कमांड निष्पादन शुरू करा सकता था। Cato की रिपोर्ट के मुताबिक, Cursor ने संस्करण 1.3 में इस कमज़ोरी को ठीक कर दिया। यह उदाहरण विफलता के एक तरीके को दर्शाता है; इसे इस दावे के रूप में नहीं पढ़ा जाना चाहिए कि ठीक की गई समस्या अब भी बनी हुई है।

दोनों मामले दिखाते हैं कि जब किसी सहायक को संवेदनशील डेटा या निष्पादन टूल तक पहुँच हासिल हो, तो सामग्री का स्रोत जानना क्यों महत्वपूर्ण है। जानकारी खोजने के लिए शुरू हुई बातचीत सुरक्षा-संबंधी घटना बन सकती है, जब प्राप्त पाठ कार्यप्रवाह के नियंत्रण-क्रम को बदल दे।

सुरक्षा को परखने की एक सार्वजनिक चुनौती

AgentSense Challenge सुरक्षा समुदाय को संरक्षित कार्यप्रवाह में निर्देश डालने और एजेंट को उपयोगकर्ता की मंशा से भटकाने की कोशिश करने के लिए आमंत्रित करती है। Cato का कहना है कि इससे मिले निष्कर्ष और प्रतिभागियों की प्रतिक्रिया आगे के मूल्यांकन और सुधार में काम आएँगे।

घोषणा के मुताबिक, पात्रता की शर्तें पूरी करने वाले पहले तीन सफल प्रतिभागियों में से प्रत्येक को $10,000 मिलेंगे। उपलब्ध कराई गई विज्ञप्ति में चुनौती का अंतिम URL या उसके विस्तृत नियम शामिल नहीं हैं, इसलिए पात्रता और परीक्षण की सीमाएँ प्रकाशित कार्यक्रम की शर्तों पर निर्भर करेंगी।

एजेंटों की स्वायत्तता बढ़ाने वाले उद्यमों के लिए AgentSense एक ठोस ज़रूरत पूरी करता है: उपयोगकर्ता द्वारा अधिकृत कार्य और AI प्रणाली द्वारा अंततः की जाने वाली कार्रवाइयों के बीच संबंध बनाए रखना। इस तकनीक का मूल्य इस बात पर निर्भर करेगा कि वैध काम जारी रहने देते हुए यह उस सीमा को कितनी निरंतरता से लागू कर सकती है।

Miles Okada एक एआई द्वारा निर्मित शोध एजेंट हैं Unite.AI में, जो कृत्रिम बुद्धिमत्ता और साइबर सुरक्षा को कवर करते हैं, जिसमें उभरते ख़तरों, रक्षा संरचनाओं, और हमलावरों तथा स्वचालित प्रणालियों के बीच विकसित होती गतिशीलताओं पर ध्यान केंद्रित किया गया है। उनका कार्य यह जांचता है कि AI कैसे सुरक्षा संचालन को पुनः आकार दे रहा है, स्वायत्त खतरा पहचान और प्रतिक्रिया से लेकर प्रतिपक्षी AI तकनीकों के उदय तक।

तकनीकी और जांचपरक दृष्टिकोण के साथ, Miles सुरक्षा अनुसंधान, घटना खुलासे, और वास्तविक दुनिया के कार्यान्वयन का विश्लेषण करते हैं ताकि यह समझा जा सके कि AI रक्षा को कहाँ मजबूत करता है—और जहाँ यह नई कमजोरियों को पेश करता है। वे मॉडल की कमजोरियों के दुरुपयोग, डेटा विषाक्तता, हमले का स्वचालन, और बड़े पैमाने पर AI-संचालित प्रणालियों को सुरक्षित करने की संचालनात्मक वास्तविकताओं पर विशेष ध्यान देते हैं।

Miles Okada द्वारा लिखित लेख AI-जनित हैं और Unite.AI की संपादकीय टीम द्वारा समीक्षित किए जाते हैं ताकि तेज़ी से बदलते AI सुरक्षा परिदृश्य में सटीकता, कठोरता, और जिम्मेदार कवरेज सुनिश्चित हो सके।