सिम्बियन लॉन्चेस साइबर डिफेंस बेंचमार्क, एआई सुरक्षा क्षमताओं में बड़ा अंतर प्रकट करता है

सिम्बियन द्वारा जारी एक नए बेंचमार्क ने कृत्रिम बुद्धिमत्ता में सबसे व्यापक रूप से आयोजित धारणाओं में से एक को चुनौती दी है: यह धारणा कि कमजोरियों का पता लगाने में सक्षम मॉडल उन्हें रक्षा करने में भी सक्षम हैं।

कंपनी के हाल ही में पेश किए गए सिम्बियन साइबर डिफेंस बेंचमार्क, जिसे इसके सिम्बियन रिसर्च लैब द्वारा विकसित किया गया है, यह मूल्यांकन करता है कि अग्रणी बड़े भाषा मॉडल (एलएलएम) वास्तविक दुनिया के साइबर रक्षा परिदृश्यों में कितनी अच्छी तरह से प्रदर्शन करते हैं। परिणाम चौंकाने वाले हैं। जबकि आधुनिक एआई प्रणाली कमजोरियों का पता लगाने और उनका फायदा उठाने में बढ़ती प्रभावी हो रही हैं, वे सक्रिय हमलों की पहचान और रोकथाम के काम में काफी संघर्ष करती हैं।

फ्रंटियर मॉडल रक्षा के लिए न्यूनतम मानक को पूरा नहीं करते हैं

बेंचमार्क ने क्लॉड ओपस 4.6, जीपीटी-5, जेमिनी 3.1 प्रो, और अन्य जैसे अग्रणी मॉडलों का परीक्षण किया और उन्हें सिम्युलेटेड एंटरप्राइज़ वातावरण में रखा।

इनमें से कोई भी मॉडल पासिंग स्कोर हासिल नहीं कर पाया।

क्लॉड ओपस 4.6, जो परीक्षण में सबसे मजबूत प्रदर्शन करने वाला था, ने केवल एमआईटीआरई एटीटीएंडसी रणनीतियों के एक हिस्से में हमले के साक्ष्य का पता लगाया, जबकि कई मॉडल पूरे हमले की श्रेणियों की पहचान करने में विफल रहे। स्वतंत्र अकादमिक अनुसंधान ने इन निष्कर्षों का समर्थन किया, जो दिखाता है कि शीर्ष मॉडल भी खुले खतरे के शिकार में संघर्ष करते हैं, और वास्तविक परिदृश्यों में केवल एक छोटा सा हिस्सा ही हमलों का पता लगा पाते हैं।

यह अंतर एक महत्वपूर्ण सीमा को उजागर करता है। आज की एआई प्रणालियाँ संरचित प्रश्नों का उत्तर देने या सीमित समस्याओं का समाधान करने में उत्कृष्ट हो सकती हैं, लेकिन वे जटिल, विकसित हो रहे हमले श्रृंखलाओं की जांच करने में असफल होती हैं जब उन्हें मार्गदर्शन नहीं मिलता है।

वास्तविक, एजेंट-आधारित मूल्यांकन की ओर एक बदलाव

इस बेंचमार्क को क्या अलग बनाता है वह इसका डिज़ाइन है।

पिछले साइबर सुरक्षा परीक्षणों के विपरीत, जो बहुविकल्पी प्रश्नों या स्थिर डेटासेट पर निर्भर करते हैं, सिम्बियन का दृष्टिकोण वास्तविक टेलीमेट्री डेटा का उपयोग करता है और मॉडलों को एक एजेंटिक जांच लूप में रखता है। इसका मतलब है कि एआई को लॉग का अन्वेषण करना, परिकल्पना बनाना और स्वतंत्र रूप से खतरों की पहचान करनी होगी।

यह वास्तविक सुरक्षा ऑपरेशन केंद्रों में मानव सुरक्षा विश्लेषकों के काम की नकल करता है।

बेंचमार्क में कई हमले के तरीकों को शामिल किया गया है, जो मॉडलों को समय और प्रणालियों के साथ संकेतों को जोड़ने के लिए मजबूर करता है। यह डेटा को बदलकर और निर्धारित स्कोरिंग को लागू करके यह भी सुनिश्चित करता है कि मॉडल केवल पैटर्न को याद नहीं कर रहे हैं।

यह वास्तविकता की ओर एक महत्वपूर्ण बदलाव है। एआई विकास में, वास्तविक दुनिया की जटिलता को प्रतिबिंबित करने वाला एक बेंचमार्क बनाना अक्सर समस्या का समाधान करने की दिशा में पहला कदम है।

अप्राध और रक्षात्मक एआई के बीच बढ़ती खाई

परिणाम एक व्यापक रुझान को दर्शाते हैं जो उद्योग भर में उभर रहा है।

एआई Offensive साइबर कार्यों में तेजी से सुधार कर रहा है। हाल के अध्ययन दिखाते हैं कि अग्रणी मॉडल पहले से ही सिम्युलेटेड वातावरण में बहु-चरण हमलों को निष्पादित कर सकते हैं और तेजी से कम टूलिंग के साथ ऐसा कर रहे हैं। इस बीच, रक्षात्मक क्षमताएं पिछड़ रही हैं।

यह असंतुलन एक बढ़ती हुई असमानता पैदा करता है। हमलावर स्वचालन और पैमाने का लाभ उठा सकते हैं, जबकि रक्षक अभी भी मानव विशेषज्ञता और खंडित टूलिंग पर बहुत अधिक निर्भर हैं। यहां तक कि जब एआई एक कमजोरी का पता लगाता है, तो यह इसकी गंभीरता को गलत तरीके से व्याख्या कर सकता है या उचित तरीके से कार्रवाई नहीं कर सकता है, जो पहचान और समझ के बीच की खाई को रेखांकित करता है।

क्यों “आउट-ऑफ-द-बॉक्स” एआई कम पड़ता है

सिम्बियन का निष्कर्ष यह नहीं है कि एआई प्रणालियों की रक्षा नहीं कर सकता, लेकिन यह अकेले नहीं कर सकता।

बेंचमार्क सुझाव देता है कि एलएलएम को सुरक्षा वातावरण में प्रभावी ढंग से काम करने के लिए एक “सोफिस्टिकेटेड हार्नेस” की आवश्यकता होती है – बाहरी खुफिया, संरचित कार्य प्रवाह और सिस्टम-स्तर के एकीकरण का संयोजन।

यह व्यापक अनुसंधान के साथ संरेखित है जो दिखाता है कि साइबर सुरक्षा कार्यों में एआई के प्रदर्शन में टूल, मेमोरी और संदर्भ जोड़ने से काफी सुधार होता है।

उत्पादन वातावरण में, सिम्बियन दावा करता है कि उसने इन अतिरिक्त परतों के साथ मॉडलों को जोड़कर महत्वपूर्ण रूप से उच्च पता लगाने की सटीकता हासिल की है। निहितार्थ स्पष्ट है: कच्चा मॉडल क्षमता केवल पहेली का एक टुकड़ा है।

एआई सुरक्षा के लिए एक नए प्रकार का बेंचमार्क

साइबर डिफेंस बेंचमार्क की रिलीज़ एआई प्रणालियों के मूल्यांकन में एक महत्वपूर्ण कदम को चिह्नित करती है वास्तविक दुनिया में तैनाती के लिए।

प्रश्नोत्तर के बजाय साक्ष्य-आधारित खतरे के शिकार पर ध्यान केंद्रित करके, यह समस्या को बुद्धिमत्ता से कार्यान्वयन में बदल देता है। यह लागत को एक मापने योग्य कारक के रूप में भी पेश करता है, जो मॉडलों के प्रदर्शन और दक्षता के बीच व्यापार को उजागर करता है।

जैसा कि एआई साइबर सुरक्षा को फिर से आकार देता है, ऐसे बेंचमार्क आवश्यक उपकरण बन सकते हैं जो न केवल यह समझने के लिए कि मॉडल क्या कर सकते हैं, बल्कि जहां वे विफल होते हैं – और क्यों।

अब के लिए, निष्कर्ष सीधा है। एआई में तेजी से प्रगति के बावजूद, पूरी तरह से स्वायत्त साइबर रक्षा अभी भी दूर की कौड़ी है। नवाचार का अगला चरण बड़े मॉडल बनाने पर कम और एआई को संरचित बुद्धिमत्ता, संदर्भ और मानव पर्यवेक्षण के साथ जोड़ने वाली प्रणालियों को डिज़ाइन करने पर अधिक निर्भर करेगा।