हैक द बॉक्स बेंचमार्क: एआई-संवर्धित टीमें मानव साइबर सुरक्षा विश्लेषकों को पीछे छोड़ देती हैं

हैक द बॉक्स से एक नई अध्ययन “एआई-संवर्धित बनाम मानव-केवल साइबर सुरक्षा प्रदर्शन बेंचमार्क रिपोर्ट” में पाया गया है कि एआई-संवर्धित साइबर सुरक्षा टीमें मानव-केवल टीमों को काफी पीछे छोड़ सकती हैं, जिसमें शीर्ष टीमें कार्यों को 4.1 गुना तेजी से पूरा करती हैं। यह निष्कर्ष न्यूरोग्रिड कैप्चर द फ्लैग (सीटीएफ) प्रतियोगिता से प्रदर्शन डेटा पर आधारित है, जो एआई-सहायता प्राप्त टीमों और पारंपरिक मानव टीमों की तुलना करने वाले सबसे बड़े वास्तविक दुनिया के बेंचमार्क में से एक है।

बेंचमार्क ने न्यूरोग्रिड कैप्चर द फ्लैग (सीटीएफ) प्रतियोगिता से डेटा का विश्लेषण किया, जिसमें 1,337 मानव-केवल टीमें और 156 एआई-एजेंट टीमें पंजीकृत थीं, जिनमें से 958 मानव टीमें और 120 एआई टीमें 36 साइबर सुरक्षा चुनौतियों के साथ नौ तकनीकी डोमेन और चार कठिनाई स्तरों में चुनौतियों का प्रयास कर रही थीं।

परिणाम साइबर सुरक्षा संचालन के उत्पादकता लाभ और संगठनों को आने वाली कार्यबल चुनौतियों को उजागर करते हैं क्योंकि स्वचालन सुरक्षा टीमों के संचालन को फिर से परिभाषित करता है।

एआई-संवर्धित टीमें मापनीय प्रदर्शन लाभ प्रदान करती हैं

बेंचमार्क यह प्रदर्शित करता है कि साइबर सुरक्षा कार्य प्रवाह में एआई एजेंटों को एकीकृत करने से उत्पादन में नाटकीय रूप से वृद्धि हो सकती है, विशेष रूप से जब इसे अनुभवी मानव ऑपरेटरों के साथ जोड़ा जाता है।

मुख्य निष्कर्षों में शामिल हैं:

• मानव-केवल टीमों की तुलना में शीर्ष एआई-संवर्धित टीमों के लिए 4.1 गुना अधिक आउटपुट
• एक ही समय खिड़की के दौरान सभी टीमों में 1.4 गुना उत्पादकता सुधार
• एआई-संवर्धित टीमों के लिए 70% उच्च चुनौती हल दर
• एआई टीमों के लिए 27% हल दर बनाम शीर्ष मानव-केवल टीमों के लिए 16%
• सभी प्रतिभागियों में 3.2 गुना उच्च समाधान-दर अनुपात

हैरिस पिलारिनोस के अनुसार, हैक द बॉक्स के सीईओ और संस्थापक, परिणाम दिखाते हैं कि एआई संचालन गति को नाटकीय रूप से बढ़ा सकता है, लेकिन इसे अभी भी मानव पर्यवेक्षण के साथ जोड़ा जाना चाहिए।

“एआई साइबर सुरक्षा प्रदर्शन को बढ़ा सकता है, लेकिन यह मानव विशेषज्ञता की आवश्यकता को समाप्त नहीं करता है,” पिलारिनोस ने कहा। “संगठनों को एआई-फ्लुएंट टीमें और मानव-इन-द-लूप कार्य प्रवाह विकसित करना चाहिए ताकि वे सुरक्षित रूप से इन लाभों को अनलॉक कर सकें।”

एआई मूल्यांकन में अक्सर उपयोग किए जाने वाले सिंथेटिक बेंचमार्क के विपरीत, प्रतियोगिता ने वास्तविक प्रतियोगिता दबाव के तहत पेशेवर-ग्रेड साइबर सुरक्षा चुनौतियों का उपयोग किया, जो एआई-सहायता प्राप्त और मानव टीमों के बीच एक अधिक परिचालनात्मक रूप से वास्तविक तुलना प्रदान करता है।

मानव-एआई हाइब्रिड मॉडल जीतने की रणनीति के रूप में उभरता है

जबकि एआई ने महत्वपूर्ण रूप से प्रदर्शन में तेजी लाई, अध्ययन में पाया गया कि एआई एजेंटों के साथ मानव ऑपरेटरों को जोड़ने वाली हाइब्रिड टीमें समग्र रूप से सबसे मजबूत परिणाम उत्पन्न करती हैं।

प्रतियोगिता में:

• एआई-संवर्धित टीमों की 73.3% ने कम से कम एक चुनौती पूरी की, जबकि मानव-केवल टीमों की 46%
• एआई एजेंटों ने अक्सर आधार उत्पादकता में सुधार किया, लेकिन जटिल कार्यों का सामना करते समय मानव सत्यापन और रणनीतिक दिशा की अभी भी आवश्यकता थी

सीआईएसओ और सुरक्षा नेताओं के लिए, रिपोर्ट पर जोर देती है कि एआई को मुख्य रूप से बल गुणक के रूप में देखा जाना चाहिए, साइबर सुरक्षा पेशेवरों का प्रतिस्थापन नहीं।

एआई का प्रभाव कौशल स्तर के अनुसार नाटकीय रूप से भिन्न होता है

रिपोर्ट से एक सबसे महत्वपूर्ण अंतर्दृष्टि यह है कि एआई साइबर सुरक्षा पractioners को उनके अनुभव स्तर के आधार पर अलग-अलग तरह से प्रभावित करता है।

प्रारंभिक कैरियर: “उत्पादकता भ्रम”

प्रवेश स्तर के ऑपरेटरों के लिए, एआई एक क्षमता पुल के रूप में कार्य कर सकता है, जो उन्हें ऐसी चुनौतियों का समाधान करने में मदद कर सकता है जिनसे वे अन्यथा संघर्ष कर सकते हैं। हालांकि, रिपोर्ट चेतावनी देती है कि यह एक झूठी उत्पादकता की भावना पैदा कर सकता है यदि जूनियर विश्लेषक एआई आउटपुट को सत्यापित करने या एजेंट कार्य प्रवाह को प्रभावी ढंग से निर्देशित करने के लिए पर्याप्त विशेषज्ञता की कमी है।

कुछ मामलों में, कम प्रदर्शन वाली एआई-संवर्धित टीमें वास्तव में 12.5% धीमी थीं, अक्सर पर्याप्त पर्यवेक्षण कौशल की कमी के कारण अकुशल लूप में फंस जाती थीं।

मध्य-कैरियर: एआई के लिए मीठा स्थान

उत्पादकता लाभ मध्य-कैरियर विश्लेषकों के बीच सबसे बड़ा था, विशेष रूप से मध्यम-जटिलता वाले कार्यों का सामना करते समय।

इस श्रेणी में:

• मध्यम-कठिनाई वाली समस्याओं पर 3.89 गुना प्रदर्शन सुधार
• मध्य-स्तरीय टीमों ने मानव-केवल समकक्षों की तुलना में 40-70% तेजी से कार्य पूरा किया

यह सुझाव देता है कि उद्यम मध्य-स्तरीय विश्लेषकों के साथ एआई-सहायता प्राप्त प्रणालियों को तैनात करके सबसे तेजी से एआई निवेश पर रिटर्न देख सकते हैं।

शीर्ष ऑपरेटर: गति लाभ, क्षमता प्रतिस्थापन नहीं

शीर्ष प्रदर्शनकर्ताओं के बीच, एआई-संवर्धित टीमों और मानव विशेषज्ञों के बीच अंतर काफी कम हो गया।

उदाहरण के लिए:

• सर्वश्रेष्ठ मानव टीम ने सभी 36 चुनौतियों का समाधान किया, जबकि सर्वश्रेष्ठ एआई-संवर्धित टीम ने 36 में से 32 चुनौतियों का समाधान किया
• शीर्ष 5% प्रदर्शन स्तर पर, हल दर लाभ 1.69 गुना तक सिकुड़ गया

हालांकि, एआई ने अभी भी एक बड़ा लाभ प्रदान किया, जिसमें शीर्ष एआई-संवर्धित टीमें चुनौतियों का समाधान तीन से चार गुना तेजी से करती थीं।

“कठिनाई विरोधाभास” एआई की सीमाओं को प्रकट करता है

अध्ययन में यह भी पाया गया कि एआई प्रदर्शन में “कठिनाई विरोधाभास” है।

एआई लाभ कार्य जटिलता के साथ बढ़ता है – एक बिंदु तक:

• बहुत आसान चुनौतियाँ: एआई टीमों के लिए ~ 2.4 गुना लाभ
• मध्यम चुनौतियाँ: 3.89 गुना लाभ, शीर्ष प्रदर्शन क्षेत्र
• कठिन चुनौतियाँ: लाभ 2.97 गुना तक गिर जाता है, एआई तर्क में सीमाओं को प्रकट करता है

कुछ रचनात्मक डोमेन – जैसे कि कोडिंग और रिवर्स इंजीनियरिंग – शीर्ष मानव और एआई प्रणालियों के बीच लगभग समानता दिखाते हैं, जो क्षेत्रों को उजागर करते हैं जहां मानव अंतर्दृष्टि और नए तर्क महत्वपूर्ण रहते हैं।

डोमेन भर में, एआई प्रदर्शन व्यापक रूप से भिन्न होता है, सुरक्षित कोडिंग कार्यों में 5.15 गुना लाभ से लेकर डिजिटल फोरेंसिक में 1.68 गुना तक।

एक संभावित प्रतिभा पाइपलाइन संकट

उत्पादकता लाभ के अलावा, रिपोर्ट एक दीर्घकालिक कार्यबल चिंता को उठाती है: एआई भविष्य के साइबर सुरक्षा विशेषज्ञों का उत्पादन करने वाली प्रशिक्षण पाइपलाइन को बाधित कर सकता है।

प्रवेश स्तर की सुरक्षा कार्य – जो आमतौर पर जूनियर विश्लेषकों को प्रशिक्षित करने के लिए उपयोग किया जाता है – बढ़ती स्वचालन है। एआई टीमों ने मानव टीमों की तुलना में सबसे आसान चुनौती स्तरों पर काफी बेहतर प्रदर्शन किया, जो यह सुझाव देता है कि नए विश्लेषकों को प्रशिक्षित करने के लिए ऐतिहासिक रूप से उपयोग किया जाने वाला काम बढ़ती स्वचालन द्वारा संभाला जा सकता है।

यदि संगठन बहुत अधिक प्रारंभिक-कैरियर कार्य को स्वचालित करते हैं, तो रिपोर्ट चेतावनी देती है कि वे “मध्य में कमी” का जोखिम उठाते हैं, जहां कम विश्लेषकों को वरिष्ठ सुरक्षा विशेषज्ञ बनने के लिए आवश्यक कौशल विकसित करने का अवसर मिलता है।

सुरक्षा नेताओं के लिए निहितार्थ

सीआईएसओ और उद्यम सुरक्षा नेताओं के लिए, निष्कर्ष सुझाव देते हैं कि एआई टूल्स को सुरक्षा संचालन में एकीकृत करना अब वैकल्पिक नहीं है।

वे संगठन जो अपने सुरक्षा संचालन में एआई को एकीकृत करने में विफल रहते हैं, वे उन हमलावरों का सामना कर सकते हैं जो पहले से ही एआई का लाभ उठाते हैं ताकि वे हमलों को तेजी से तेज कर सकें और कमजोरियों का फायदा उठा सकें, जो पारंपरिक टीमों की तुलना में तेजी से प्रतिक्रिया कर सकते हैं।

रिपोर्ट एआई एकीकरण के लिए तीन-स्तरीय रणनीति की सिफारिश करती है:

• प्रवेश स्तर की भूमिकाओं को मैनुअल कार्यों के बजाय एआई शासन और सत्यापन पर ध्यान केंद्रित करने के लिए पुनः प्रशिक्षित करें
• मध्य-कैरियर विश्लेषकों के साथ पहले एआई को तैनात करें, जहां उत्पादकता लाभ सबसे अधिक है
• शीर्ष प्रतिभा को बनाए रखें और उन्हें एआई सह-चालकों के साथ जोड़कर घटना प्रतिक्रिया और उन्नत खतरा विश्लेषण को तेज करें

अंततः, रिपोर्ट सुझाव देती है कि साइबर सुरक्षा का भविष्य एआई बनाम मानव नहीं होगा – एआई-संवर्धित मानव मशीन गति पर काम कर रहे हैं।