हॉलुसिनेशन कंट्रोल: सुरक्षा प्रक्रियाओं के हिस्से के रूप में एलएलएम को तैनात करने के लाभ और जोखिम

बड़े भाषा मॉडल (एलएलएम) जो विशाल मात्रा में डेटा पर प्रशिक्षित होते हैं, सुरक्षा संचालन टीमों को अधिक बुद्धिमान बना सकते हैं। एलएलएम प्रतिक्रिया, लेखा परीक्षा, मुद्रा प्रबंधन और अधिक पर पंक्ति में सुझाव और मार्गदर्शन प्रदान करते हैं। अधिकांश सुरक्षा टीमें एलएलएम का उपयोग करके अपने कार्य प्रवाह में मैनुअल श्रम को कम करने के लिए प्रयोग कर रही हैं या इसका उपयोग कर रही हैं। यह दोनों के लिए हो सकता है – साधारण और जटिल कार्यों के लिए।

उदाहरण के लिए, एक एलएलएम एक कर्मचारी को ईमेल के माध्यम से पूछ सकता है कि क्या उन्होंने एक प्रोप्राइटरी दस्तावेज़ साझा करने का इरादा किया था और सुरक्षा विशेषज्ञ के लिए एक सिफारिश के साथ प्रतिक्रिया को संसाधित कर सकता है। एक एलएलएम को ओपन सोर्स मॉड्यूल पर आपूर्ति श्रृंखला हमलों की तलाश करने के लिए अनुरोधों का अनुवाद करने और विशिष्ट स्थितियों पर ध्यान केंद्रित करने वाले एजेंटों को स्पिन करने के लिए भी कार्य सौंपा जा सकता है – व्यापक रूप से उपयोग की जाने वाली लाइब्रेरी में नए योगदानकर्ता, अनुचित कोड पैटर्न – और प्रत्येक एजेंट को उस विशिष्ट स्थिति के लिए तैयार किया जा सकता है।

हालांकि, ये शक्तिशाली एआई सिस्टम सुरक्षा टीमों के सामने आने वाले अन्य जोखिमों से अलग महत्वपूर्ण जोखिम उठाते हैं। सुरक्षा एलएलएम को चलाने वाले मॉडल प्रॉम्प्ट इंजेक्शन या डेटा जहर के माध्यम से समझौता किया जा सकता है। पर्याप्त मानव मार्गदर्शन के बिना निरंतर प्रतिक्रिया लूप और मशीन लर्निंग एल्गोरिदम बुरे अभिनेताओं को नियंत्रणों की जांच करने और फिर खराब लक्षित प्रतिक्रियाओं को प्रेरित करने की अनुमति दे सकते हैं। एलएलएम हॉलुसिनेशन के लिए अतिसंवेदनशील होते हैं, यहां तक कि सीमित डोमेन में भी। यहां तक कि सबसे अच्छे एलएलएम भी जब वे उत्तर नहीं जानते हैं तो चीजें बनाते हैं।

सुरक्षा प्रक्रियाओं और एलएलएम के उपयोग और कार्य प्रवाह के आसपास की एआई नीतियां साइबर सुरक्षा संचालन और अनुसंधान में अधिक सामान्य होने के medida के रूप में अधिक महत्वपूर्ण हो जाएंगी। सुनिश्चित करना कि ये प्रक्रियाएं पालन की जाती हैं, और प्रशासन प्रणालियों में मापा और लेखा जोता जाता है, साबित होगा कि सीआईएसओ साइबर सुरक्षा फ्रेमवर्क 2.0 जैसे नए मांगों को पूरा करने के लिए पर्याप्त जीआरसी (शासन, जोखिम और अनुपालन) कवरेज प्रदान कर सकते हैं।

साइबर सुरक्षा में एलएलएम का विशाल वादा

सीआईएसओ और उनकी टीमें लगातार बढ़ते साइबर हमलों के साथ तालमेल बिठाने के लिए संघर्ष करती हैं। क्वालिस के अनुसार, 2023 में रिपोर्ट किए गए सीवीई की संख्या 26,447 के नए रिकॉर्ड पर पहुंच गई। यह 2013 से 5 गुना से अधिक है।

यह चुनौती केवल तब और अधिक कठिन हो गई है जब औसत संगठन की हमले की सतह प्रत्येक वर्ष के साथ बड़ी हो गई है। ऐपसेक टीमें अब कई अधिक सॉफ्टवेयर अनुप्रयोगों को सुरक्षित और निगरानी करना होगा। क्लाउड कंप्यूटिंग, एपीआई, मल्टी-क्लाउड और वर्चुअलाइजेशन प्रौद्योगिकियों ने अतिरिक्त जटिलता जोड़ी है। आधुनिक सीआई/सीडी टूलिंग और प्रक्रियाओं के साथ, अनुप्रयोग टीमें अधिक कोड, तेजी से और अधिक बार भेज सकती हैं। माइक्रोसervices ने एकल एप्लिकेशन को कई एपीआई में विभाजित किया है और हमले की सतह को भी बढ़ाया है और वैश्विक फायरवॉल में बाहरी सेवाओं या ग्राहक उपकरणों के साथ संचार के लिए कई अधिक छेद पंच किए हैं।

उन्नत एलएलएम साइबर सुरक्षा टीमों के कार्यभार को कम करने और उनकी क्षमताओं में सुधार करने का विशाल वादा रखते हैं। एआई-संचालित कोडिंग टूल सॉफ्टवेयर विकास में व्यापक रूप से प्रवेश कर चुके हैं। गिटहब शोध में पाया गया कि 92% डेवलपर कोड सुझाव और पूर्णता के लिए एआई टूल का उपयोग कर रहे हैं या उपयोग किया है। इनमें से अधिकांश “कोपायलट” टूल में कुछ सुरक्षा क्षमताएं हैं। वास्तव में, कोडिंग जैसे कार्यक्रमात्मक अनुशासन जो относительно बाइनरी परिणामों के साथ हैं (कोड या तो यूनिट परीक्षण पास करेगा या विफल होगा), एलएलएम के लिए उपयुक्त हैं। सॉफ्टवेयर विकास और सीआई/सीडी पाइपलाइन में कोड स्कैनिंग के अलावा, एआई साइबर सुरक्षा टीमों के लिए कई अन्य तरीकों से मूल्यवान हो सकता है:

• सुधारित विश्लेषण: एलएलएम सुरक्षा डेटा (लॉग, अलर्ट, खतरा खुफिया) को पैटर्न और संबंधों की पहचान करने के लिए संसाधित कर सकते हैं जो मानवों के लिए अदृश्य हैं। वे यह कई भाषाओं में, चौबीसों घंटे, और कई आयामों में एक साथ कर सकते हैं। यह सुरक्षा टीमों के लिए नए अवसर खोलता है। एलएलएम अलर्ट के ढेर को लगभग वास्तविक समय में जला सकते हैं, जो सबसे गंभीर होने की संभावना है। प्रतिक्रिया सीखने के माध्यम से, विश्लेषण समय के साथ बेहतर होना चाहिए।
• स्वचालन: एलएलएम सुरक्षा टीम के कार्यों को स्वचालित कर सकते हैं जिन्हें आमतौर पर वार्तालाप की आवश्यकता होती है। उदाहरण के लिए, जब एक सुरक्षा टीम को एक आईओसी प्राप्त होता है और उन्हें एंडपॉइंट के मालिक से पूछने की आवश्यकता होती है कि क्या उन्होंने वास्तव में एक डिवाइस में साइन इन किया था या वे अपने सामान्य कार्य क्षेत्रों से बाहर स्थित हैं, एलएलएम इन सरल ऑपरेशनों को कर सकता है और फिर आवश्यकतानुसार प्रश्नों का पालन कर सकता है और लिंक या निर्देश प्रदान कर सकता है। यह एक ऐसी बातचीत थी जिसे खुद एक आईटी या सुरक्षा टीम के सदस्य को करना पड़ता था। एलएलएम अधिक उन्नत कार्यक्षमता भी प्रदान कर सकते हैं। उदाहरण के लिए, माइक्रोसॉफ्ट कोपायलट फॉर सिक्योरिटी घटना विश्लेषण रिपोर्ट उत्पन्न कर सकता है और जटिल मैलवेयर कोड को प्राकृतिक भाषा विवरण में अनुवादित कर सकता है।
• निरंतर सीखना और ट्यूनिंग: सुरक्षा नीतियों और समझ के लिए पिछले मशीन लर्निंग सिस्टम के विपरीत, एलएलएम मानव रेटिंग के अपने प्रतिक्रिया और नए डेटा पूल को अवशोषित करके उड़ान भर सकते हैं जो आंतरिक लॉग फ़ाइलों में नहीं हो सकता है। वास्तव में, उसी आधारभूत मॉडल का उपयोग करके, साइबर सुरक्षा एलएलएम को विभिन्न टीमों और उनकी आवश्यकताओं, कार्य प्रवाह, या क्षेत्र-विशिष्ट कार्यों के लिए समायोजित किया जा सकता है। इसका मतलब यह भी है कि पूरी प्रणाली तुरंत मॉडल के रूप में चतुर हो सकती है, जिसमें परिवर्तन तेजी से सभी इंटरफेस में प्रसारित होते हैं।

साइबर सुरक्षा के लिए एलएलएम का जोखिम

एक नई प्रौद्योगिकी के रूप में जिसका एक छोटा ट्रैक रिकॉर्ड है, एलएलएम में गंभीर जोखिम हैं। और भी बुरा, इन जोखिमों के पूर्ण सीमा को समझना चुनौतीपूर्ण है क्योंकि एलएलएम आउटपुट 100% भविष्यवाणी या कार्यक्रम नहीं हैं। उदाहरण के लिए, एलएलएम “हॉलुसिनेट” कर सकते हैं और कल्पना के आंकड़ों पर आधारित उत्तर बना सकते हैं या प्रश्नों का गलत उत्तर दे सकते हैं। साइबर सुरक्षा उपयोग के मामलों के लिए एलएलएम को अपनाने से पहले, एक को संभावित जोखिमों पर विचार करना चाहिए, जिनमें शामिल हैं:

• प्रॉम्प्ट इंजेक्शन: हमलावर विशिष्ट रूप से भ्रामक या हानिकारक आउटपुट उत्पन्न करने के लिए दुर्भावनापूर्ण प्रॉम्प्ट बना सकते हैं। यह हमला एलएलएम की प्रॉम्प्ट प्राप्त करने के आधार पर सामग्री उत्पन्न करने की प्रवृत्ति का शोषण कर सकता है। साइबर सुरक्षा उपयोग के मामलों में, प्रॉम्प्ट इंजेक्शन सबसे जोखिमपूर्ण हो सकता है क्योंकि एक अंदरूनी हमला या एक अनधिकृत उपयोगकर्ता द्वारा हमला जो प्रॉम्प्ट का उपयोग करके सिस्टम के आउटपुट को स्थायी रूप से बदलने के लिए मॉडल व्यवहार को तिरछा कर सकता है। यह अन्य सिस्टम उपयोगकर्ताओं के लिए गलत या अमान्य आउटपुट उत्पन्न कर सकता है।
• डेटा जहर: एलएलएम पर निर्भर प्रशिक्षण डेटा को जानबूझकर दूषित किया जा सकता है, जो उनके निर्णय लेने को समझौता कर सकता है। साइबर सुरक्षा सेटिंग्स में, जहां संगठन संभवतः मॉडल का उपयोग कर रहे हैं जो टूल प्रदाताओं द्वारा प्रशिक्षित हैं, डेटा जहर मॉडल को विशिष्ट ग्राहक और उपयोग के मामले के लिए ट्यूनिंग के दौरान हो सकता है। यहाँ जोखिम यह हो सकता है कि एक अनधिकृत उपयोगकर्ता द्वारा दुर्भावनापूर्ण डेटा – जैसे कि भ्रष्ट लॉग फ़ाइलें – जोड़कर प्रशिक्षण प्रक्रिया को खतरा हो सकता है। एक अधिकृत उपयोगकर्ता भी अनजाने में ऐसा कर सकता है। परिणाम यह होगा कि एलएलएम आउटपुट खराब डेटा पर आधारित होंगे।
• हॉलुसिनेशन: जैसा कि पहले उल्लेख किया गया है, एलएलएम त्रुटिपूर्ण, तर्कहीन, या यहां तक कि दुर्भावनापूर्ण प्रतिक्रियाएं उत्पन्न कर सकते हैं जो प्रॉम्प्ट या अंतर्निहित डेटा दोषों के गलत समझने के कारण होती हैं। साइबर सुरक्षा उपयोग के मामलों में, हॉलुसिनेशन महत्वपूर्ण त्रुटियों का कारण बन सकता है जो खतरा खुफिया, कमजोरियों की त्रुटि और उपचार, और अधिक को अक्षम कर सकता है। चूंकि साइबर सुरक्षा एक मिशन-महत्वपूर्ण गतिविधि है, एलएलएम को इन संदर्भों में हॉलुसिनेशन को प्रबंधित और रोकने के लिए एक उच्च मानक को बनाए रखना होगा।

जैसे-जैसे एआई सिस्टम अधिक क्षमतावान होते जा रहे हैं, उनकी सूचना सुरक्षा तैनाती तेजी से बढ़ रही है। स्पष्ट रूप से, कई साइबर सुरक्षा कंपनियों ने लंबे समय से गतिशील फिल्टरिंग के लिए पैटर्न मैचिंग और मशीन लर्निंग का उपयोग किया है। जनरेटिव एआई युग में नया क्या है वे इंटरैक्टिव एलएलएम हैं जो मौजूदा कार्य प्रवाह और डेटा पूल के ऊपर एक परत की बुद्धिमत्ता प्रदान करते हैं, साइबर सुरक्षा टीमों की दक्षता और क्षमताओं को आदर्श रूप से बढ़ाते हैं। अन्य शब्दों में, जेनएआई सुरक्षा इंजीनियरों को कम प्रयास और समान संसाधनों के साथ अधिक करने में मदद कर सकता है, जिससे बेहतर प्रदर्शन और त्वरित प्रक्रियाएं हो सकती हैं।