Hallucination Control: Benefits and Risks of Deploying LLMs as Part of Security Processes

Large Language Models (LLMs) विशाल डेटा सेट पर प्रशिक्षित सुरक्षा संचालन टीमों को अधिक बुद्धिमान बना सकते हैं। एलएलएम इन-लाइन सुझाव और प्रतिक्रिया, लेखा परीक्षा, मुद्रा प्रबंधन और अधिक पर मार्गदर्शन प्रदान करते हैं। अधिकांश सुरक्षा टीमें मैनुअल श्रम को कम करने के लिए एलएलएम का प्रयोग कर रही हैं या प्रयोग कर रही हैं। यह दोनों साधारण और जटिल कार्यों के लिए हो सकता है।

उदाहरण के लिए, एक एलएलएम एक कर्मचारी से ईमेल के माध्यम से पूछताछ कर सकता है कि क्या उन्होंने एक प्रपंच दस्तावेज़ साझा करने का इरादा किया था और फिर सुरक्षा विशेषज्ञ के लिए एक सिफारिश के साथ प्रतिक्रिया को संसाधित कर सकता है। एक एलएलएम को खुले स्रोत मॉड्यूल पर आपूर्ति श्रृंखला हमलों की तलाश के लिए अनुरोधों का अनुवाद करने और विशिष्ट स्थितियों पर केंद्रित एजेंटों को स्पिन करने के लिए भी नियुक्त किया जा सकता है – व्यापक रूप से उपयोग की जाने वाली पुस्तकालयों में नए योगदानकर्ता, अनुचित कोड पैटर्न – प्रत्येक एजेंट को उस विशिष्ट स्थिति के लिए तैयार किया जाता है।

यह कहा जा रहा है, ये शक्तिशाली एआई सिस्टम सुरक्षा टीमों के सामने आने वाले अन्य जोखिमों के विपरीत महत्वपूर्ण जोखिम उठाते हैं। सुरक्षा एलएलएम को शक्ति देने वाले मॉडल प्रॉम्प्ट इंजेक्शन या डेटा जहर के माध्यम से समझौता किया जा सकता है। पर्याप्त मानव मार्गदर्शन के बिना निरंतर प्रतिक्रिया लूप और मशीन लर्निंग अल्गोरिदम खराब अभिनेताओं को नियंत्रणों की जांच करने और फिर खराब लक्षित प्रतिक्रियाओं को प्रेरित करने की अनुमति दे सकते हैं। एलएलएम सीमित डोमेन में भी भ्रम के लिए प्रवण होते हैं। यहां तक कि सर्वोत्तम एलएलएम भी जब वे उत्तर नहीं जानते हैं तो चीजें बनाते हैं।

सुरक्षा प्रक्रियाएं और एलएलएम के उपयोग और कार्यप्रवाह के आसपास की एआई नीतियां साइबर सुरक्षा संचालन और अनुसंधान में अधिक सामान्य होते ही अधिक महत्वपूर्ण हो जाएंगी। यह सुनिश्चित करना कि ये प्रक्रियाएं पालन की जाती हैं, और उन्हें शासन प्रणालियों में मापा जाता है और उनका लेखा-जोखा होता है, सुनिश्चित करने के लिए साबित होगा कि सीआईएसओ नए मांगों जैसे साइबर सुरक्षा फ्रेमवर्क 2.0 को पूरा करने के लिए पर्याप्त जीआरसी (शासन, जोखिम और अनुपालन) कवरेज प्रदान कर सकते हैं।

साइबर सुरक्षा में एलएलएम का विशाल वादा

सीआईएसओ और उनकी टीमें निरंतर नई साइबर हमलों की बढ़ती लहर के साथ रखने के लिए संघर्ष करती हैं। क्वालिस के अनुसार, 2023 में रिपोर्ट किए गए सीवीई की संख्या 26,447 के नया रिकॉर्ड पर पहुंच गई। यह 2013 से 5 गुना से अधिक है।

यह चुनौती केवल तब और अधिक कठिन हो गई है जब औसत संगठन का हमला सतह प्रत्येक वर्ष के साथ बड़ा हो गया है। ऐपसेक टीमों को कई अधिक सॉफ्टवेयर अनुप्रयोगों को सुरक्षित और निगरानी करना होगा। क्लाउड कंप्यूटिंग, एपीआई, मल्टी-क्लाउड और वर्चुअलाइजेशन प्रौद्योगिकियों ने अतिरिक्त जटिलता जोड़ी है। आधुनिक सीआई/सीडी टूलिंग और प्रक्रियाओं के साथ, अनुप्रयोग टीमें अधिक कोड, तेजी से और अधिक बार भेज सकती हैं। माइक्रोसेविसेज ने एकल एप्लिकेशन को कई एपीआई और हमला सतह में विभाजित किया है और बाहरी सेवाओं या ग्राहक उपकरणों के साथ संचार के लिए वैश्विक फायरवॉल में कई अधिक छेद पंच किए हैं।

उन्नत एलएलएम साइबर सुरक्षा टीमों के कार्यभार को कम करने और उनकी क्षमताओं में सुधार करने का वादा करते हैं। एआई-संचालित कोडिंग टूल्स ने व्यापक रूप से सॉफ्टवेयर विकास में प्रवेश किया है। गिटहब शोध में पाया गया कि 92% डेवलपर कोड सुझाव और पूर्णता के लिए एआई टूल का उपयोग कर रहे हैं या उपयोग किया है। इनमें से अधिकांश “कोपायलट” टूल में कुछ सुरक्षा क्षमताएं हैं। वास्तव में, कोडिंग जैसे कार्यक्रमात्मक अनुशासन जो अपेक्षाकृत द्विआधारी परिणामों के साथ हैं (कोड या तो इकाई परीक्षण पास करेगा या विफल होगा), एलएलएम के लिए अच्छी तरह से अनुकूल हैं। सॉफ्टवेयर विकास और सीआई/सीडी पाइपलाइन में कोड स्कैनिंग के अलावा, एआई साइबर सुरक्षा टीमों के लिए कई अन्य तरीकों से मूल्यवान हो सकता है:

• सुधारित विश्लेषण: एलएलएम सुरक्षा डेटा (लॉग, अलर्ट, खतरा खुफिया) की विशाल मात्रा को संसाधित कर सकते हैं ताकि मानवों के लिए अदृश्य पैटर्न और संबंधों की पहचान की जा सके। वे इसे भाषाओं, घड़ी के चारों ओर, और एक ही समय में कई आयामों पर कर सकते हैं। यह सुरक्षा टीमों के लिए नए अवसर खोलता है। एलएलएम अलर्ट के एक ढेर को लगभग वास्तविक समय में जला सकते हैं, जो सबसे गंभीर होने की संभावना है उन्हें झंडा दिखा सकते हैं। सुदृढ़ सीखने के माध्यम से, विश्लेषण समय के साथ बेहतर होना चाहिए।
• स्वचालन: एलएलएम सुरक्षा टीम कार्यों को स्वचालित कर सकते हैं जिन्हें आमतौर पर परस्पर बातचीत की आवश्यकता होती है। उदाहरण के लिए, जब एक सुरक्षा टीम को एक आईओसी प्राप्त होता है और उन्हें एंडपॉइंट के मालिक से पूछने की आवश्यकता होती है कि क्या उन्होंने वास्तव में एक डिवाइस में साइन इन किया था या वे अपने सामान्य कार्य क्षेत्रों के बाहर कहीं हैं, एलएलएम इन सरल संचालन कर सकता है और फिर आवश्यकतानुसार प्रश्नों का पालन कर सकता है और लिंक या निर्देश प्रदान कर सकता है। यह एक ऐसी बातचीत थी जिसे आईटी या सुरक्षा टीम के सदस्य को स्वयं करना था। एलएलएम अधिक उन्नत कार्यक्षमता भी प्रदान कर सकते हैं। उदाहरण के लिए, माइक्रोसॉफ्ट कोपायलट फॉर सिक्योरिटी इंकिडेंट विश्लेषण रिपोर्ट तैयार कर सकता है और जटिल मैलवेयर कोड को प्राकृतिक भाषा विवरण में अनुवादित कर सकता है।
• निरंतर सीखना और ट्यूनिंग: सुरक्षा नीतियों और समझ के लिए पिछले मशीन लर्निंग सिस्टम के विपरीत, एलएलएम मानव रेटिंग को अपनी प्रतिक्रिया के साथ ग्रहण करके और नई डेटा पूल पर फिर से ट्यून करके उड़ान भर सकते हैं जो आंतरिक लॉग फ़ाइलों में शामिल नहीं हो सकते हैं। वास्तव में, एक ही मूलभूत मॉडल का उपयोग करके, साइबर सुरक्षा एलएलएम को विभिन्न टीमों और उनकी आवश्यकताओं, कार्यप्रवाह, या क्षेत्र-विशिष्ट कार्यों के लिए समायोजित किया जा सकता है। इसका मतलब यह भी है कि पूरी प्रणाली तुरंत मॉडल के रूप में चतुर हो सकती है, जिसमें परिवर्तन तेजी से सभी इंटरफेस पर प्रसारित होते हैं।

साइबर सुरक्षा के लिए एलएलएम का जोखिम

एक नई प्रौद्योगिकी के रूप में जिसका एक छोटा रिकॉर्ड है, एलएलएम में गंभीर जोखिम हैं। और भी बुरा, इन जोखिमों की पूरी सीमा को समझना चुनौतीपूर्ण है क्योंकि एलएलएम आउटपुट 100% भविष्यवाणी या प्रोग्रामेटिक नहीं हैं। उदाहरण के लिए, एलएलएम “हॉलुसिनेट” कर सकते हैं और कल्पनाशील डेटा के आधार पर उत्तर बना सकते हैं या प्रश्नों का गलत उत्तर दे सकते हैं। साइबर सुरक्षा उपयोग के मामलों के लिए एलएलएम को अपनाने से पहले, एक को संभावित जोखिमों पर विचार करना चाहिए, जिनमें शामिल हैं:

• प्रॉम्प्ट इंजेक्शन: हमलावर प्रॉम्प्ट बना सकते हैं जो भ्रामक या हानिकारक आउटपुट उत्पन्न करने के लिए विशेष रूप से डिज़ाइन किए गए हैं। इस प्रकार का हमला एलएलएम की प्रवृत्ति का फायदा उठा सकता है जो प्राप्त प्रॉम्प्ट के आधार पर सामग्री उत्पन्न करता है। साइबर सुरक्षा उपयोग के मामलों में, प्रॉम्प्ट इंजेक्शन एक अंदरूनी हमले या एक अनधिकृत उपयोगकर्ता द्वारा हमले के रूप में सबसे जोखिम भरा हो सकता है जो प्रॉम्प्ट का उपयोग करके स्थायी रूप से सिस्टम आउटपुट को बदलने के लिए करता है, मॉडल व्यवहार को तिरछा करता है। यह अन्य उपयोगकर्ताओं के लिए असटीक या अमान्य आउटपुट उत्पन्न कर सकता है।
• डेटा जहर: एलएलएम पर निर्भर डेटा जानबूझकर दूषित किया जा सकता है, जो उनके निर्णय लेने को समझौता करता है। साइबर सुरक्षा सेटिंग्स में, जहां संगठन उपकरण प्रदाताओं द्वारा प्रशिक्षित मॉडल का उपयोग कर रहे हैं, डेटा जहर तब हो सकता है जब मॉडल को विशिष्ट ग्राहक और उपयोग के मामले के लिए ट्यून किया जा रहा हो। यहाँ जोखिम यह हो सकता है कि एक अनधिकृत उपयोगकर्ता प्रशिक्षण प्रक्रिया को उलट करने के लिए – उदाहरण के लिए, दूषित लॉग फ़ाइलें – खराब डेटा जोड़ सकता है। एक अधिकृत उपयोगकर्ता भी अनजाने में ऐसा कर सकता है। परिणाम एलएलएम आउटपुट होगा जो खराब डेटा पर आधारित है।
• हॉलुसिनेशन: जैसा कि पहले उल्लेख किया गया है, एलएलएम प्रॉम्प्ट या अंतर्निहित डेटा दोषों की गलत समझ के कारण तथ्यात्मक रूप से गलत, तर्कहीन या यहां तक कि दुर्भावनापूर्ण प्रतिक्रियाएं उत्पन्न कर सकते हैं। साइबर सुरक्षा उपयोग के मामलों में, हॉलुसिनेशन खतरा खुफिया, दोष ट्राइएज और उपचार, और अधिक में महत्वपूर्ण त्रुटियों का कारण बन सकता है। चूंकि साइबर सुरक्षा एक मिशन-महत्वपूर्ण गतिविधि है, एलएलएम को इन संदर्भों में हॉलुसिनेशन को प्रबंधित और रोकने के लिए एक उच्च मानक के लिए आयोजित किया जाना चाहिए।

जैसे ही एआई सिस्टम अधिक क्षमतावान होते जा रहे हैं, उनके सूचना सुरक्षा तैनाती तेजी से विस्तारित हो रही है। स्पष्ट रूप से, कई साइबर सुरक्षा कंपनियों ने पहले से ही गतिशील फिल्टरिंग के लिए पैटर्न मिलान और मशीन लर्निंग का उपयोग किया है। जेनएआई युग में नया क्या है वह इंटरएक्टिव एलएलएम है जो मौजूदा कार्यप्रवाह और डेटा पूल के ऊपर एक बुद्धिमत्ता परत प्रदान करता है, आदर्श रूप से साइबर सुरक्षा टीमों की दक्षता और क्षमताओं में सुधार करता है। दूसरे शब्दों में, जेनएआई सुरक्षा इंजीनियरों को कम प्रयास और समान संसाधनों के साथ अधिक करने में मदद कर सकता है, जिससे बेहतर प्रदर्शन और त्वरित प्रक्रियाएं होती हैं।