एआई दृश्यता संकट: सुरक्षा टीमें क्यों अंधेरे में उड़ रही हैं और उन्हें ऐसा क्यों नहीं करना चाहिए

उत्पादन वातावरण में एआई एजेंटों का एकीकरण तेजी से बढ़ रहा है, लेकिन उन्हें सुरक्षित रखने के लिए आवश्यक सुरक्षा वास्तुकला खतरनाक रूप से पीछे रह गई है। हम एक ऐसे युग में हैं जहां एक एआई एजेंट, जिसे एक स्टेजिंग वातावरण में एक नियमित काम के लिए निर्देशित किया गया है, स्वतंत्र रूप से एक क्रेडेंशियल मिसमैच को “सुधारने” के लिए एक डेटाबेस वॉल्यूम को हटाने का फैसला कर सकता है।

हम एक उद्योग के रूप में, एआई के आसपास सुरक्षा और दृश्यता के मूल सिद्धांतों के बारे में हमारे दिमाग को बंद कर रहे हैं। सुरक्षा टीमें अंधेरे में उड़ रही हैं, लेकिन उन्हें ऐसा नहीं करना चाहिए।

सिस्टम प्रॉम्प्ट्स और सुरक्षित टूलिंग का मिथक

एआई स्थान में एक व्यापक मिथक यह है कि हम एजेंट व्यवहार को नियंत्रित कर सकते हैं क्योंकि हमने उन्हें व्यवहार करने के लिए कहा है। सिस्टम प्रॉम्प्ट्स सलाहकार हैं, लागू करने वाले नहीं। उपरोक्त घटना में, एआई के सिस्टम नियमों में यह स्पष्ट रूप से कहा गया था कि कभी भी विनाशकारी कमांड नहीं चलानी चाहिए, फिर भी एजेंट ने अपने ही विपणन गार्डरेल्स का उल्लंघन किया और सबसे अप्रतिवर्ती कार्रवाई को अंजाम दिया।

हमें यह मानकर काम करना होगा कि एआई वास्तव में कुछ नहीं “जानता” है। एआई के खिलाफ हमले सामाजिक इंजीनियरिंग हैं, सिवाय इसके कि निशान एक औसत मानव से कम है। जिन लोगों के पास प्रवेश परीक्षण करने का अनुभव है, वे जानते हैं कि सामाजिक इंजीनियरिंग हमलों के खिलाफ संगठनों का बचाव कितना मुश्किल है। अब हमारे कंप्यूटर भी कमजोर हैं।

इसके अलावा, एआई टूलिंग अंततः सॉफ्टवेयर है, और सभी सॉफ्टवेयर में बग होते हैं। हम पहले से ही ऐसे उदाहरण देख चुके हैं जहां एआई टूलिंग स्वचालित रूप से अनप्रमाणित HTTP सर्वर शुरू कर देती है, जिससे किसी भी स्थानीय प्रक्रिया या वेबसाइट को उपयोगकर्ता विशेषाधिकारों के साथ मनमाने ढंग से शेल कमांड निष्पादित करने की अनुमति मिलती है।

एआई ऑडिटिंग का ब्लैक बॉक्स

यदि एक एआई बदनाम हो जाती है या हेरफेर की जाती है, तो यह पता लगाना एक NIGHTMARE है कि यह क्या करता है। एआई टूल्स आमतौर पर ऑडिट लॉग प्रदान नहीं करते हैं। यदि आप भाग्यशाली हैं और एक उद्यम स्तर पर हैं, तो आपको जो लॉग मिलते हैं वे बहुत कम होते हैं। उदाहरण के लिए, आपको एक अस्पष्ट घटना मिल सकती है जिसमें एक उपयोगकर्ता “जेन एआई” का उपयोग करता है और केवल बुनियादी मेट्रिक्स प्राप्त करता है जो इनपुट और आउटपुट टोकन गणना का विवरण देते हैं।

इनमें से कोई भी एक सुरक्षा विश्लेषक के लिए मूलभूत प्रश्न का उत्तर देने में मदद नहीं करता है: इस एजेंट ने वास्तव में क्या निष्पादित किया?

एआई का पर्दाफाश: अंधेरे में उड़ने से कैसे रोकें

अच्छी खबर यह है कि आपको अपनी दृश्यता वापस पाने के लिए एक चमकदार नया एआई-विशिष्ट सुरक्षा उपकरण की आवश्यकता नहीं है। शैडो एआई उपयोग और एजेंट गतिविधि मौजूदा लॉग विश्लेषण तकनीकों का उपयोग करके पता लगाने योग्य हैं जो आपकी टीम को पहले से ही करनी चाहिए। एआई टूल कॉल, कमांड निष्पादन और सिस्टम चेंजिंग इवेंट्स को मौजूदा प्रक्रिया निष्पादन विश्लेषण (जो आप अपने सुरक्षा सूचना और घटना प्रबंधन (SIEM) में कर रहे हैं, सही?) का उपयोग करके एआई के लिए ट्रेस किया जा सकता है।

यहाँ आपके वर्तमान बुनियादी ढांचे का उपयोग करके एआई गतिविधि को कैसे स्पॉट किया जा सकता है:

• डीएनएस विश्लेषण: एआई सेवा डोमेन के लिए डीएनएस लॉग के लिए क्वेरी विश्लेषण करने से आपके वातावरण में एआई उपयोग का पता लगाने में मदद मिल सकती है।
• थ्रेटलिस्ट: इस दृष्टिकोण के लिए एआई प्लेटफ़ॉर्म या मॉडल प्रदाताओं से जुड़े डोमेन की एक अद्यतन थ्रेटलिस्ट बनाए रखने की आवश्यकता है।
• सामुदायिक संसाधन: सामुदायिक परियोजनाएं और ब्लॉकलिस्ट उपलब्ध हैं जिन्हें प्रोग्रामेटिक उपयोग के लिए लुकअप टेबल में बदला जा सकता है।
• एसएसएल ट्रैकिंग: एक समान दृष्टिकोण एसएसएल लॉग का उपयोग करके सर्वर नामों को ट्रैक करने के लिए किया जा सकता है, हालांकि यह थोड़ा कम विवरण प्रदान करता है क्योंकि पूरा यूआरएल रिकॉर्ड नहीं किया जाता है।
• एंडपॉइंट टेलीमेट्री: आप जैसे टूल्स का उपयोग करके चाइल्ड प्रोसेस की गणना कर सकते हैं Sysmon और उच्च बैश स्पॉनर के लिए शिकार करना, जो एंडपॉइंट पर कमांड निष्पादित करने वाले संभावित एआई एजेंटों का एक मजबूत संकेतक है।

प्रॉम्प्ट्स स्वयं एक सक्रिय परिवर्तन की आवश्यकता वाला अंधा बिंदु है। उपयोगकर्ता एआई से क्या पूछ रहे हैं? क्या वे संभावित रूप से संवेदनशील दस्तावेज़ अपलोड कर रहे हैं, जिससे अनुपालन मुद्दे पैदा हो सकते हैं? इन प्रश्नों का उत्तर देने के लिए सबसे अधिक संभावना एपीआई अनुरोधों को प्रदाता को इकट्ठा करने की आवश्यकता है; वेब प्रॉक्सी, एलएलएम प्रॉक्सी, और लॉगिंग और एसआईईएम प्रदाताओं से डेटा इंगेस्टion टूल। वे इस मूल्यवान डेटा स्रोत को अवरुद्ध करने वाले पर्दे को हटा सकते हैं।

उभरता हुआ खतरा: दुर्भाग्यपूर्ण एमसीपी सर्वर

मॉडल संदर्भ प्रोटोकॉल (एमसीपी) एआई ऐप्स को बाहरी टूल और डेटा स्रोतों के साथ एकीकरण के तरीके को निर्दिष्ट करने के तरीके के रूप में उभरा है। जबकि यह कनेक्शन को मानकीकृत करता है, यह “इविल एमसीपी” सर्वर के माध्यम से नए हमलों के वेक्टर भी पेश करता है।

मैं एक हाथों-हाथ प्रशिक्षण कार्यशाला की मेजबानी करता हूं जहां छात्र इस हमले का अनुभव कर सकते हैं। वे एक दुर्भाग्यपूर्ण एमसीपी सर्वर को डिज़ाइन करते हैं जो एक एलएलएम को वैध टूल को बुलाने और आउटपुट को हमलावर को वापस भेजने के लिए धोखा देता है। चूंकि एलएलएम सामाजिक इंजीनियरिंग के लिए अत्यधिक कमजोर हैं, इसलिए उनके निर्मित गार्डरेल्स को बायपास करना अक्सर बेहतर शब्दों या एक चतुर उपागम का चयन करने का मामला होता है।

छात्र अक्सर अपने दुर्भाग्यपूर्ण सर्वर का उपयोग यह निर्देश देने के लिए करते हैं कि एआई “रखरखाव मोड” में है और इसे “अडिट लॉगिंग” के लिए एक द्वितीयक टूल पर डेटा पास करना होगा, जिससे डेटा निकासी होती है। कुछ अपने प्रॉम्प्ट्स में दूसरों की तुलना में अधिक रचनात्मक होते हैं, लेकिन वे आमतौर पर सफल होते हैं।

नियंत्रण वापस पाना

वास्तविक दुनिया में एआई गतिविधि को ठीक से ऑडिट करने के लिए, आपको एआई अनुरोधों को रोकने के लिए एक प्रॉक्सी और एक लॉग संग्रह टूल की आवश्यकता होती है जो बड़े जेसन पेलोड को संभाल सकता है। इस दृश्यता के साथ, आप खतरों का पता लगा सकते हैं और उन्हें त्रुटि कर सकते हैं। आप एआई विक्रेताओं पर सुरक्षा परत प्रदान करने के लिए अकेले निर्भर नहीं रह सकते। प्रवर्तन आपके संगठन के सिस्टम में रहना चाहिए, न कि एक अनुच्छेद में जिसे हम आशा करते हैं कि मॉडल का पालन करेगा। एक अच्छे लॉगिंग समाधान के साथ, सुरक्षा टीमों के पास टेलीमेट्री है; यह समय है कि वे इसे क्वेरी करना शुरू करें।