जोनाथन ज़ैंगर, चेक पॉइंट के मुख्य प्रौद्योगिकी अधिकारी – साक्षात्कार श्रृंखला

जोनाथन ज़ैंगर, चेक पॉइंट के मुख्य प्रौद्योगिकी अधिकारी, एक दुर्लभ संयोजन लाते हैं जिसमें एलिट सैन्य खुफिया अनुभव, गहरी एआई विशेषज्ञता और स्टार्टअप्स और वैश्विक उद्यमों दोनों में ऑपरेशनल नेतृत्व शामिल है। अपनी वर्तमान भूमिका से पहले, उन्होंने ट्रिगो में सीटीओ के रूप में काम किया, जहां उन्होंने अगली पीढ़ी के एआई और कंप्यूटर विजन सिस्टम के विकास का नेतृत्व किया, जिससे पैमाने पर घर्षणहीन खुदरा और नुकसान की रोकथाम संभव हुई, जबकि उत्पाद और अनुसंधान एवं विकास को वास्तविक दुनिया के व्यावसायिक तैनाती के साथ संरेखित किया गया। इससे पहले, उन्होंने ट्रिगो में वरिष्ठ अनुसंधान एवं विकास नेतृत्व भूमिकाएं निभाईं और इज़राइल की एलिट यूनिट 8200 में एक दशक से अधिक समय तक बिताया, अंततः एक साइबर अनुसंधान एवं विकास प्रभाग का नेतृत्व किया जो राष्ट्रीय स्तर की खुफिया और साइबर सुरक्षा पहलों के लिए जिम्मेदार था और अपने काम के लिए शीर्ष राष्ट्रीय मान्यता प्राप्त की।

चेक पॉइंट सॉफ्टवेयर टेक्नोलॉजीज साइबर सुरक्षा में एक वैश्विक नेता है, जो एआई-ड्रIVEN, क्लाउड-वितरित सुरक्षा समाधान प्रदान करता है जो व्यवसायों और सरकारों को बढ़ती जटिल डिजिटल खतरों से बचाने के लिए डिज़ाइन किए गए हैं। कंपनी दुनिया भर में 100,000 से अधिक संगठनों को एक व्यापक मंच के साथ सेवा प्रदान करती है जो नेटवर्क, क्लाउड वातावरण, एंडपॉइंट और उपयोगकर्ताओं को एक रोकथाम-पहले दृष्टिकोण के माध्यम से सुरक्षित करता है जो हमलों को होने से पहले रोकने का लक्ष्य रखता है। इसकी एकीकृत वास्तुकला वास्तविक समय के खतरे की खुफिया और कृत्रिम बुद्धिमत्ता का लाभ उठाकर सुरक्षा संचालन को सरल बनाने, जोखिम को कम करने और संगठनों को सुरक्षित रूप से विस्तारित करने में मदद करती है क्योंकि वे एआई, क्लाउड कंप्यूटिंग और वितरित प्रणालियों को अपनाते हैं।

आपने बड़े पैमाने पर साइबर सुरक्षा और एआई पहलों का नेतृत्व किया है, ट्रिगो में एआई-ड्रIVEN सिस्टम का निर्माण किया है, और अब चेक पॉइंट में एआई रणनीति की देखरेख करते हैं। जब एआई सिस्टम नियंत्रित वातावरण से उत्पादन में स्थानांतरित होते हैं, तो विशेष रूप से जब उन्हें उपकरणों और उद्यम डेटा तक पहुंच प्रदान की जाती है, तो आपने किन विशिष्ट विफलता मोड का अवलोकन किया है?

उत्पादन में दो चीजें मौलिक रूप से बदलती हैं। पहला, पैमाने पर किनारे के मामलों को रोजमर्रा की घटनाओं में बदल देता है। 0.1 प्रतिशत झूठी सकारात्मक दर प्रयोगशाला में उत्कृष्ट लगती है, लेकिन जब आप लाखों इंटरैक्शन को संसाधित कर रहे होते हैं, तो यह हजारों घटनाओं में अनुवाद करता है जिन्हें ध्यान देने की आवश्यकता है। परीक्षण में सांख्यिकीय आउटलायर पैमाने पर संचालन वास्तविकता बन जाते हैं।

दूसरा, उत्पादन का अर्थ है विरोधी जोखिम। एक नियंत्रित वातावरण में, इनपुट सौम्य और भविष्यवाणीय होते हैं। वास्तविक दुनिया में, कुछ उपयोगकर्ता और खतरा अभिनेता प्रणाली को धोखा देने का प्रयास करेंगे, हर उपलब्ध असुरक्षित डेटा चैनल का लाभ उठाकर व्यवहार को हेरफेर करने के लिए। प्रदर्शनी से उत्पादन में संक्रमण एक स्केलिंग समस्या नहीं है। यह एक सहयोगी वातावरण से एक विवादित वातावरण में स्थानांतरण है, और यह मांग करता है कि मौलिक रूप से अलग डिजाइन धारणाएं हों।

एजेंटिक सिस्टम में, जहां मॉडल एपीआई को कॉल कर सकते हैं, कोड निष्पादित कर सकते हैं और क्रियाओं को श्रृंखला में जोड़ सकते हैं, सुरक्षा टीमें अभी भी ठीक से उपकरण नहीं कर रही हैं जो सबसे महत्वपूर्ण हमला सतह हैं?

सबसे महत्वपूर्ण सतह जिसे अधिकांश टीमें कम आंकती है वह डेटा स्वयं है। एजेंटिक सिस्टम नियमित रूप से असुरक्षित डेटा स्रोतों तक पहुंचते हैं – आने वाले ईमेल, वेबसाइट, जिरा टिकट, ओपन-सोर्स कोड, बाहरी प्रलेखन। यह डेटा मॉडल द्वारा उनकी तर्क प्रक्रिया के भाग के रूप में सेवन और विश्लेषण किया जाता है।

यह दो कंक्रीट जोखिम पैदा करता है। पहला, मेमोरी जहर – जहां हेरफेर की सामग्री मॉडल के भविष्य के प्रतिक्रियाओं और निर्णयों को बिना किसी स्पष्ट प्रोम्प्ट इंजेक्शन के आकार देती है। दूसरा, अप्रत्यक्ष प्रोम्प्ट इंजेक्शन – जहां विरोधी निर्देशों को उस बाहरी डेटा में एम्बेड किया जाता है और प्रभावी रूप से मॉडल को अंदर से जेलब्रेक करता है। हमलावर सीधे प्रोम्प्ट को छूता नहीं है। वे बस निर्देशों को वहां लगाते हैं जहां एजेंट उन्हें पाएगा।

प्रोम्प्ट इंजेक्शन को अक्सर एक मॉडल समस्या के रूप में फ्रेम किया जाता है, लेकिन व्यवहार में यह एक सिस्टम-स्तरीय मुद्दा बन जाता है। एआई-ड्रIVEN क्रियाओं के सुरक्षित और नियंत्रित उत्पादन वातावरण में उपकरण निष्पादन और संवेदनशील डेटा पहुंच को अलग करने के लिए उद्यमों को अपनी वास्तुकला को कैसे पुनः डिज़ाइन करना चाहिए?

प्रोम्प्ट इंजेक्शन एक सार्वभौमिक समस्या नहीं है जिसका एक सार्वभौमिक समाधान है। क्या एक दिया गया इनपुट वैध या विरोधी है, यह पूरी तरह से संदर्भ पर निर्भर करता है। एक एजेंट से “प्रशासक का पासवर्ड बदलने” के लिए कहना एक तकनीकी सहायता एजेंट के लिए पूरी तरह से वैध है। समान अनुरोध एक ऑनलाइन रिटेलर के चैटबॉट के लिए एक हमला है।

यही कारण है कि वास्तुकला किसी भी एकल पता लगाने की तकनीक से अधिक महत्वपूर्ण है। प्रणाली को निर्धारित और गैर-निर्धारित तंत्र दोनों की आवश्यकता होती है जो एक साथ काम करते हैं। निर्धारित नियंत्रण एजेंट, उपयोगकर्ता और प्रणाली की परिभाषित भूमिका के आधार पर उपकरणों और डेटा तक पहुंच को प्रबंधित करते हैं। गैर-निर्धारित, मॉडल-आधारित नियंत्रण भाषा, संदर्भ और इरादे को समझने की क्षमता जोड़ते हैं। आपको दोनों परतों की आवश्यकता है – कठोर नीति प्रवर्तन और बुद्धिमान संदर्भीय तर्क – क्योंकि न तो अकेले पर्याप्त है।

कई एआई एजेंट पुनर्प्राप्ति-संवर्धित पीढ़ी और बाहरी डेटा स्रोतों पर भरोसा करते हैं। इन पाइपलाइनों में डेटा जहर और संदर्भ हेरफेर के जोखिम क्या हैं, और उन्हें रनटाइम पर कैसे कम किया जा सकता है?

जोखिम डेटा प्रवाह की दिशा पर निर्भर करते हैं। आंतरिक डेटा स्रोतों के लिए, प्राथमिक जोखिम संवेदनशील डेटा रिसाव है – पीआईआई एक्सपोजर, क्रॉस-ग्राहक डेटा शेयरिंग, आंतरिक जानकारी को अनधिकृत पार्टियों के लिए सतह पर लाना। बाहरी डेटा स्रोतों के लिए, जोखिमों में मॉडल पूर्वाग्रह शामिल हैं जो सत्यापित जानकारी से नहीं हैं, अप्रत्यक्ष प्रोम्प्ट इंजेक्शन जो पुनर्प्राप्त सामग्री में एम्बेड किया गया है, और असुरक्षित या हेरफेर किए गए स्रोतों पर निर्भरता।

कमी को लेनदेन स्तर पर, वास्तविक समय में होने की आवश्यकता है। हर एजेंटिक इंटरैक्शन को दोनों दिशाओं में सुरक्षित किया जाना चाहिए: सुनिश्चित करना कि संवेदनशील डेटा अंदर से बाहर नहीं लीक हो रहा है, और सुनिश्चित करना कि जहरीला या विरोधी जानकारी बाहर से प्रणाली या मॉडल में नहीं डाली जा रही है। आप इसे केवल सेवन समय पर हल नहीं कर सकते क्योंकि संदर्भ गतिशील है और खतरे का परिदृश्य निरंतर बदलता रहता है।

आपका एआई डिफेंस प्लेन एक एकीकृत नियंत्रण परत पेश करता है जो कर्मचारी एआई उपयोग, अनुप्रयोगों और एजेंटिक सिस्टम के माध्यम से फैला हुआ है। इतने खंडित एआई स्टैक के पार नीति का अवलोकन और प्रवर्तन करने में सबसे बड़ी वास्तुकला चुनौतियां क्या थीं?

हम मानते हैं कि निकट भविष्य में, एजेंटिक कार्यभार एंडपॉइंट, अनुप्रयोगों, सास सेवाओं और क्लाउड कार्यभारों को शामिल करेगा – जो हम “इंटरनेट ऑफ एजेंट्स” कहते हैं। एआई डिफेंस प्लेन का विचार यह है कि इस विकसित उद्यम एजेंटिक बुनियादी ढांचे की खोज, शासन और सुरक्षा को एक ही पैन में करना है।

मूल वास्तुकला चुनौती यह है कि हर एजेंट के जोखिम प्रोफाइल और संदर्भ का गतिशील रूप से मूल्यांकन करना और हर एजेंटिक लेनदेन के लिए कुशल वास्तविक समय सुरक्षा विकसित करना। इसका अर्थ है उत्पादन गति और पैमाने पर वास्तविक खतरों के खिलाफ उच्च ब्लॉक दर बनाए रखना, जबकि झूठी सकारात्मकता को कम करना – एक ही समय में कई चलने वाले वातावरण में। एक ऐसी प्रणाली का निर्माण जो इतने खंडित और तेजी से विकसित हो रहे एआई स्टैक के पार नीति का अवलोकन और प्रवर्तन कर सकती है, इसके लिए हमें एआई गतिविधि का मूल स्तर पर मूल्यांकन और अमूर्त करने के तरीके को पुनः सोचने की आवश्यकता थी।

मंच वास्तविक समय निर्णय लेने पर जोर देता है जो मशीन की गति पर भाषाओं और कार्यप्रवाह के पार होता है। आप उत्पादन वातावरण में एआई-ड्रIVEN क्रियाओं के गहरे निरीक्षण और नियंत्रण की आवश्यकता के साथ विलंबता प्रतिबंधों को कैसे संतुलित करते हैं?

हम विशेष रूप से खतरा रोकथाम के लिए फाउंडेशन मॉडल विकसित और प्रशिक्षित करते हैं, फिर उन्हें बहुत कुशल बनाने के लिए जिलेटिनीकरण तकनीकों का उपयोग करते हैं। इससे हमें तेजी से और न्यूनतम कंप्यूटे पर अनुमान लगाने की अनुमति मिलती है – यहां तक कि सीपीयू या कमोडिटी जीपीयू पर भी – जबकि अधिकतम सटीकता के साथ मल्टी-लैंग्वेज और मल्टी-मॉडल कवरेज बनाए रखना, जिसमें छवि और ऑडियो विश्लेषण शामिल है।

यह दृष्टिकोण हमें एजेंटिक लेनदेन को गहराई से जांच करने की अनुमति देता है बिना एक बोतलनेक बने। जो सुरक्षा अस्वीकार्य विलंबता पेश करती है वह बायपास की जाएगी। जो सुरक्षा कार्यप्रवाह के लिए अदृश्य है लेकिन महत्वपूर्ण नियंत्रण लागू करती है वही वास्तव में तैनात की जाती है और तैनात रहती है।

एआई एजेंटों को विभिन्न प्रणालियों में प्रतिनिधि अनुमतियों के साथ संचालित करने के लिए संगठनों को गैर-मानव अभिनेताओं के लिए पहचान और पहुंच प्रबंधन को कैसे पुनः सोचना चाहिए, विशेष रूप से जब एजेंट उपकरण के उपयोग के माध्यम से अपने दायरे का विस्तार करते हैं?

सबसे अधिक संगठन जो गलती करते हैं वे एआई एजेंटों को या तो मानव उपयोगकर्ताओं के विस्तार के रूप में या पारंपरिक सेवा खातों के रूप में मानते हैं। न तो मॉडल फिट बैठता है। उन्हें डिजिटल कर्मचारियों के रूप में सोचें – जो संस्थाओं के साथ परिभाषित भूमिकाएं, जिम्मेदारियां और सीमाएं हैं।

एजेंट पहचान को तीन आयामों द्वारा परिभाषित किया जाना चाहिए: एजेंट द्वारा निष्पादित विशिष्ट कार्यप्रवाह, एजेंट के मालिक या बनाने वाले उपयोगकर्ता, और वर्तमान में इसके साथ बातचीत करने वाला उपयोगकर्ता। इन तीनों कारक एजेंट को क्या करने की अनुमति दी जानी चाहिए, इसके आकार को निर्धारित करते हैं। इसके अलावा, संगठनों को एजेंटों पर शून्य-विश्वास के सिद्धांतों को लागू करने की आवश्यकता है – कभी भी मूल के आधार पर विश्वास न करें, व्यवहार की निरंतर सत्यापन करें और हर कदम पर न्यूनतम विशेषाधिकार पहुंच को लागू करें। इसके बिना, एजेंट चुपचाप अधिक अधिकार जमा करेंगे जितना किसी ने भी इरादा किया था।

अधिकांश उद्यमों में अब कोपायलट, प्लग-इन और आंतरिक स्क्रिप्ट के माध्यम से छाया एआई उपयोग है। सुरक्षा टीमों को संवेदनशील डेटा के साथ एआई के इंटरैक्शन में वास्तविक दृश्यता प्राप्त करने के लिए कौन सा टेलीमेट्री एकत्र करना चाहिए?

दृश्यता को एजेंटिक लेनदेन स्तर पर काम करने की आवश्यकता है – न केवल प्रोम्प्ट और प्रतिक्रियाएं, बल्कि टूल कॉल, टूल्स द्वारा लौटाए गए डेटा और परिणामस्वरूप की गई क्रियाएं। सुरक्षा टीमों को पूरी श्रृंखला देखने की आवश्यकता है: क्या पूछा गया था, कौन सा डेटा एक्सेस किया गया था, कौन से टूल बुलाए गए थे, कौन से पैरामीटर पास किए गए थे, और आगे क्या हुआ।

बिना इस लेनदेन-स्तरीय टेलीमेट्री के, आप बुनियादी प्रश्नों के उत्तर नहीं दे सकते हैं जो एक्सपोजर, दुरुपयोग या प्रभाव के बारे में हैं। छाया एआई खतरनाक नहीं है क्योंकि यह अस्तित्व में है। यह खतरनाक है क्योंकि यह इस स्तर के शासन या अंतर्दृष्टि के बिना संचालित होता है।

एजेंटिक सिस्टम को रेड टीमिंग मूल रूप से स्थिर अनुप्रयोगों का परीक्षण करने से अलग है। आप बहु-चरण वाले कार्यप्रवाह में विरोधी व्यवहार का अनुकरण कैसे करते हैं, और किस प्रकार के शोषण सबसे अधिक खोजे जाते हैं?

हम गांडाल्फ (https://gandalf.lakera.ai) संचालित करते हैं, जो दुनिया का सबसे बड़ा एआई रेड-टीमिंग अभ्यास है। यह एक क्राउड-सोर्स्ड प्लेटफ़ॉर्म है जहां वास्तविक उपयोगकर्ता एआई एजेंटों को उनके गार्डरेल को तोड़ने के लिए मनाने का प्रयास करते हैं। इससे हमें वास्तविक विरोधी तकनीकों का एक अनोखा और निरंतर बढ़ता डेटासेट मिलता है – न तो सैद्धांतिक हमले, बल्कि वास्तविक लोग एआई सिस्टम को हेरफेर करने के लिए उपयोग करते हैं।

हम उस डेटासेट का लाभ उठाकर अपनी रेड-टीमिंग क्षमताओं को चलाते हैं। हम सबसे अधिक देखे जाने वाले हमले उपयोगकर्ताओं द्वारा एजेंटों को उनके प्रतिबंधों का उल्लंघन करने के लिए धीरे-धीरे मनाने के शामिल हैं – अप्रत्यक्ष प्रोम्प्ट इंजेक्शन, रचनात्मक पुनः फ्रेमिंग, संदर्भ हेरफेर और बहु-चरण इंटरैक्शन में विश्वास का दुरुपयोग। ये मुद्दे अदृश्य हैं यदि आप केवल व्यक्तिगत प्रोम्प्ट का परीक्षण करते हैं। आपको क्रम और सतत विरोधी अभियानों का परीक्षण करने की आवश्यकता है।

जैसे ही हमलावर स्वचालित एजेंटों का उपयोग करके निरंतर प्रणालियों की जांच शुरू करते हैं, क्या आप उम्मीद करते हैं कि रक्षा वास्तविक समय में अनुकूली नियंत्रणों की ओर बढ़ेगी जो एआई द्वारा संचालित होते हैं, और व्यावहारिक रूप से यह वास्तुकला क्या दिखती है?

हाँ। स्थिर रक्षा स्वचालित हमलावरों के साथ तालमेल नहीं रख सकती जो निरंतर संचालित होते हैं। रक्षा को अनुकूलनीय, रनटाइम-चालित और स्वचालित होने की आवश्यकता है। इसका अर्थ है एआई व्यवहार की वास्तविक समय में निगरानी, निरंतर जोखिम मूल्यांकन और नीतियों के उल्लंघन पर तुरंत प्रवर्तन। एआई-ड्रIVEN हमलों की गति और पैमाने का सामना करने के लिए मशीन-गति रक्षा की आवश्यकता है।

व्यवहार में, सुरक्षा एक फीडबैक लूप बन जाती है, न कि एक नियम सेट। एआई सिस्टम का अवलोकन, मूल्यांकन और गतिशील रूप से प्रतिबंधित किया जाता है, जिस गति और पैमाने पर वे संचालित होते हैं। यह परिवर्तन आवश्यक है यदि संगठन व्यवसायिक पैमाने पर सुरक्षित रूप से एआई तैनात करना चाहते हैं।

साक्षात्कार के लिए धन्यवाद, पाठक जो अधिक जानना चाहते हैं उन्हें चेक पॉइंट सॉफ्टवेयर टेक्नोलॉजीज पर जाना चाहिए।