विचार नेता
गुप्त रहित आवश्यकता: क्यों पारंपरिक सुरक्षा मॉडल विफल हो जाते हैं जब एआई एजेंट कोड को स्पर्श करते हैं
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
अप्रैल 2023 में, सैमसंग ने अपने इंजीनियरों को चैटजीपीटी के साथ संवेदनशील जानकारी लीक करने से रोक दिया। लेकिन यह एक दुर्घटना थी। अब कल्पना करें कि यदि उन कोड रिपॉजिटरी में जानबूझकर लगाए गए निर्देश थे, जो मानवों के लिए अदृश्य थे लेकिन एआई द्वारा संसाधित किए गए थे, जो न केवल कोड बल्कि एआई द्वारा एक्सेस किए जा सकने वाले हर एपीआई कुंजी, डेटाबेस प्रमाणीकरण और सेवा टोकन को निकालने के लिए डिज़ाइन किए गए थे। यह एक कल्पना नहीं है। सुरक्षा शोधकर्ताओं ने पहले ही इन “अदृश्य निर्देश” हमलों को प्रदर्शित किया है। प्रश्न यह नहीं है कि यह कब होगा, बल्कि यह कब होगा।
अब मौजूद नहीं है वह सीमा
दशकों से, हमने सुरक्षा को एक मूलभूत धारणा पर बनाया है: कोड कोड है, और डेटा डेटा है। एसक्यूएल इंजेक्शन ने हमें प्रश्नों को पैरामीटराइज़ करना सिखाया। क्रॉस-साइट स्क्रिप्टिंग ने हमें आउटपुट को एस्केप करना सिखाया। हमने कार्यक्रमों की कार्रवाइयों और उपयोगकर्ता इनपुट के बीच दीवारें बनाना सीखा।
एआई एजेंटों के साथ, वह सीमा वाष्पित हो गई है।
निर्धारित सॉफ़्टवेयर की तुलना में जो अनुमानित पथों का पालन करता है, बड़े भाषा मॉडल संभावित ब्लैक बॉक्स हैं जो वैध डेवलपर निर्देशों और दुर्भाग्यपूर्ण इनपुट के बीच अंतर नहीं कर सकते हैं। जब एक हमलावर एक प्रॉम्प्ट को एक एआई कोडिंग सहायक को खिलाता है, तो वे केवल डेटा प्रदान नहीं कर रहे हैं। वे मूल रूप से अनुप्रयोग को उड़ान भरने के लिए पुनः प्रोग्राम कर रहे हैं। इनपुट स्वयं कार्यक्रम बन गया है।
यह एक मूलभूत विचलन है जो हम जानते हैं कि अनुप्रयोग सुरक्षा के बारे में। पारंपरिक वाक्य-रचना आधारित फ़ायरवॉल, जो दुर्भाग्यपूर्ण पैटर्न जैसे ड्रॉप टेबल या स्क्रिप्ट टैग की तलाश करते हैं, प्राकृतिक भाषा हमलों के खिलाफ पूरी तरह से विफल हो जाते हैं। शोधकर्ताओं ने “सेमेंटिक प्रतिस्थापन” तकनीकों का प्रदर्शन किया है जहां प्रॉम्प्ट में “एपीआई कुंजी” को “सेब” से बदलने से हमलावर फिल्टर को पूरी तरह से बायपास कर सकते हैं। जब इरादा हानिरहित बातचीत के रूप में छिपा हो तो आप इरादे को कैसे आग लगाते हैं?
कोई भी चर्चा नहीं है शून्य-क्लिक वास्तविकता
सुरक्षा टीमों को यह समझ में नहीं आता है: प्रॉम्प्ट इंजेक्शन के लिए उपयोगकर्ता को कुछ भी टाइप करने की आवश्यकता नहीं है। ये अक्सर शून्य-क्लिक शोषण हैं। एक एआई एजेंट कोड रिपॉजिटरी की जांच करने, एक पुल अनुरोध की समीक्षा करने या एपीआई प्रलेखन पढ़ने के लिए किसी मानवीय बातचीत के बिना एक हमले को ट्रिगर कर सकता है।
इस परिदृश्य पर विचार करें, जो शोधकर्ताओं द्वारा सिद्ध तकनीकों पर आधारित है: एक दुर्भाग्यपूर्ण अभिनेता एक लोकप्रिय ओपन-सोर्स लाइब्रेरी के प्रलेखन में एचटीएमएल टिप्पणियों में अदृश्य निर्देश एम्बेड करता है। हर एआई सहायक जो इस कोड का विश्लेषण करता है, चाहे वह गिटहब कोपिलॉट, अमेज़न कोडव्हिस्परर हो या कोई उद्यम कोडिंग सहायक, एक संभावित प्रमाणीकरण हार्वेस्टर बन जाता है। एक समझौता पुस्तकालय हजारों उजागर विकास वातावरण का मतलब हो सकता है।
खतरा एलएलएम में नहीं है; यह एजेंसी है जो हम इसे देते हैं। जिस क्षण हमने इन मॉडलों को उपकरणों और एपीआई के साथ एकीकृत किया, जिससे उन्हें डेटा लाने, कोड निष्पादित करने और रहस्यों तक पहुंचने की अनुमति मिली, हमने सहायकों को पूर्ण हमला वेक्टर में बदल दिया। जोखिम मॉडल की बुद्धिमत्ता के साथ नहीं बढ़ता है; यह इसकी कनेक्टिविटी के साथ बढ़ता है।
वर्तमान दृष्टिकोण क्यों बर्बाद है
उद्योग वर्तमान में “संरेखित” मॉडल और बेहतर प्रॉम्प्ट फायरवॉल बनाने के साथ जुनूनी है। ओपनएआई अधिक गार्डरेल जोड़ता है। एंथ्रोपिक संवैधानिक एआई पर ध्यान केंद्रित करता है। हर कोई ऐसे मॉडल बनाने की कोशिश कर रहा है जो धोखा नहीं खा सकते हैं।
यह एक हारी हुई लड़ाई है।
यदि एक एआई पर्याप्त रूप से चतुर है तो यह उपयोगी है, तो यह धोखा देने के लिए पर्याप्त रूप से चतुर है। हम “स्वच्छता जाल” में गिर रहे हैं: यह मानकर कि बेहतर इनपुट फिल्टरिंग हमें बचाएगी। लेकिन हमले अदृश्य पाठ के रूप में एचटीएमएल टिप्पणियों में, प्रलेखन में गहराई से दफन, या हमने अभी तक कल्पना नहीं की है जिस तरह से एन्कोडेड हो सकते हैं। आप उस चीज़ को स्वच्छ नहीं कर सकते जिसे आप संदर्भिक रूप से समझ नहीं सकते हैं, और संदर्भ वही है जो एलएलएम को शक्तिशाली बनाता है।
उद्योग को एक कठिन सच्चाई को स्वीकार करने की आवश्यकता है: प्रॉम्प्ट इंजेक्शन सफल होगा। प्रश्न यह है कि जब ऐसा होता है तो क्या होता है।
आवश्यक वास्तुकला परिवर्तन
हम वर्तमान में एक “पैचिंग चरण” में हैं, जिसमें हम डेस्परेटली इनपुट फिल्टर और सत्यापन नियम जोड़ रहे हैं। लेकिन जैसे हमने अंततः सीखा कि एसक्यूएल इंजेक्शन को रोकने के लिए पैरामीटराइज्ड क्वेरी की आवश्यकता है, न कि बेहतर स्ट्रिंग एस्केपिंग, हमें एआई सुरक्षा के लिए एक वास्तुकला समाधान की आवश्यकता है।
उत्तर एक सिद्धांत में निहित है जो सरल लगता है लेकिन प्रणालियों के निर्माण के तरीके को पुनर्विचार करने की आवश्यकता है: एआई एजेंटों को कभी भी उन रहस्यों को प्राप्त नहीं करना चाहिए जिनका वे उपयोग करते हैं।
यह बेहतर प्रमाणीकरण प्रबंधन या सुधार के वॉल्ट समाधानों के बारे में नहीं है। यह एआई एजेंटों को विशिष्ट, सत्यापित पहचान के रूप में पहचानने के बारे में है, न कि पासवर्ड की आवश्यकता वाले उपयोगकर्ताओं के रूप में। जब एक एआई एजेंट को एक संरक्षित संसाधन तक पहुंचने की आवश्यकता होती है, तो यह:
-
अपनी सत्यापित पहचान (किसी संग्रहीत रहस्य के बजाय) का उपयोग करके प्रमाणित करें
-
केवल उस विशिष्ट कार्य के लिए वैध जस्ट-इन-टाइम प्रमाण पत्र प्राप्त करें
-
सेकंड या मिनट के भीतर स्वचालित रूप से समाप्त होने वाले प्रमाण पत्र प्राप्त करें
-
कभी भी लंबे समय तक रहस्य संग्रहीत न करें या देखें
कई दृष्टिकोण उभर रहे हैं। एआई के लिए अमेज़न वेब सेवा आईएएम भूमिकाएं, गूगल की वर्कलोड पहचान, हैशिकॉर्प वॉल्ट के गतिशील रहस्य, और एक्यलेस के ज़ीरो ट्रस्ट प्रोविज़निंग जैसे विशेष रूप से निर्मित समाधान सभी इस रहस्य रहित भविष्य की ओर इशारा करते हैं। कार्यान्वयन विवरण भिन्न हो सकते हैं, लेकिन सिद्धांत बना रहता है: यदि एआई के पास चोरी करने के लिए कोई रहस्य नहीं है, तो प्रॉम्प्ट इंजेक्शन एक महत्वपूर्ण रूप से छोटा खतरा बन जाता है।
2027 का विकास वातावरण
तीन साल के भीतर, एआई-संवर्धित विकास में .env फ़ाइल मृत हो जाएगी। लंबे समय से चली आ रही एपीआई कुंजी जो पर्यावरण चर में बैठी हैं, उन्हें हम अब प्लेन टेक्स्ट में पासवर्ड की तरह एक शर्मिंदा अवशेष के रूप में देखेंगे।
इसके बजाय, हर एआई एजेंट सख्त विशेषाधिकार पृथक्करण के तहत काम करेगा। डिफ़ॉल्ट रूप से केवल-पढ़ने योग्य। कार्रवाई व्हाइटलिस्टिंग मानक के रूप में। रेतीले निष्पादन वातावरण एक अनुपालन आवश्यकता के रूप में। हम एआई की सोच को नियंत्रित करने की कोशिश करना बंद कर देंगे और पूरी तरह से यह नियंत्रित करेंगे कि यह क्या कर सकता है।
यह केवल एक तकनीकी विकास नहीं है; यह विश्वास मॉडल में एक मूलभूत परिवर्तन है। हम “विश्वास लेकिन सत्यापित करें” से “कभी विश्वास न करें, हमेशा सत्यापित करें और समझौता मानें” में जा रहे हैं। न्यूनतम विशेषाधिकार का सिद्धांत, जो लंबे समय से प्रचारित किया गया है लेकिन शायद ही कभी अभ्यास किया जाता है, एआई जूनियर डेवलपर के साथ अनिवार्य हो जाता है जो दैनिक रूप से संभावित रूप से दुर्भाग्यपूर्ण इनपुट को संसाधित करता है।
हमारे सामने चुनौती
सॉफ़्टवेयर विकास में एआई का एकीकरण अपरिहार्य है और बड़े पैमाने पर लाभकारी है। गिटहब रिपोर्ट करता है कि कोपिलॉट का उपयोग करने वाले डेवलपर 55% तेजी से कार्य पूरा करते हैं। उत्पादकता लाभ वास्तविक हैं, और कोई भी संगठन जो प्रतिस्पर्धी बने रहना चाहता है उन्हें अनदेखा नहीं कर सकता है।
लेकिन हम एक क्रॉसरोड पर खड़े हैं। हम वर्तमान मार्ग पर जारी रख सकते हैं और अधिक गार्डरेल जोड़ सकते हैं, बेहतर फिल्टर बना सकते हैं, आशा कर सकते हैं कि हम एआई एजेंट बना सकते हैं जो धोखा नहीं खा सकते हैं। या हम मूलभूत प्रकृति के खतरे को स्वीकार कर सकते हैं और अपनी सुरक्षा वास्तुकला के अनुसार पुनर्निर्माण कर सकते हैं।
सैमसंग की घटना एक चेतावनी थी। अगला उल्लंघन दुर्घटना नहीं होगा, और यह एक कंपनी तक सीमित नहीं होगा। जैसे ही एआई एजेंट अधिक क्षमता प्राप्त करते हैं और अधिक प्रणालियों तक पहुंचते हैं, संभावित प्रभाव अक्षरशः बढ़ जाता है।
हर सीआईएसओ, हर इंजीनियरिंग नेता और हर डेवलपर के लिए प्रश्न सरल है: जब आपके वातावरण में प्रॉम्प्ट इंजेक्शन सफल होता है (और यह होगा), तो हमलावर क्या पाएगा? क्या वे लंबे समय से चली आ रही प्रमाणीकरण का खजाना खोजेंगे, या क्या वे एक एआई एजेंट पाएंगे जिसे समझौता किया गया है, फिर भी इसके पास चोरी करने के लिए कोई रहस्य नहीं है?
हमारे द्वारा अब बनाया गया चयन यह निर्धारित करेगा कि क्या एआई सॉफ़्टवेयर विकास का सबसे बड़ा त्वरण होगा या सबसे बड़ा दोष जो हमने कभी बनाया है। सुरक्षित, रहस्य रहित एआई प्रणालियों को बनाने के लिए प्रौद्योगिकी आज मौजूद है। प्रश्न यह है कि क्या हम इसे हमलावरों को हमें मजबूर करने से पहले लागू करेंगे।
ओवासप ने पहले ही प्रॉम्प्ट इंजेक्शन को एलएलएम अनुप्रयोगों के लिए शीर्ष 10 जोखिम में #1 के रूप में पहचाना है। एनआईएसटी शून्य विश्वास वास्तुकला पर मार्गदर्शन विकसित कर रहा है। फ्रेमवर्क मौजूद हैं। एकमात्र प्रश्न कार्यान्वयन गति बनाम हमले विकास है।
बायो: रेफेल एंजेल एक्यलेस के सह-संस्थापक और सीटीओ हैं, जहां उन्होंने कंपनी की पेटेंटेड ज़ीरो-ट्रस्ट एन्क्रिप्शन प्रौद्योगिकी विकसित की। एक अनुभवी सॉफ्टवेयर इंजीनियर जो क्रिप्टोग्राफी और क्लाउड सुरक्षा में गहरा ज्ञान रखता है, रेफेल ने पहले इंटुइट के आरएंडडी केंद्र में एक वरिष्ठ सॉफ्टवेयर इंजीनियर के रूप में काम किया, जहां उन्होंने सार्वजनिक क्लाउड वातावरण में एन्क्रिप्शन कुंजी प्रबंधन के लिए प्रणाली बनाईं और मशीन प्रमाणीकरण सेवाओं को डिज़ाइन किया। उन्होंने 19 वर्ष की आयु में जेरूसलम प्रौद्योगिकी कॉलेज से कंप्यूटर विज्ञान में बीएससी प्राप्त किया।
