विचार नेता

जहां एआई सुरक्षा मानक रुक जाते हैं — और रनटाइम सुरक्षा शुरू होनी चाहिए

mm
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें

एआई सुरक्षा जोखिमों के बारे में सभी चर्चाओं के साथ, एक मुद्दा ऐसा लगता है कि नजरअंदाज किया जा रहा है: यह तथ्य कि एआई सिस्टम केवल अपने सबसे मूल्यवान संपत्तियों — मॉडल और डेटा — को उजागर करके काम करते हैं।

पारंपरिक सॉफ़्टवेयर के विपरीत, एआई पूर्वनिर्धारित तर्क को निष्पादित नहीं करता है। यह लगातार प्रोप्राइटरी मॉडल को संवेदनशील इनपुट के साथ मिलाता है और आउटपुट उत्पन्न करता है, अक्सर ऐसे बुनियादी ढांचे पर जो गणना की रक्षा के लिए डिज़ाइन नहीं किया गया है।

इस तरह, पारंपरिक सुरक्षा कम पड़ जाती है। जब डेटा संग्रहीत किया जाता है या नेटवर्क पर प्रसारित किया जाता है, तो एन्क्रिप्शन प्रभावी होता है, लेकिन जब डेटा संसाधित किया जाता है या परिचालित किया जाता है, तो नहीं। एआई के लिए विशेष रूप से, खतरा तब उत्पन्न होता है जब एक मॉडल तैनात किया जाता है। इसके पैरामीटर मेमोरी में लोड किए जाते हैं, आरंभीकृत किए जाते हैं और बड़े पैमाने पर निष्पादित किए जाते हैं — बिंदु जहां एन्क्रिप्शन बंद हो जाता है — इसे संभावित अनधिकृत पहुंच के लिए उजागर करता है। अनुमान के दौरान, संवेदनशील डेटा उसी उजागर स्थान से होकर गुजरता है। परिणाम एक अत्यधिक कमजोर जोखिम सतह है: एआई सिस्टम जो सुरक्षित दिखाई दे सकते हैं — लेकिन वास्तव में सबसे महत्वपूर्ण क्षणों में असुरक्षित हैं।

मानक निकाय जैसे कि नेशनल इंस्टीट्यूट ऑफ स्टैंडर्ड्स एंड टेक्नोलॉजी (एनआईएसटी), यूरोपीय संघ एजेंसी फॉर साइबर सुरक्षा (पूर्व में यूरोपीय नेटवर्क और सूचना सुरक्षा एजेंसी, या ईएनआईएसए के रूप में जाना जाता था), और ओपन वेब एप्लिकेशन सुरक्षा परियोजना (ओडब्ल्यूएएसपी) ने इस क्षेत्र को चार्ट करना शुरू कर दिया है। वे जोखिमों का वर्णन करते हैं, कमजोरियों को नाम देते हैं, और शासन सिद्धांतों को रेखांकित करते हैं। लेकिन वे यह निर्धारित करने से रुक जाते हैं कि निष्पादन शुरू होने के बाद बौद्धिक संपदा के रूप में मॉडल और गोपनीय संपत्ति के रूप में डेटा की रक्षा कैसे की जाए। इस अंतर को बंद करने के लिए एआई सुरक्षा को फिर से सोचने की आवश्यकता है — न कि एक अनुपालन अभ्यास के रूप में, बल्कि गणना स्वयं की एक समस्या के रूप में। यह वह जगह है जहां एन्क्रिप्शन-इन-यूज़, या एंड-टू-एंड एन्क्रिप्शन, एक भूमिका निभाता है।

आधुनिक एआई सुरक्षा में अंधा धब्बा

अधिकांश एआई सुरक्षा वार्ताएं अभी भी परिचित क्षेत्र पर घूमती हैं: प्रशिक्षण डेटा शासन, पहुंच नियंत्रण, एपीआई निगरानी, और जिम्मेदार उपयोगकर्ता नीतियां। ये आवश्यक हैं। हालांकि, उनमें से कोई भी यह नहीं संबोधित करता है कि तैनाती के बाद क्या होता है, जब एक मॉडल रिपॉजिटरी से बाहर निकलता है और एक जीवित प्रणाली बन जाता है।

एक बार तैनात होने के बाद, एक मॉडल के पैरामीटर अब अमूर्त कलाकृतियां नहीं हैं। वे जीवित, मेमोरी-निवास संपत्तियां हैं, जो लगातार अनुमान के दौरान पहुंची जाती हैं और अक्सर साझा की गई एआई सेवाओं के माध्यम से कई किरायेदारों या ग्राहकों द्वारा उपयोग की जाती हैं। यह उजागर तब होता है जब कोई भी अनुमान अनुरोध किया जाता है, जिससे जोखिम को संवेदनशील इनपुट और बाहरी रूप से दिखाई देने वाले व्यवहार को पेश करके जोखिम को बढ़ा दिया जाता है।

मॉडल सुरक्षा को एक पूर्व-तैनाती चिंता के रूप में और अनुमान सुरक्षा को एक रनटाइम चिंता के रूप में मानना बिंदु को याद करता है। वास्तविक प्रणालियों में, ये जोखिम ओवरलैप करते हैं। मॉडल और डेटा आरंभीकरण, निष्पादन, और आउटपुट के माध्यम से उजागर होते हैं। सुरक्षा जो भंडारण नियंत्रणों के साथ शुरू और समाप्त होती है इन उजागर को संबोधित करने में विफल रहती है।

एनआईएसटी क्या सही है — और जहां यह रुक जाता है

एनआईएसटी एआई जोखिम प्रबंधन फ्रेमवर्क उन संगठनों के लिए एक आधार बन गया है जो एआई जोखिम का प्रबंधन करने का प्रयास कर रहे हैं। इसकी संरचना — शासन, मानचित्र, माप, प्रबंधन — एआई जीवन चक्र में जिम्मेदारी, संदर्भ, प्रभाव, और शमन के बारे में सोचने के लिए एक अनुशासित तरीका प्रदान करती है।

एनआईएसटी विशेष रूप से यह अच्छा करता है कि एआई जोखिम को एक प्रणालीगत समस्या के रूप में फ्रेम करता है, न कि एक दुर्घटना के रूप में। एआई विफलताएं शायद ही कभी एकल-बिंदु घटनाएं होती हैं; वे मॉडल, डेटा, लोगों, और बुनियादी ढांचे के बीच परस्पर क्रिया से उत्पन्न होती हैं। यह फ्रेमिंग आवश्यक है।

जहां फ्रेमवर्क कम पड़ जाता है वह यह है कि यह निर्धारित नहीं करता है कि उच्च-मूल्य वाले एआई संपत्तियों की रक्षा कैसे की जाए जब प्रणालियां लाइव होती हैं। मॉडल पैरामीटर को डिज़ाइन-समय कलाकृतियों के रूप में निर्धारित किया जाता है, न कि रनटाइम संपत्तियों के रूप में। निष्पादन वातावरण को पर्याप्त रूप से विश्वसनीय माना जाता है।

व्यवहार में, मॉडल पैरामीटर अक्सर एक संगठन की सबसे मूल्यवान बौद्धिक संपदा होते हैं। वे मेमोरी में लोड किए जाते हैं, नोड्स के पार कॉपी किए जाते हैं, कैश किए जाते हैं, और पुन: उपयोग किए जाते हैं। यदि एआई जोखिम प्रबंधन मॉडल की गोपनीयता के लिए खाता नहीं देता है तैनाती और निष्पादन के दौरान, एक महत्वपूर्ण संपत्ति जोखिम सीमा से बाहर रहती है, जैसे कि एक बैठा हुआ बत्तख।

ईएनआईएसए और एआई-विशिष्ट खतरों की वास्तविकता

ईएनआईएसए का एआई साइबर सुरक्षा पर काम बातचीत को आगे बढ़ाता है। इसका बहुस्तरीय फ्रेमवर्क पारंपरिक बुनियादी ढांचे की सुरक्षा और एआई-विशिष्ट जोखिमों के बीच अंतर करता है, स्वीकार करता है कि एआई सिस्टम पारंपरिक सॉफ़्टवेयर की तुलना में अलग व्यवहार करते हैं — और अलग तरह से विफल होते हैं।

यह महत्वपूर्ण क्यों है? एआई ऐसे खतरे पेश करता है जो मौजूदा नियंत्रणों में अच्छी तरह से फिट नहीं होते हैं: मॉडल निष्कर्षण, पैरामीटर रिसाव, सह-किरायेदारी उजागर, और निष्पादन के दौरान छेड़छाड़। ये जोखिमों को विदेशी हमलावरों की आवश्यकता नहीं होती है। वे तब प्राकृतिक रूप से उत्पन्न होते हैं जब उच्च-मूल्य वाले मॉडल साझा या बाहरी रूप से प्रबंधित वातावरण में चलते हैं।

ईएनआईएसए के फ्रेमवर्क में यह स्वीकार किया जाता है कि एआई को सुरक्षित करने का अर्थ है व्यवहार को सुरक्षित करना, न कि केवल कोड। लेकिन जैसे अधिकांश मानक, यह यह नहीं बताता है कि मॉडल चलने के बाद सुरक्षा कैसे लागू की जाती है।

ओडब्ल्यूएएसपी और दृश्यमान बुद्धिमत्ता की लागत

ओडब्ल्यूएएसपी के लार्ज लैंग्वेज मॉडल एप्लिकेशन के लिए शीर्ष 10 वास्तविक दुनिया में एआई सिस्टम के टूटने का एक अधिक ठोस दृश्य प्रदान करता है। प्रॉम्प्ट इंजेक्शन, संवेदनशील जानकारी प्रकटीकरण, एम्बेडिंग रिसाव, अत्यधिक आउटपुट पारदर्शिता — ये सैद्धांतिक चिंताएं नहीं हैं। वे शक्तिशाली मॉडल को प्रतिबंधित किए बिना तैनात करने के परिणाम हैं।

इन मुद्दों को अक्सर अनुप्रयोग-स्तर की समस्याओं के रूप में फ्रेम किया जाता है, लेकिन उनके परिणाम गहरे हैं। मॉडल व्यवहार की बार-बार उजागर करने से प्रभावी क्लोनिंग हो सकती है; खराब अलग एम्बेडिंग संरचना का खुलासा कर सकती है; और अनुमान दुरुपयोग मॉडल प्रतिलिपि के लिए एक मार्ग बन जाता है।

ओडब्ल्यूएएसपी की टैक्सोनॉमी एक बात स्पष्ट करती है: एआई की रक्षा करना केवल खराब इनपुट को रोकने के बारे में नहीं है। यह मॉडल को सीमित करने के बारे में है — आंतरिक और बाहरी रूप से — जब वे संचालित होते हैं।

एक साझा निष्कर्ष, एक अधूरा काम

एनआईएसटी, ईएनआईएसए, और ओडब्ल्यूएएसपी के माध्यम से, मूल बातों पर व्यापक सहमति है:

  • एआई जोखिम जीवन चक्र में फैला हुआ है
  • एआई सिस्टम नए खतरे श्रेणियां पेश करते हैं
  • मॉडल और डेटा उच्च-मूल्य वाली संपत्तियां हैं
  • रनटाइम उजागर करना अपरिहार्य है

हालांकि, इन फ्रेमवर्क में जो कमी है, वह यह है कि मॉडल तैनात किए जाने के बाद और गणना शुरू होने के बाद गोपनीयता को लागू करने के लिए एक तंत्र की कमी है। यह कमी एक दोष नहीं है, क्योंकि मानक इरादा और दायरा परिभाषित करते हैं। कार्यान्वयन आमतौर पर सिस्टम डिज़ाइनर को छोड़ दिया जाता है।

लेकिन वे एक महत्वपूर्ण अंतर छोड़ते हैं — जो एआई सिस्टम के पैमाने के रूप में व्यापक होता जाता है।

एन्क्रिप्शन-इन-यूज़ समीकरण को बदलता है

एन्क्रिप्शन-इन-यूज़ सुरक्षा मॉडल को बदल देता है। इसके बजाय यह मान लेना कि डेटा और मॉडल को उपयोगी होने के लिए उजागर किया जाना चाहिए, यह गणना को कुछ ऐसा मानता है जिसे सुरक्षित किया जा सकता है।

व्यावहारिक रूप से, इसका अर्थ है:

  • मॉडल तैनाती, आरंभीकरण, और निष्पादन के दौरान एन्क्रिप्टेड रहते हैं
  • इनपुट निष्पादन वातावरण में प्लेनटेक्स्ट में कभी दिखाई नहीं देते हैं
  • मध्यवर्ती राज्यों का निरीक्षण या संशोधन नहीं किया जा सकता है
  • बुनियादी ढांचे को अबImplicit रूप से विश्वसनीय नहीं माना जाता है

यह शासन फ्रेमवर्क या अनुप्रयोग-स्तरीय नियंत्रणों की जगह नहीं लेता है — यह उन्हें संचालित करता है। यह जोखिम सिद्धांतों को जब एआई सिस्टम सबसे अधिक कमजोर होते हैं तो लागू करने योग्य गारंटी में बदल देता है।

दूसरे शब्दों में, एन्क्रिप्शन-इन-यूज़ एआई नीति और एआई वास्तविकता के बीच लापता परत है।

जब शासन समाप्त होता है और निष्पादन शुरू होता है: एआई गणना को सुरक्षित करना

एआई सुरक्षा रनटाइम पर टूट जाती है। एक बार तैनात होने के बाद, एआई मॉडल और संवेदनशील डेटा को कार्य करने के लिए मेमोरी में उजागर किया जाना चाहिए, जिससे एक जोखिम सतह बनती है जिसकी रक्षा के लिए पारंपरिक नियंत्रण — विश्राम में एन्क्रिप्शन, संचरण में एन्क्रिप्शन, और शासन फ्रेमवर्क — डिज़ाइन नहीं किए गए थे।

मानक निकाय जैसे कि एनआईएसटी, ईएनआईएसए, और ओडब्ल्यूएएसपी ने एआई जोखिम, जिम्मेदारी, और दुरुपयोग को परिभाषित करने में महत्वपूर्ण प्रगति की है। लेकिन उनकी मार्गदर्शिका मुख्य रूप से मॉडल को डिज़ाइन-समय कलाकृतियों के रूप में मानती है और यह मान लेती है कि निष्पादन वातावरण पर विश्वास किया जा सकता है। व्यवहार में, मॉडल पैरामीटर और संवेदनशील इनपुट लगातार पहुंचाए जाते हैं, पुन: उपयोग किए जाते हैं, और अक्सर साझा या बाहरी रूप से प्रबंधित वातावरण में संसाधित किए जाते हैं।

इस अंतर को बंद करने के लिए एआई सुरक्षा को फिर से सोचने की आवश्यकता है — न कि एक अनुपालन अभ्यास के रूप में, बल्कि गणना स्वयं की एक समस्या के रूप में। एन्क्रिप्शन-इन-यूज़ एआई मॉडल और संवेदनशील इनपुट को एआई जीवन चक्र के हर चरण में सुरक्षित रखने का एक व्यवहार्य तरीका प्रदान करता है।

लुइगी कारामिको, डेटा सुरक्षा उद्योग में एक अनुभवी, दो दशकों से अधिक समय से साइबर सुरक्षा नवाचार के अग्रिम पंक्ति में रहे हैं। डेटाक्रिप्टो के सह-संस्थापक और सीटीओ के रूप में, कारामिको पूर्ण रूप से होमोमोर्फिक एन्क्रिप्शन (एफएचई) तकनीक के साथ डेटा सुरक्षा का एक नया युग पioneering कर रहे हैं, जो एआई के युग में संगठनों द्वारा अपनी सबसे संवेदनशील जानकारी की सुरक्षा के तरीके को क्रांतिकारी बनाने का वादा करता है।