बुद्धिमत्ता से अधिकार तक

कृत्रिम बुद्धिमत्ता अब केवल सवालों के जवाब देने और सामग्री तैयार करने तक सीमित नहीं है। एआई प्रणालियाँ अब तेजी से निर्देशों को समझने, योजनाएँ बनाने, उपकरण चुनने और लगातार मानवीय मार्गदर्शन के बिना कार्य पूरे करने में सक्षम हो रही हैं।

यह अंतर महत्त्वपूर्ण है।

कार्रवाई की सिफारिश करने वाली एआई प्रणाली और उसे अंजाम देने के लिए अधिकृत प्रणाली में फर्क होता है। यह फर्क जरूरी नहीं कि बुद्धिमत्ता या परिष्कार का हो। यह अधिकार का फर्क है।

स्वायत्त प्रणालियाँ केवल अत्याधुनिक बड़े भाषा मॉडल तक सीमित नहीं हैं। इनमें विशिष्ट मशीन-लर्निंग प्रणालियाँ, रोबोटिक्स, स्वायत्त वाहन, सॉफ़्टवेयर एजेंट और ऐसी तकनीकों के मेल शामिल हैं, जो निर्धारित परिचालन स्थितियों में स्वतंत्र रूप से निर्णय लेते हैं या कार्रवाई करते हैं।

इनसे मिलने वाले संभावित लाभ काफी बड़े हैं। ये वैज्ञानिक खोज, औद्योगिक कार्यों, स्वास्थ्य सेवा, सॉफ़्टवेयर विकास और साइबर सुरक्षा में मदद कर सकती हैं। ये अनपेक्षित परिणाम भी पैदा कर सकती हैं, संवेदनशील जानकारी उजागर कर सकती हैं या अपने संचालकों की मंशा से परे जाकर कार्रवाई शुरू कर सकती हैं।

स्वायत्त प्रणालियों के डिज़ाइन में सुरक्षा चुनौतियाँ में मोहम्मद हमद और सेबास्टियन स्टाइनहॉर्स्ट स्वायत्त घटना-प्रतिक्रिया, जोखिम आकलन, पहुँच नियंत्रण, डेटा की विश्वसनीयता और स्वायत्त प्रणालियों के बीच परस्पर क्रिया से जुड़ी सुरक्षा चुनौतियों का विश्लेषण करते हैं। उनका शोध—जिसका बड़ा हिस्सा साइबर-भौतिक प्रणालियों से संबंधित है—दिखाता है कि मशीनों की स्वतंत्र कार्रवाई को सुरक्षित रखने की चुनौतियाँ आज के एलएलएम एजेंटों से कहीं आगे तक जाती हैं।

स्वायत्तता के व्यापक परिणामों की गंभीरता से पड़ताल होनी चाहिए, जिनमें शारीरिक नुकसान की आशंका भी शामिल है। लेकिन साक्ष्यों की व्याख्या सावधानी से की जानी चाहिए। उदाहरण के लिए, स्वचालित वाहनों से जुड़ी घटनाओं को अपने-आप उन्हीं तंत्रों का परिणाम नहीं माना जा सकता जो स्वायत्त साइबर सुरक्षा एजेंटों को प्रभावित करते हैं। स्वायत्तता का स्तर, परिचालन स्थितियाँ, मानवीय भागीदारी और कारणों से जुड़े साक्ष्य—सभी महत्त्वपूर्ण हैं।

इसी तरह, यह प्रमाण कि स्वायत्त एआई नुकसान पहुँचा सकता है, यह साबित नहीं करता कि शासन-व्यवस्था अनिवार्य रूप से पीछे रह रही है। न ही हमें यह मान लेना चाहिए कि स्वायत्त प्रणालियों को सुरक्षित रखना स्वभावतः कठिन है।

मुख्य सवाल यह नहीं है कि एआई जटिल काम कर सकता है या नहीं, बल्कि यह है कि स्वायत्त प्रणालियों को संचालित करने वाले वास्तुशिल्पीय, सुरक्षा और संगठनात्मक ढाँचे सौंपे गए अधिकारों के लिए उचित सीमाएँ तय कर सकते हैं या नहीं, और यह सत्यापित करने योग्य प्रमाण दे सकते हैं या नहीं कि उन सीमाओं का पालन किया जा रहा है।

इस सवाल को समझने के लिए साइबर सुरक्षा विशेष रूप से उपयोगी दृष्टिकोण देती है, क्योंकि सुरक्षा विशेषज्ञ दशकों से भरोसे, अनुमतियों, पहुँच और प्रणालियों के व्यवहार से जुड़ी धारणाओं को चुनौती देते आए हैं।

मशीन की गति से चलता चूहे-बिल्ली का खेल

साइबर सुरक्षा को लंबे समय से चूहे-बिल्ली का खेल बताया जाता रहा है।

हमलावर कमज़ोरियाँ ढूँढ़ते हैं, बचावकर्ता सुरक्षा उपाय लागू करते हैं और दोनों अपना तरीका बदलते रहते हैं। तकनीकें, रणनीतियाँ और परिचालन परिवेश बदलते रहते हैं, इसलिए यह चक्र भी चलता रहता है।

स्वायत्त एआई इस खेल के बुनियादी नियमों को जरूरी नहीं कि बदल दे। इससे यह बदल सकता है कि खेल कौन—या क्या—खेल रहा है, वे कितनी तेजी से कार्रवाई करते हैं और लगातार मानवीय हस्तक्षेप के बिना कितना काम आगे बढ़ सकता है।

आक्रामक सुरक्षा के लिए बनी कोई स्वायत्त प्रणाली उजागर सेवाओं की पहचान कर सकती है, कमज़ोरियों की जाँच कर सकती है, हमले के संभावित रास्ते तैयार कर सकती है और परख सकती है कि उन रास्तों का दुरुपयोग किया जा सकता है या नहीं। कोई रक्षात्मक प्रणाली खतरों की जाँच करने, कमज़ोरियों की पहचान करने और सुधारों की पुष्टि करने के लिए ऐसी ही क्षमताओं का इस्तेमाल कर सकती है।

सुरक्षा पर स्वायत्त एआई के प्रभाव को समझने के लिए इसका दोहरे उपयोग की क्षमता वाला पहलू केंद्रीय महत्त्व रखता है।

Anthropic का Project Glasswing, एआई की मदद से कमज़ोरियों का पता लगाने का एक उदाहरण है। अपनी मई 2026 की शोध-संबंधी जानकारी में Anthropic ने कमज़ोरियों का पता लगाने में उल्लेखनीय परिणामों की जानकारी दी, साथ ही सत्यापन, खुलासा और पैच लगाने से जुड़ी परिचालन चुनौतियों पर भी ज़ोर दिया।

यह अंतर महत्त्वपूर्ण है। किसी कमज़ोरी का पता लगाना, उसके शोषण की संभावना की पुष्टि करने, उसे ठीक करने या यह साबित करने के समान नहीं है कि प्रभावित प्रणाली सुरक्षित है।

अधिक निष्कर्षों से स्थिति की बेहतर जानकारी मिल सकती है, लेकिन साथ ही उन्हें हल करने के लिए ज़िम्मेदार लोगों और प्रक्रियाओं पर काम का बोझ भी बढ़ सकता है।

सुरक्षा का नतीजा इस बात पर निर्भर करता है कि इसके बाद क्या होता है।

अगर हमलावर और बचावकर्ता अपने काम के कुछ हिस्सों को स्वचालित कर सकते हैं, तो सवाल सिर्फ यह नहीं है कि किस पक्ष के पास सबसे सक्षम मॉडल है। अहम यह है कि क्या बचावकर्ता किसी कमज़ोरी का पता चलने के बाद उसे प्रभावी ढंग से ठीक कर सकते हैं और नतीजों की स्वतंत्र रूप से पुष्टि कर सकते हैं।

एआई के आक्रामक कार्य कर सकने से पारंपरिक पैठ-परीक्षण अप्रासंगिक नहीं हो जाता। इसके दायरे में अब ऐसी प्रणालियाँ भी शामिल होनी चाहिए जो निर्देशों को समझती हैं, उपकरणों का इस्तेमाल करती हैं, अलग-अलग अनुमतियों को जोड़ती हैं और कई चरणों में उद्देश्यों को पूरा करने का प्रयास करती हैं।

उद्देश्य अब भी परिचित है: कमज़ोरियाँ ढूँढ़ना, उनका महत्त्व समझना, उन्हें ठीक करना और यह साबित करना कि सुरक्षा उपाय कारगर हैं।

वास्तुशिल्पीय जोड़: जहाँ सुरक्षा सीमाएँ मिलती हैं

स्वायत्त प्रणालियों में अधिक सूक्ष्म जोखिमों में से एक तब पैदा होता है, जब अलग-अलग अधिकृत घटक इस तरह परस्पर क्रिया करते हैं कि अनचाहे परिणाम सामने आते हैं।

मैं इन परस्पर क्रिया के बिंदुओं को आर्किटेक्चरल जोड़ कहता हूँ।

एक सामान्य उदाहरण पर गौर करें। कोई संगठन NTFS अनुमतियों का उपयोग करके किसी फ़ाइल तक पहुँच सीमित करता है। एक अलग क्लाउड-शेयरिंग सेवा किसी अधिकृत उपयोगकर्ता को वह जानकारी बाहरी लोगों के साथ साझा करने देती है।

हर प्रणाली अपने नियमों के अनुसार काम कर सकती है। फिर भी, उनके बीच की परस्पर क्रिया से जानकारी साझा करने का ऐसा परिणाम सामने आ सकता है, जो संगठन की निर्धारित सुरक्षा-सीमा का उल्लंघन करे।

यह संभावित रूप से परस्पर विरोधी नीतियों का उदाहरण है, न कि यह दावा कि फ़ाइल साझा करने वाला कोई उत्पाद असुरक्षित है।

समस्या किसी एक नियंत्रण में अलग से मौजूद दोष नहीं भी हो सकती है। यह पूरे कार्यप्रवाह में निर्धारित सुरक्षा नीति लागू करने में विफलता हो सकती है।

मॉडल, अनुप्रयोगों, पहचान-प्रणालियों, टूलों, रिपॉज़िटरी और बाहरी सेवाओं को जोड़ते समय स्वायत्त एआई के सामने भी ऐसी ही स्थितियाँ आ सकती हैं।

किसी एजेंट को दस्तावेज़ पढ़ने, रिपॉज़िटरी बनाने और फ़ाइलें अपलोड करने की अनुमति हो सकती है। लेकिन इसका यह अर्थ ज़रूरी नहीं कि उसे इन कार्रवाइयों को इस तरह जोड़ने का अधिकार भी हो कि गोपनीय जानकारी उजागर हो जाए।

अनुसंधान इन परस्पर क्रियाओं की जाँच करने का एक व्यावहारिक कारण देता है।

AgentDojo में शोधकर्ताओं ने 97 वास्तविक परिस्थितियों पर आधारित कार्यों और 629 सुरक्षा परीक्षण मामलों में टूल का उपयोग करने वाले एआई एजेंटों के विरुद्ध प्रॉम्प्ट-इंजेक्शन हमलों का मूल्यांकन किया। उनके निष्कर्षों से पता चला कि अविश्वसनीय टूल आउटपुट के ज़रिए डाले गए दुर्भावनापूर्ण निर्देश सुरक्षा के कुछ गुणों को भंग कर सकते हैं, हालाँकि सभी हमले सफल नहीं हुए और सभी एजेंट एक ही तरह से प्रभावित नहीं हुए।

यह शोध यह स्थापित नहीं करता कि उत्पादन परिवेशों में ये हमले कितनी बार सफल होते हैं। लेकिन यह दिखाता है कि टूल से जुड़ी किसी प्रणाली के व्यवहार को समझने के लिए केवल मॉडल की प्रतिक्रियाओं का मूल्यांकन करना पर्याप्त क्यों नहीं है।

इससे जुड़ा एक जोखिम कभी-कभी अनुमति-धुलाई कहलाता है: कोई कार्रवाई अधिकृत टूल या मध्यस्थ के ज़रिए होने के कारण वैध दिखाई देती है, जबकि समग्र व्यवहार निर्धारित अधिकार-सीमा का उल्लंघन करता है।

जब कई एजेंट मिलकर काम करते हैं, तो उनकी भागीदारी, जानकारी के आदान-प्रदान और अनुमत कार्रवाइयों को नियंत्रित करने के लिए स्पष्ट नियमों की ज़रूरत होती है।

आर्किटेक्चर में ज़िम्मेदारियाँ भी तय की जानी चाहिए।

मॉडल प्रदाता, प्लेटफ़ॉर्म संचालक, एजेंट डेवलपर और उन्हें लागू करने वाले संगठन प्रणाली के अलग-अलग हिस्सों को नियंत्रित कर सकते हैं। ज़िम्मेदारी का एक उपयोगी साझा ढाँचा यह तय करता है कि हर सीमा को कौन नियंत्रित करता है, अपवादों की अनुमति कौन दे सकता है, क्रियान्वयन की निगरानी कौन करता है और कुछ गलत होने पर कार्रवाई कौन करता है।

स्वायत्तता से ज़िम्मेदारी समाप्त नहीं होती। इससे यह जानना और भी ज़रूरी हो जाता है कि ज़िम्मेदारी किसके पास है।

आक्रामक कठोरता: हम जो जानते हैं, उसकी जाँच

यहीं से उस अवधारणा की बात आती है जिसे मैं आक्रामक कठोरता कहता हूँ।

आक्रामक कठोरता प्रतिकूल परिस्थितियों में परीक्षण, आलोचनात्मक पड़ताल और साक्ष्य-आधारित सत्यापन का एक अनुशासित तरीका है, जो सुरक्षा संबंधी मान्यताओं को चुनौती देता है। यह केवल आर्किटेक्चरल डिज़ाइन, दर्ज नियंत्रणों या मानी गई सुरक्षा पर निर्भर रहने के बजाय वास्तविक परिस्थितियों में प्रणालियों के व्यवहार का मूल्यांकन करता है।

इसकी बुनियादी पद्धतियाँ पहले से स्थापित हैं। पैठ परीक्षण, खतरा मॉडलिंग, रेड टीमिंग और सुरक्षा सत्यापन लंबे समय से रक्षात्मक मान्यताओं को चुनौती देते आए हैं।

आक्रामक कठोरता इन पद्धतियों को एक केंद्रीय प्रश्न के इर्द-गिर्द जोड़ती है:

कौन-सा साक्ष्य यह दिखाता है कि निर्धारित सुरक्षा-सीमा कायम रहती है?

किसी संगठन के पास संवेदनशील जानकारी को सीमित करने वाली नीतियाँ, निषिद्ध अनुरोधों को अस्वीकार करने के लिए कॉन्फ़िगर किया गया मॉडल और सीमित अनुमतियों के साथ काम करने वाला एजेंट हो सकता है।

ये सार्थक सुरक्षा उपाय हैं। हालाँकि, केवल इनका मौजूद होना यह साबित नहीं करता कि पूरी प्रणाली प्रतिकूल परिस्थितियों में सुरक्षित ढंग से काम करती है।

कोई मॉडल दुर्भावनापूर्ण निर्देश को अस्वीकार कर सकता है, जबकि अधिकृत टूल फिर भी अनचाही कार्रवाई की अनुमति दे सकता है। कोई नीति सही दिखाई दे सकती है, जबकि प्रणालियों के बीच की परस्पर क्रिया उससे बच निकलने का अप्रत्याशित रास्ता बना दे।

मैं कभी-कभी इसे ‘सुरक्षा-जाल का भ्रम’ कहता हूँ: सुरक्षा-जाल की मौजूदगी को इस बात का प्रमाण मान लेना कि प्रणाली उस सीमा को पार नहीं कर सकती, जिसे लागू करने के लिए ये जाल बनाए गए थे।

सुरक्षा-जाल उपयोगी होते हैं। फिर भी, उनकी प्रभावशीलता साबित करना ज़रूरी है।

किसी ऐसे स्वायत्त एजेंट पर विचार करें, जिसे सुरक्षा में संभावित सेंध की जाँच करने का अधिकार दिया गया है। वह लॉग प्राप्त कर सकता है, उपयोगकर्ता की गतिविधियों की जाँच कर सकता है और खतरे को सीमित करने के उपाय सुझा सकता है।

अधिकृत सुरक्षा परीक्षण के दौरान, एक प्रतिकूल परीक्षक उस जानकारी में भ्रामक निर्देश डालता है, जिसे एजेंट से पढ़ने की अपेक्षा की जाती है।

परीक्षण केवल यह पता लगाने तक सीमित नहीं रहना चाहिए कि एजेंट ने उन निर्देशों का पालन किया या नहीं।

इसमें यह भी जाँचना चाहिए कि एजेंट ने अनधिकृत कार्रवाई करने की कोशिश की या नहीं, स्वतंत्र नियंत्रणों ने उसे अंजाम देने से रोका या नहीं, उस प्रयास का रिकॉर्ड रखा गया या नहीं और प्रणाली उचित ढंग से सामान्य स्थिति में लौटी या नहीं।

आक्रामक सुरक्षा-परीक्षण में कठोरता पाँच गतिविधियों को जोड़ती है:

1. मान्यता तय करें: उस सुरक्षा गुण की पहचान करें जिसे आर्किटेक्चर से लागू कराए जाने की अपेक्षा है।
2. मान्यता को चुनौती दें: वास्तविक हमले के रास्तों, हेरफेर किए गए इनपुट और वैध क्षमताओं के संयोजनों की जाँच करें।
3. साक्ष्य जुटाएँ: पता लगाएँ कि सिस्टम ने क्या करने की कोशिश की, क्या निष्पादित हुआ और कौन-से नियंत्रण सक्रिय हुए।
4. कमज़ोरी दूर करें: विफलता के लिए ज़िम्मेदार मॉडल, कार्यप्रवाह, अनुमतियों, आर्किटेक्चर या परिचालन प्रक्रिया को ठीक करें।
5. सुधार की पुष्टि करें: संबंधित हमले के रास्ते की दोबारा जाँच करें और पुष्टि करें कि अपेक्षित सुरक्षा गुण लागू है।

यही किसी मॉडल की प्रतिक्रिया की जाँच करने और पूरे सिस्टम की सुरक्षा परखने के बीच का अंतर है।

इसके लिए यह भी देखना ज़रूरी है कि शुरुआती पकड़ बनाने के बाद क्या होता है। कोई हमलावर किसी परिवेश में पहले से उपलब्ध क्षमताओं का दुरुपयोग करके क्रेडेंशियल जुटाने, विशेषाधिकार बढ़ाने, सिस्टम में अपनी मौजूदगी बनाए रखने या दूसरे सिस्टमों तक फैलने की कोशिश कर सकता है।

कोई टूल वैध है, इससे उसका हर इस्तेमाल वैध नहीं हो जाता।

आक्रामक सुरक्षा-परीक्षण में कठोरता का उद्देश्य यह मान लेना नहीं है कि स्वायत्त सिस्टम असुरक्षित हैं। इसका उद्देश्य परीक्षण के ज़रिए यह पता लगाना है कि उनकी सुरक्षा-सीमाएँ कहाँ तक कायम रहती हैं।

सशर्त स्वायत्तता: बुद्धिमत्ता और अधिकार के बीच अंतर

एक वास्तुशिल्पीय उपाय यह है कि एआई सिस्टम क्या कर सकता है और उसे क्या करने की अनुमति है, इन दोनों में अंतर रखा जाए।

मैं इस दृष्टिकोण को सशर्त स्वायत्तता कहता हूँ।

सशर्त स्वायत्तता इस बात को मान्यता देती है कि स्वतंत्रता का उपयुक्त स्तर कार्य, परिचालन परिवेश, संभावित परिणामों, अनिश्चितता और किसी कार्रवाई को उचित ठहराने के लिए उपलब्ध साक्ष्यों पर निर्भर करता है।

सार्वजनिक जानकारी का सारांश बनाने वाले एजेंट को अनिवार्य रूप से उतनी ही निगरानी की ज़रूरत नहीं होती जितनी खातों को निष्क्रिय करने, फ़ायरवॉल के नियम बदलने या प्रोडक्शन इंफ्रास्ट्रक्चर में बदलाव करने के लिए अधिकृत एजेंट को होती है।

दूसरे मामले में, स्पष्ट सहभागिता-नियमों, स्वतंत्र रूप से लागू अनुमतियों, अधिक मज़बूत प्राधिकरण और महत्वपूर्ण परिणाम वाली कार्रवाइयों के लिए मानवीय मंज़ूरी की ज़रूरत हो सकती है।

ये सीमाएँ सिर्फ़ इसलिए नहीं बढ़नी चाहिए कि एजेंट तय करे कि अपना उद्देश्य पूरा करने के लिए उसे अधिक व्यापक पहुँच से मदद मिलेगी।

एजेंट किसी अधिकृत कार्य को करने का तरीका बदलकर सोच सकता है, लेकिन इससे उसे अतिरिक्त अधिकार नहीं मिलते।

LLM अनुप्रयोगों के लिए OWASP के शीर्ष 10 में इस मुद्दे को LLM06:2025: अत्यधिक एजेंसी श्रेणी के तहत संबोधित किया गया है। OWASP अत्यधिक कार्यक्षमता, अनुमतियों और स्वायत्तता को जोखिम के स्रोत मानता है और क्षमताओं को सीमित करने तथा प्राधिकरण को स्वतंत्र रूप से लागू करने की सिफ़ारिश करता है।

सशर्त स्वायत्तता इन सिद्धांतों को परिचालन जोखिम के अनुसार लागू करती है।

जानकारी तक पहुँच उतनी ही सीमित होनी चाहिए जितनी किसी कार्य के लिए आवश्यक है। टूल की अनुमतियाँ स्वीकृत कार्रवाइयों तक सीमित होनी चाहिए। कार्रवाई की सीमा, दर-सीमाएँ, मंज़ूरी की ज़रूरतें और रुकने की शर्तें निष्पादन को सीमित कर सकती हैं।

स्वायत्त आक्रामक परीक्षण में ये सुरक्षा उपाय विशेष रूप से महत्वपूर्ण हैं।

अधिकृत उद्देश्य पूरा करने की कोशिश में कोई परीक्षण एजेंट वैध रूप से क्रेडेंशियल या संवेदनशील जानकारी खोज सकता है। लेकिन क्रेडेंशियल मिल जाने का यह अर्थ नहीं है कि मॉडल को उसका सादा-पाठ मान देना भी ज़रूरी है।

सुरक्षा-ढाँचा संवेदनशील क्रेडेंशियल को मॉडल से अलग रख सकता है और स्वतंत्र रूप से लागू प्राधिकरण के ज़रिए उनके इस्तेमाल को नियंत्रित कर सकता है। उदाहरण के लिए, क्रेडेंशियल ब्रोकर किसी स्वीकृत सेवा को सीधे सीक्रेट दे सकता है, ताकि उसे अनावश्यक रूप से मॉडल के सामने उजागर न करना पड़े।

यह न्यूनतम विशेषाधिकार और ज़िम्मेदारियों के पृथक्करण के स्थापित सिद्धांतों पर लागू होता है।

इससे अपना मॉडल स्वयं लाएँ (BYOM) या अपना LLM स्वयं लाएँ (BYO-LLM) आर्किटेक्चर को लेकर एक दिलचस्प सवाल भी उठता है।

अगर मूल मॉडल को कल बदल दिया जाए, तो सुरक्षा की कौन-सी गारंटियाँ बरकरार रहेंगी?

कार्य का प्राधिकरण, क्रेडेंशियल का पृथक्करण, दायरे की पाबंदियाँ, लॉगिंग और नीतियों का प्रवर्तन आसपास के सुरक्षा-ढाँचे में हो सकते हैं; इनके लिए पूरी तरह मॉडल के व्यवहार पर निर्भर रहना ज़रूरी नहीं।

इसका यह मतलब नहीं कि सुरक्षा-ढाँचा अपने-आप सुरक्षित है या अलग-अलग मॉडल एक-दूसरे की जगह इस्तेमाल किए जा सकते हैं। अलग-अलग मॉडल निर्देशों की अलग तरह से व्याख्या कर सकते हैं, टूल का अलग तरह से इस्तेमाल कर सकते हैं और विफलता के अलग-अलग तरीके पैदा कर सकते हैं।

सार्थक मूल्यांकन में उन नियंत्रणों की जाँच होनी चाहिए जिन्हें अपरिवर्तित रहना है, साथ ही उन व्यवहारों की भी जो मॉडल बदलने पर बदलते हैं।

शायद कुछ सबसे टिकाऊ सुरक्षा गुण वे हैं जिन्हें बुद्धिमत्ता वाला घटक विकसित होने पर भी स्वतंत्र रूप से लागू किया जा सकता है।

जब एआई, एआई पर कार्रवाई करता है: सत्यापन की चुनौती

सुरक्षा संचालन के एक काल्पनिक कार्यप्रवाह पर विचार करें:

इस घटना की जाँच करें, साक्ष्य जुटाएँ, प्रभावित पहचानें पता करें, रोकथाम के उपाय सुझाएँ, स्वीकृत कार्रवाइयाँ लागू करें और परिणाम की पुष्टि करें।

एक जाँच एजेंट टेलीमेट्री का विश्लेषण करता है। दूसरा एजेंट खतरे को सीमित करने के उपाय सुझाता है। अधिकृत निष्पादन एजेंट बदलाव करता है। सत्यापन एजेंट परिणाम का मूल्यांकन करता है।

यह बंद-लूप वाली स्वायत्त घटना-प्रतिक्रिया का उदाहरण है, न कि पूरे उद्योग में हुई किसी दर्ज विफलता का।

मान लीजिए कि पहला एजेंट गलती से किसी पहचान को हैक की गई पहचान मान लेता है। दूसरा एजेंट इस निष्कर्ष को स्वीकार करके उस खाते को निष्क्रिय कर देता है। तीसरा एजेंट पुष्टि करता है कि खाता निष्क्रिय कर दिया गया है और सफलता की सूचना देता है।

चुनी गई कार्रवाई पूरी कर दी गई।

लेकिन क्या शुरुआती निष्कर्ष सही था? क्या कार्रवाई की अनुमति थी? क्या खतरे को सीमित करने के उपाय वास्तविक खतरे को संबोधित करते थे? क्या उनसे अनावश्यक बाधा पैदा हुई?

सत्यापन का अर्थ केवल यह पुष्टि करना नहीं हो सकता कि एजेंट ने अपनी चुनी हुई कार्रवाई पूरी कर ली।

सत्यापन की ज़िम्मेदारी किसी दूसरे एआई एजेंट को सौंप देने भर से परिणाम अपने-आप स्वतंत्र नहीं हो जाता।

अलग-अलग एजेंट एक ही गलत टेलीमेट्री, छेड़ी गई जानकारी या त्रुटिपूर्ण मान्यताओं पर निर्भर हो सकते हैं। उनकी सहमति से मूल तथ्यों की स्वतंत्र पुष्टि नहीं होती।

स्वायत्त कार्रवाई के परिणाम जितने गंभीर हों, निर्णय लेने वाली प्रणाली से स्वतंत्र सत्यापन की ज़रूरत उतनी ही अधिक होती है।

इस स्वतंत्रता में अलग स्रोतों से जुटाए गए साक्ष्य, नियमों की निश्चित और पूर्वनिर्धारित जाँच, सीमित निष्पादन परिवेश, मानवीय समीक्षा या इन सुरक्षा उपायों का संयोजन शामिल हो सकता है।

उपयुक्त नियंत्रण, गलती के संभावित परिणामों के अनुपात में होने चाहिए।

कम प्रभाव वाली और पलटी जा सकने वाली कार्रवाइयों के लिए स्वचालित सत्यापन उपयुक्त हो सकता है। अधिक प्रभाव वाली या जिन्हें पलटना कठिन हो, ऐसी कार्रवाइयों के लिए अधिक सशक्त प्राधिकरण, स्वतंत्र पुष्टि और स्पष्ट मानवीय मंज़ूरी की ज़रूरत हो सकती है।

चार सवालों से सुरक्षा के प्रासंगिक पहलुओं में फ़र्क समझने में मदद मिलती है:

• क्या प्रणाली ने अपेक्षित कार्य की सही व्याख्या की?
• क्या कार्रवाई उसे सौंपे गए अधिकारों के दायरे में थी?
• क्या निष्पादन अनुमत सीमाओं के भीतर रहा?
• क्या नतीजे से सुरक्षा का अपेक्षित उद्देश्य पूरा हुआ?

ये सवाल आपस में जुड़े हैं, लेकिन एक-दूसरे के स्थान पर इस्तेमाल नहीं किए जा सकते।

कोई एजेंट अधिकृत कार्रवाई करके भी अनपेक्षित नतीजा पैदा कर सकता है। वह अनधिकृत कार्रवाई करके भी ऐसा नतीजा दे सकता है जो देखने में लाभकारी लगे।

इनमें से किसी को भी अपने-आप सफल सुरक्षा नहीं मानना चाहिए।

स्वायत्त प्रणालियाँ जितनी सक्षम होती जाती हैं, चुनौती केवल उन्हें जटिल कार्यप्रवाह पूरा करने में सक्षम बनाने की नहीं है। चुनौती यह पर्याप्त साक्ष्य जुटाने की भी है कि उनकी कार्रवाइयाँ अधिकृत, उपयुक्त और सही बनी रहें।

इसके लिए यह जानना भी ज़रूरी है कि कब रुकना है, मामला उच्च स्तर पर भेजना है, कार्रवाई पलटनी है या स्पष्ट रूप से समझे गए और सीमित जोखिम को स्वीकार करना है।

विश्वास साक्ष्य के आधार पर ही होना चाहिए

स्वायत्त एआई के सुरक्षा संबंधी प्रभाव केवल नकारात्मक नहीं हैं।

स्वायत्त प्रणालियाँ सुरक्षा रक्षकों को कमज़ोरियाँ खोजने, खतरों की जाँच करने और ऐसे सत्यापन कार्य करने में मदद कर सकती हैं जिनमें अन्यथा लोगों का काफ़ी समय और मेहनत लगती।

बेहतर मॉडल, अधिक सशक्त बाहरी नियंत्रण और अधिक परिपक्व परिचालन प्रक्रियाएँ सौंपे गए अधिकार से जुड़े कुछ जोखिम घटा सकती हैं।

इसलिए यह निष्कर्ष निकालना जल्दबाज़ी होगी कि स्वायत्त एआई स्वभावतः असुरक्षित है या उसका विकास जिस गति से हो रहा है, उसके साथ शासन-व्यवस्था तालमेल नहीं बिठा सकती।

इस विचार के विरुद्ध एक गंभीर तर्क भी है कि स्वायत्त एआई के लिए सुरक्षा के बिल्कुल नए सिद्धांतों की ज़रूरत है।

कई बुनियादी समस्याओं—अत्यधिक विशेषाधिकार, अविश्वसनीय इनपुट, कमज़ोर प्राधिकरण, असंगत नीति-प्रवर्तन और अपर्याप्त सत्यापन—का दशकों से अध्ययन होता आया है।

स्थापित नियंत्रणों को सही ढंग से लागू और परखा जाए, तो वे पहले से ही व्यावहारिक समाधान दे सकते हैं।

स्वायत्तता से उनके इस्तेमाल की गति, पैमाना और जटिलता बदल सकती है। इससे वे अपने-आप अमान्य नहीं हो जाते।

साक्ष्य एक अधिक उपयोगी सवाल की ओर संकेत करते हैं: किन परिस्थितियों में स्वायत्त प्रणालियों पर सौंपे गए अधिकार का इस्तेमाल करने के लिए भरोसा किया जा सकता है, और हम कैसे साबित करें कि वे परिस्थितियाँ पूरी की गई हैं?

इसका जवाब केवल मॉडल की क्षमता से नहीं मिलेगा।

इसके लिए वास्तुशिल्पीय सीमाएँ, स्पष्ट रूप से तय ज़िम्मेदारियाँ, स्वतंत्र रूप से लागू किया गया प्राधिकरण, उपयुक्त निगरानी और वास्तविक परिस्थितियों में सुरक्षा उपायों के कारगर होने के साक्ष्य चाहिए।

इसके लिए सुरक्षा और जोखिम को लेकर ऐसी दृष्टि भी चाहिए जो सुसंगत हो, लेकिन समय के साथ विकसित होती रहे।

हर नए मॉडल के आने पर हमारे बुनियादी सुरक्षा सिद्धांतों को बदलने की ज़रूरत नहीं है। लेकिन क्षमताओं, परिचालन परिवेशों और सौंपे गए अधिकारों के विकसित होने के साथ-साथ इन सिद्धांतों के लागू होने के बारे में हमारी मान्यताओं को लगातार चुनौती देना ज़रूरी है।

आक्रामक सुरक्षा-परीक्षण में कठोरता का यही उद्देश्य है।

यह साबित करने के लिए नहीं कि एआई प्रणालियाँ विफल होंगी, बल्कि यह पता लगाने के लिए कि वे कहाँ विफल हो सकती हैं, उसके परिणामों को समझने और उन विफलताओं को रोकने या सीमित करने के लिए बनाए गए नियंत्रणों की प्रभावशीलता की पुष्टि करने के लिए।

शायद अधिक टिकाऊ बढ़त केवल अधिक सक्षम मॉडल चुनने में नहीं, बल्कि ऐसा ढाँचा बनाने में है जिसमें विश्वास, अधिकार और सत्यापन की सीमाओं से समझौता किए बिना मॉडल बदले जा सकें।

चूहे-बिल्ली का खेल जारी है। दोनों पक्षों के पास अब स्वायत्त खिलाड़ी होने की संभावना बढ़ रही है।

महत्त्वपूर्ण यह सुनिश्चित करना है कि कमज़ोरियों का पता लगाने, उन्हें ठीक करने और परिणामों को प्रमाणित करने की हमारी क्षमता बाकी हर चीज़ को स्वचालित करने की दौड़ में खो न जाए।

विश्वास का आधार साक्ष्य होना चाहिए।

लेखक का नोट: इस लेख में व्यक्त विचार और व्याख्याएँ मेरी अपनी हैं और ज़रूरी नहीं कि वे मेरे नियोक्ता के आधिकारिक रुख, नीतियों या उत्पाद क्षमताओं को दर्शाएँ।