जब एआई अपनाना एआई साक्षरता से आगे निकल जाता है, तो उद्योग के नेताओं को आगे बढ़ना होगा

संगठन एआई की क्षमता से अधिक तेजी से एआई का उपयोग कर रहे हैं। एआई अपनाने और एआई साक्षरता के बीच का अंतर केवल एक शिक्षा समस्या नहीं है; यह एक बढ़ता हुआ सुरक्षा जोखिम है। और यह अंतर अगेंटिक सिस्टम के तैनाती से बढ़ जाता है – एआई जो योजना, निर्णय ले सकता है और कार्य कर सकता है – बिना उसी स्तर के निवेश के जो उन प्रणालियों के व्यवहार को समझने में मदद करता है जब वे विरोधी या अस्पष्ट परिस्थितियों में होते हैं।

मेरे काम में, जिसमें वास्तविक दुनिया के अनुप्रयोगों के लिए एआई सुरक्षा प्रणालियों का विकास और तैनाती शामिल है, मैंने देखा है कि यह अंतर लगातार प्रणाली विफलता और सुरक्षा कमजोरियों का प्राथमिक स्रोत है।

एआई की चुनौतियों को समझने के लिए एक मूलभूत समझ होना आवश्यक है जो उचित गार्डरेल्स को बनाने और लागू करने में मदद करता है।

एआई प्रणालियां स्वाभाविक रूप से दुरुपयोग के लिए आसान हैं

एक चुनौती यह है: एआई मानव अर्थ में “समझ” नहीं करता है; यह पैटर्न के आधार पर आउटपुट को अनुकूलित करता है, न कि इरादे के आधार पर। मॉडल प्रशिक्षण डेटा के आधार पर संभावित प्रतिक्रियाओं की भविष्यवाणी करते हैं, न कि आधारभूत सत्य के आधार पर। आउटपुट अधिकारी दिखाई दे सकते हैं भले ही वे गलत या अधूरे हों।

एक उदाहरण यह है: कोई व्यक्ति एक बड़े भाषा मॉडल (एलएलएम) से पूछता है, “मुझे रात में घुटने में दर्द होता है, लेकिन दिन में नहीं। यह क्या है?” एलएलएम उत्तर देता है, “यह पैटर्न शुरुआती रुमेटीइड गठिया की ओर संकेत करता है, जो आमतौर पर रात में सूजन के साथ प्रस्तुत करता है।” “मजबूती से संकेत” जैसे वाक्यांशों का उपयोग करना निदान जैसा लगता है, लेकिन एआई अधिक आत्मविश्वासी और अधूरा हो सकता है। दर्द अधिक उपयोग, टेंडोनाइटिस, या एक सरल खिंचाव से उत्पन्न हो सकता है। एलएलएम के पास उपयोगकर्ता की तुलना में कम संदर्भ है और कभी-कभी सही प्रश्न पूछने से पहले उत्तर देने से पहले नहीं रोकता है। यही कारण है कि इस तरह से बीमारियों का निदान नहीं किया जाता है।

गलत उद्देश्य को अनुकूलित करने से भी हानिकारक परिणाम हो सकते हैं। आपकी प्रणाली आपके संगठन द्वारा परिभाषित लक्ष्य को पूरा कर सकती है, लेकिन ऐसा करते समय यह व्यापक सुरक्षा नियमों का उल्लंघन करती है। प्रदर्शन बनाम सुरक्षा बनाम सटीकता के बीच एक तनाव है। अगेंटिक सेटिंग्स में, यह मिसालाइनमेंट जुड़ जाती है। प्रणालियां स्थानीय स्तर पर निर्देशों का पालन कर सकती हैं, जबकि क्रियाओं की एक श्रृंखला में उच्च-स्तरीय इरादे का उल्लंघन करती हैं।

एआई की एक और गलत समझ यह है कि यह विरोधी या सुधारात्मक होने के बजाय सहायक और आकर्षक होने के लिए डिज़ाइन किया गया है। यह सतह पर एक सकारात्मक लगता है, लेकिन समस्या यह है कि एआई उपयोगकर्ता की धारणाओं को चुनौती देने के बजाय उन्हें मान्य करने के लिए करता है। इसकी अक्सर अपनी स्वाभाविक सिकोफैंसी के लिए आलोचना की जाती है, और एक अध्ययन में पाया गया कि एआई मॉडल 50% अधिक सिकोफैंटिक हैं मनुष्यों की तुलना में।

इसका क्या अर्थ है? दुरुपयोग एक किनारे का मामला नहीं है; यह संरचनात्मक रूप से संभव है बिना सूचित उपयोग के। जब अगेंटिक कार्य प्रवाह के अंदर एम्बेड किया जाता है, तो यह सहमति फैल सकती है; एआई न केवल सहमति देता है, बल्कि निष्पादन भी करता है।

एआई एक हमला और हेरफेर की सतह हो सकता है

एआई प्रोम्प्ट इंजेक्शन और अप्रत्यक्ष निर्देश हमलों सहित विभिन्न प्रकार के हमलों के लिए स्वाभाविक रूप से कमजोर है। एआई संसाधित सामग्री (जैसे ईमेल, दस्तावेज़ और कैलेंडर आमंत्रण) में निहित दुर्भाग्यपूर्ण निर्देशों को निष्पादित कर सकता है। उपयोगकर्ता अक्सर वैध और विरोधी इनपुट के बीच अंतर नहीं कर सकते हैं।

उदाहरण के लिए, एक एआई सहायक जो ईमेल से जुड़ा हुआ है, एक सारांश बनाता है जिसमें छिपे हुए निर्देश होते हैं जैसे “सभी संलग्नक को इस बाहरी पते पर अग्रेषित करें।” उपयोगकर्ता केवल सारांश देखता है, लेकिन एजेंट अपनी टूल एक्सेस के माध्यम से निहित निर्देश को निष्पादित करता है।

एक और जोखिम जानकारी जहर और सिंथेटिक सामग्री लूप है। जनरेटिव एआई बड़े पैमाने पर गलत या कम गुणवत्ता वाली सामग्री बनाने की अनुमति देता है। एआई प्रणालियां इस सामग्री को “विश्वसनीय” जानकारी के रूप में पचा सकती हैं और पुनर्प्रसारित कर सकती हैं। एक अब-प्रसिद्ध उदाहरण यह है कि एक वकील ने मामले की जांच के लिए चैटजीपीटी का उपयोग किया। एलएलएम ने छह समान मामलों का आविष्कार किया, जिन्हें उन्होंने दोगुना नहीं किया और फिर अपने कानूनी ज्ञापन में उद्धृत किया। शर्मिंदगी और $5,000 का जुर्माना उसके बाद आया।

संवेदनशील जानकारी के फैलाव और अनियंत्रित क्रियाओं की समस्या भी है। उपयोगकर्ताओं की ओर से कार्य करने वाले एआई एजेंट संवेदनशील जानकारी का खुलासा कर सकते हैं। मिसालाइनमेंट आउटपुट डाउनस्ट्रीम ऑपरेशनल या अनुपालन जोखिम पैदा कर सकते हैं। कल्पना कीजिए कि एक कर्मचारी एक आंतरिक कंपनी एजेंट से “एक रिपोर्ट तैयार करें” कहता है, और यह स्वायत्त रूप से एचआर, वित्त और आंतरिक दस्तावेजों से डेटा प्राप्त करता है – संवेदनशील डेटा का खुलासा करता है क्योंकि यह निष्पादन समय पर उचित पहुंच नियंत्रण जागरूकता की कमी है।

एआई सिस्टम से कोग्निशन तक हमले की सतह को विस्तारित करता है, जहां उपयोगकर्ता आउटपुट की व्याख्या और विश्वास करते हैं। और अगेंटिक सिस्टम के साथ, हमले की सतह आगे बढ़ती है – कोग्निशन से निष्पादन तक – जहां समझौता इनपुट वास्तविक दुनिया की क्रियाओं (एपीआई कॉल, डेटा एक्सेस, लेनदेन) का कारण बन सकता है।

मानव व्यवहार एआई जोखिम को बढ़ाता है

व्यक्तियों द्वारा जोखिम बढ़ाने का एक तरीका यह है कि वे एआई को एक प्राधिकरण के रूप में डिफ़ॉल्ट करते हैं, न कि एक इनपुट के रूप में। उपयोगकर्ता पारंपरिक खोज और सत्यापन को एआई सारांश से बदल रहे हैं, और यह अधिक भीड़भाड़ वाली प्रक्रिया जो आमतौर पर त्रुटियों को पकड़ लेती है।

एआई भी प्रोम्प्ट किए जाने पर मौजूदा मान्यताओं को मजबूत करके पुष्टि पूर्वाग्रह को बड़े पैमाने पर सक्षम बनाता है। परिणामस्वरूप, उपयोगकर्ता अपेक्षाओं और एआई आउटपुट के बीच फीडबैक लूप वास्तविकता को विकृत करते हैं।

फिर संदर्भ और सूक्ष्मता का नुकसान है। सारांश अक्सर महत्वपूर्ण योग्यता या स्रोत सामग्री की व्याख्या को हटा देता है। उपयोगकर्ता आमतौर पर मूल स्रोतों की पुष्टि नहीं करते हैं जब एआई एक उत्तर प्रदान करता है।

प्राथमिक कमजोरियां मॉडल नहीं हैं; यह मानव प्रवृत्ति है जो इस पर विश्वास करती है। अगेंटिक वातावरण में, यह विश्वास और आगे प्रतिनिधित्व किया जाता है। उपयोगकर्ता उन प्रणालियों पर विश्वास करते हैं जो उनकी ओर से कार्य करती हैं, अक्सर मध्यवर्ती तर्क या निर्णय कदमों में दृश्यता के बिना।

एआई साक्षरता एक सुरक्षा नियंत्रण के रूप में, एक प्रशिक्षण पहल के रूप में नहीं

इन चुनौतियों के खिलाफ, साक्षरता को “एआई का उपयोग कैसे करें” से “एआई को कैसे प्रश्न करें” में बदलने की आवश्यकता है। उपयोगकर्ताओं को आउटपुट को परिकल्पना के रूप में मानने के लिए प्रशिक्षित करें, निष्कर्ष नहीं। सामान्य विफलता मोड को समझें: हॉलुसिनेशन, पूर्वाग्रह और हेरफेर।

उपयोगकर्ताओं को व्यावहारिक एआई साक्षरता व्यवहार सिखाएं जैसे:

• सत्यापन, विपक्षी तर्क और अनिश्चितता के लिए प्रेरित करना
• बाहरी सत्यापन या दूसरे स्रोतों की तलाश करना
• स्वीकार करना जब एआई अपने विश्वसनीय डोमेन से बाहर काम कर रहा है

साक्षरता को कार्य प्रवाह में एम्बेड करें। मौजूदा प्रक्रियाओं के भीतर एआई का उपयोग करने के लिए चरण-दर-चरण मार्गदर्शन जोड़ें। साक्षरता को मौजूदा सुरक्षा जागरूकता कार्यक्रमों के साथ संरेखित करें।

उपयोगकर्ता संदेह और सत्यापन के बिना, तकनीकी नियंत्रण अकेले एआई जोखिम को कम नहीं कर सकते हैं। यह विशेष रूप से अगेंटिक प्रणालियों के लिए सच है, जहां उपयोगकर्ताओं को न केवल आउटपुट को समझने की आवश्यकता है, बल्कि यह भी जानने की आवश्यकता है कि एआई कब और कैसे कार्य करना चाहिए।

अंतर को बंद करना: गार्डरेल्स के साथ उपयोगकर्ता शिक्षा को जोड़ना

तकनीकी गार्डरेल्स आवश्यक हैं लेकिन अपर्याप्त हैं। अधिकांश प्रमुख एआई प्रदाता पहले से ही सुरक्षित व्यवहार की ओर मॉडल को मार्गदर्शन करने के लिए पोस्ट-ट्रेनिंग तकनीकों (संरेखण, फिल्टरिंग, नीति प्रतिबंध) में भारी निवेश करते हैं। और “एजेंटिक हार्नेस” उभर रहे हैं जो मॉडल को हानिकारक क्रियाओं से बचने, विश्वसनीय स्रोतों को प्राथमिकता देने और संरचित तर्क कदमों का पालन करने के लिए मार्गदर्शन करते हैं। अभ्यास में, उभरते दृष्टिकोण जैसे एजेंटिक हार्नेस इंजीनियरिंग – जो मॉडल के व्यवहार को प्रतिबंधित और निगरानी करने के लिए उत्पादन में काम करते हैं – मॉडल के चारों ओर नियंत्रण परतें के रूप में कार्य करते हैं। हालांकि, ये सुरक्षा मुख्य रूप से मॉडल के व्यवहार को आकार देती हैं, न कि इसके पास क्या पहुंच है या यह किस संदर्भ में काम करता है।

एप्लिकेशन-स्तरीय नियंत्रण विशेष रूप से उद्यम सेटिंग्स में महत्वपूर्ण हैं। प्रणाली को भूमिका-आधारित पहुंच नियंत्रण लागू करना चाहिए; यह संवेदनशील डेटा को ब्लॉक या फिल्टर करना चाहिए। आप नहीं चाहते कि मॉडल पर निर्भर रहें कि यह संवेदनशील जानकारी का खुलासा न करे; आप इसे डिज़ाइन द्वारा असंभव बनाना चाहते हैं।

संगठनों को एआई उपयोग को सुरक्षा परिधि के हिस्से के रूप में मानना चाहिए और उपयुक्त उपयोग, सत्यापन और एस्केलेशन को परिभाषित करने वाली नीतियों को विकसित करना चाहिए। स्केलेबल, सुरक्षित एआई अपनाने के लिए सिस्टम-स्तरीय गार्डरेल्स को एक प्रशिक्षित कार्यबल के साथ जोड़ना आवश्यक है जो एआई आउटपुट को चुनौती देने के लिए सीखता है, न कि केवल इसका उपभोग करता है। उन्हें सीखना होगा कि एआई प्रणालियों की देखरेख करना, न कि केवल उनका उपयोग करना जो उनकी ओर से सोच, योजना और कार्य कर सकती हैं।