एआई एजेंटों को डिज़ाइन द्वारा विश्वसनीय बनाना, दुर्घटना से नहीं

एजेंटिक एआई बड़े पैमाने पर प्रचार के साथ नहीं आ रहा है, बल्कि दैनिक कार्यों में सम्मिलित हो रहा है। जो सिस्टम पहले मानव निर्देशों की प्रतीक्षा करते थे, वे अब पहल करते हैं। यह विकास पहले से ही संगठनों के भीतर हो रहा है, लेकिन एआई शासन के बारे में चर्चा एक पिछले युग में फंसी हुई है। हमारे कानून और संगठनात्मक संरचनाएं स्वायत्त, गैर-मानव अभिनेताओं को ध्यान में रखकर नहीं बनाई गई थीं। जीडीपीआर के अधीन कंपनियों के लिए, यह एक सैद्धांतिक चिंता नहीं है, बल्कि एक लाइव ऑपरेशनल चुनौती है – और यह अधिकांश अनुपालन टीमों की तुलना में तेजी से आगे बढ़ रहा है।

जब एआई टूल्स वापस बात करते हैं

जब शासन की चर्चा की जाती है, तो ध्यान आमतौर पर अनुपालन, जोखिम प्रबंधन और हानि को रोकने पर केंद्रित होता है। जबकि वे बहुत महत्वपूर्ण हैं, वे एक ऐसे दुनिया के लिए बनाए गए थे जहां एआई अधिकतर स्थिर था: प्रशिक्षित, परीक्षण किया गया, जारी किया गया और निर्धारित चक्रों पर निगरानी की गई।

एआई एजेंटों को निर्णय लेने की प्रक्रियाओं में शामिल किया जा रहा है, केंद्रीय चुनौती अब व्यवहार और विश्वास के बारे में है। कार्यकारी अधिकारियों को खुद से पूछना चाहिए, “हम यह सुनिश्चित कैसे करें कि कार्रवाई करने में सक्षम सिस्टम पर भी भरोसा किया जा सकता है?” विश्वास एक डिज़ाइन विकल्प है जिसे जानबूझकर किया जाना चाहिए, नहीं कि प्रभावी बनाने के लिए अभियांत्रित किया जाना चाहिए। जीडीपीआर दिशानिर्देशों का पालन करने वाले संगठन समझते हैं कि अनुपालन महत्वपूर्ण है और इसमें कानूनी परिणाम होते हैं।

तीन तरीके जिनसे एजेंटिक एआई आज के जीडीपीआर धारणाओं को तोड़ता है

जब जीडीपीआर डिज़ाइन किया गया था, तो यह स्वायत्त एजेंटों के लिए नहीं लिखा गया था। हालांकि, जीडीपीआर के तीन मूल सिद्धांत – उद्देश्य सीमा, डेटा कम से कमकरण, पारदर्शिता और जवाबदेही – महत्वपूर्ण हैं। एजेंटिक एआई प्रत्येक पर नए तरीकों से प्रभाव डालता है, और तीन कुंजी क्षेत्र हैं जिन्हें संबोधित किया जाना चाहिए।

पहला जोखिम यह है कि एआई एजेंट एक कार्य के माध्यम से “सोचता है”। इसके बजाय एक निश्चित प्रक्रिया चलाने के, यह काम को कई छोटे चरणों में तोड़ता है, अक्सर बाहरी उपकरणों को बुलाता है, डेटाबेस से डेटा प्राप्त करता है, अनुमान लगाता है और व्यक्तिगत डेटा के साथ सौदा करता है। इसका अधिकांश हिस्सा दृश्य से बाहर होता है। यह पता लगाना कि वास्तव में कौन सा डेटा किस चरण में और किस कारण से उपयोग किया गया था, व्यवहार में करना मुश्किल है – लेकिन यह वही पारदर्शिता और जवाबदेही है जिसकी जीडीपीआर अपेक्षा करता है।

दूसरा जोखिम यह है कि एजेंट स्मृति का उपयोग कैसे करते हैं। वे एक कार्य को पूरा करते समय अल्पकालिक स्मृति में व्यक्तिगत डेटा रख सकते हैं और कई सत्रों में दीर्घकालिक स्मृति में। यदि उस स्मृति को सावधानी से अलग नहीं किया जाता है, तो एक व्यक्ति की बातचीत की जानकारी दूसरे की बातचीत में रिसाव हो सकती है। यदि आप स्पष्ट रिटेंशन सीमा को लागू नहीं करते हैं, तो व्यक्तिगत डेटा तब तक लटका सकता है जब तक यह मिटाया नहीं जाना चाहिए। जीडीपीआर के विलोपन के अधिकार के तहत, यह तब मुश्किल हो जाता है जब डेटा एक एजेंट की स्मृति के भीतर होता है, न कि एक डेटाबेस में जिसे आपकी गोपनीयता टीम आसानी से ढूंढ और प्रश्न कर सकती है।

तीसरा जोखिम प्रोम्प्ट इंजेक्शन है – मूल रूप से एजेंट को धोखा देना। जब एक एजेंट दस्तावेज़ पढ़ता है, वेब ब्राउज़ करता है, या आने वाले संदेशों को संसाधित करता है, तो उन स्रोतों में दुर्भाग्यपूर्ण सामग्री एजेंट के व्यवहार को हाईजैक कर सकती है, व्यक्तिगत डेटा को लीक करने के लिए इसे धक्का दे सकती है, या ऐसे कार्य करने के लिए प्रेरित कर सकती है जिसकी संगठन ने कभी अनुमति नहीं दी। यह एक ज्ञात हमला पैटर्न है जो विशेष रूप से एजेंटिक प्रणालियों के लिए है। इसका मतलब है कि आप एक डेटा उल्लंघन का सामना कर सकते हैं क्योंकि आपके मुख्य प्रणाली को हैक नहीं किया गया था, लेकिन क्योंकि आपका एआई एजेंट अपना काम करते समय होस्टाइल सामग्री से मिला – और जीडीपीआर के तहत, आप अभी भी जिम्मेदार हैं।

वास्तविक विश्वास बनाना, केवल एक मित्र इंटरफ़ेस नहीं

यह समझना महत्वपूर्ण है कि इंजीनियर्ड विश्वास और अर्जित विश्वास के बीच एक अंतर है। इंजीनियर्ड विश्वास उपयोगकर्ताओं को एक मुख्य बिंदु पर समझाने में मदद कर सकता है, आमतौर पर भावनात्मक मिररिंग, मानवीय संकेतों या प्रभावी डिज़ाइन के माध्यम से।

हालांकि, टिकाऊ विश्वास उन प्रणालियों के बारे में है जो मानवों द्वारा समझने, पूर्वानुमान लगाने और मूल्यांकन करने के तरीके से व्यवहार करती हैं। एजेंट की तर्कशक्ति, सीमाएं और इरादे वैध हैं। यह जीडीपीआर-अनुरूप डिज़ाइन की पूर्व शर्त है, जहां पारदर्शिता का अर्थ होना चाहिए।

वास्तव में ट्रस्ट स्टैक का क्या अर्थ है?

संगठनों के लिए एक रणनीति एक परतदार विश्वास स्टैक का उपयोग करना है। इसका अर्थ है कि प्रत्येक परत मानवों और मशीनों के बीच जवाबदेही के बारे में स्पष्ट है।

• स्पष्ट तर्क पथ: एजेंट को यह समझाने में सक्षम होना चाहिए कि यह एक परिणाम कैसे और क्यों उत्पन्न किया – गहरे तकनीकी विवरण के साथ नहीं, बल्कि एक ऐसे तरीके से जिसे आप अनुसरण कर सकते हैं और जांच सकते हैं। यह जीडीपीआर के पारदर्शिता नियमों और स्वचालित निर्णयों के लिए एक स्पष्टीकरण के अधिकार के साथ संरेखित है।
• स्पष्ट शक्ति सीमाएं: एजेंट को यह करने, निर्णय लेने या सिफारिश करने के लिए सख्त सीमाएं होनी चाहिए। समय के साथ इसकी स्वतंत्रता में कोई शांत विस्तार नहीं। जीडीपीआर के उद्देश्यों के लिए, इसका अर्थ है कि मानव निर्णय लेते हैं; एजेंट एक उपकरण है, नियंत्रक नहीं।
• खुले लक्ष्य: एजेंट के लक्ष्य खुले तौर पर घोषित किए जाने चाहिए। लोगों को यह जानना चाहिए कि यह सटीकता, सुरक्षा, गति या व्यावसायिक लाभ के लिए अनुकूलन कर रहा है – और उस लक्ष्य को लिखा जाना चाहिए और समझा जाना चाहिए।
• आसान चुनौती और रोक बटन: लोगों को एजेंट के निर्णयों पर सवाल उठाने, सुधारने या बिना किसी घर्षण के बंद करने में सक्षम होना चाहिए। एक आसान तरीका होना चाहिए जिससे ऑप्ट-आउट किया जा सके – और लेख 22 के तहत, यह एक कानूनी आवश्यकता भी है।
• निर्मित शासन: लॉगिंग, जांच, स्मृति नियंत्रण और पर्यवेक्षण को दिन एक से ही प्रणाली में निर्मित किया जाना चाहिए, बाद में नहीं। डिज़ाइन द्वारा गोपनीयता वैकल्पिक नहीं है; यह वह आधारभूत संरचना है जो सब कुछ काम करती है।

ट्रस्ट स्टैक का लाभ उठाना स्वायत्तता को सुरक्षित रूप से बढ़ाने के लिए बनाता है।

जब शासन वास्तविक दुनिया के अनुभव से मिलता है

शासन नियमों और प्रक्रियाओं के बारे में नहीं है। यह उन प्रणालियों के साथ कैसा महसूस होता है जो लोगों का उपयोग करते हैं। लोगों को यह महसूस करने की आवश्यकता है कि उन्हें अभी भी नियंत्रण है। उन्हें यह देखने की आवश्यकता है कि एआई कब कार्य कर रहा है, समझें कि यह क्यों कुछ कर रहा है, और जानें कि कब इसे रोकना चाहिए।

सिस्टम जो अनुपालन बॉक्स पर टिक करते हैं लेकिन एक ब्लैक बॉक्स की तरह लगते हैं वे जल्दी से विश्वास खो देते हैं। इसके लिए बहुत सावधानी से डिज़ाइन विकल्पों की आवश्यकता होती है: मानव जैसे संकेत जो सहानुभूति या नैतिक निर्णय का सुझाव देते हैं जो प्रणाली में नहीं हैं; स्पष्ट संकेत जब एआई अनिश्चित है या सीमित है; और कोई अनुभव को भावनात्मक निर्भरता पैदा करने के लिए ट्यून नहीं किया जाता है।

नेताओं को “क्या हमारा एआई जिम्मेदार है?” पूछने से परे जाना चाहिए। एक बेहतर सेट प्रश्न है: “यह प्रणाली कौन से व्यवहार सामान्य बनाएगी? यह लोगों को किन चीजों से दूर धकेलेगी? यह समय के साथ निर्णय लेने को कैसे आकार देगी – और क्या हम इसके लिए जवाबदेह होने के लिए तैयार हैं?”