एआई पर्यवेक्षण में तीन अंधे धब्बे हैं — और अधिकांश कंपनियां उनमें से किसी को भी नहीं देख रही हैं

अधिकांश एआई सुरक्षा वार्ता कंपनियों के भीतर गलत लक्ष्य पर केंद्रित है। टीमें सप्ताह बिताती हैं जिसमें कौन सा मॉडल उपयोग करना है, इसके बारे में तर्क देती हैं, फिर उस मॉडल को अपने ईमेल, भुगतान, ग्राहक डेटाबेस और कोड में तार करती हैं, बिना यह पूछे कि जब यह चीज़ कुछ करती है, तो कौन देख रहा है और क्या कोई इसे रोक सकता है?

संख्या कहती है कि यह जल्द ही महंगा होने वाला है। गार्टनर का अनुमान है कि 2028 में कम से कम 15% नियमित कार्य निर्णय स्वचालित रूप से एआई द्वारा किए जाएंगे, 2024 में लगभग कोई नहीं से। उसी शोध में यह चेतावनी दी जाती है कि 40% से अधिक एजेंटिक एआई परियोजनाएं 2027 के अंत तक रद्द कर दी जाएंगी, और इसका एक कारण यह है कि जोखिम नियंत्रण कमजोर हैं। इसे फिर से पढ़ें। परियोजनाएं इसलिए नहीं मर रही हैं क्योंकि मॉडल खराब हैं। वे इसलिए मर रहे हैं क्योंकि किसी ने उनके लिए एक शासन प्रणाली नहीं बनाई है।

मैं जीविका के लिए एआई के लिए शासन प्रणाली बनाता हूं, इसलिए मैं बार-बार उन्हीं अंतरालों को देखता हूं। उनमें से तीन हैं। अधिकांश कंपनियां उनमें से किसी को भी ठीक से नहीं देख रही हैं, और बहुत सी कंपनियां शून्य देख रही हैं।

एजेंट सबसे ज्यादा शोर वाला है

हर कोई स्वायत्त एजेंटों के बारे में चिंतित है, और वे सही हैं। लेकिन अधिकांश लोग गलत हिस्से के बारे में चिंतित हैं। एक एजेंट के बारे में परेशान करने वाली बात यह नहीं है कि यह तर्क देता है। इसका कारण यह है कि यह कार्य करता है। यह रिफंड का प्रस्ताव नहीं देता है; यह भुगतान करता है। यह ईमेल का मसौदा तैयार नहीं करता है; यह इसे भेजता है। एक मॉडल को एक सेट उपकरण दें और आपको यह क्षमता मिल गई है कि यह वास्तविक प्रणालियों में हस्तक्षेप करे और चीजों को बदले।

इसे गलत करें और विफलता एक अजीब वाक्य नहीं है। इसका कारण यह है कि पैसा बाहर निकल जाता है, या एक टेबल शांति से डेटाबेस से गिरा दिया जाता है। और इसमें एक तेज किनारा है। प्रॉम्प्ट इंजेक्शन एलएलएम एप्लिकेशन के लिए ओवासप जोखिम सूची के शीर्ष पर बैठता है, और इसका एक अच्छा कारण है: एक मॉडल को गलत पाठ खिलाएं और यह कुछ ऐसा करने के लिए बातचीत कर सकता है जिसे किसी ने नहीं पूछा था। जब मॉडल केवल बात कर सकता है, तो यह एक परेशानी है। जब मॉडल टूल्स को कॉल कर सकता है, तो यह एक हमलावर है जो आपकी एपीआई कुंजी पकड़ रहा है।

मानक उत्तर यह है कि एजेंट द्वारा की जाने वाली हर चीज़ को लॉग करें और ट्रेस देखें। ठीक है। लेकिन एक ट्रेस कुछ ऐसा है जो पहले से ही हो चुका है। यह एक जांच के लिए सीसीटीवी फुटेज है, जब तक कि यह चोरी नहीं हो जाती है।

शांत एक कोई नहीं उल्लेख

दूसरा अंधा धब्बा कभी स्लाइड पर नहीं आता है, क्योंकि यह सुस्त है। यह एक साधारण एपीआई कॉल है। न तो एजेंट, न ही फ्रेमवर्क, बस एक कोड का टुकड़ा जो कहीं एक सेवा में प्रॉम्प्ट असेंबल करता है और इसे मॉडल पर फायर करता है।

उत्पादन में अधिकांश एआई वास्तव में ऐसा दिखता है, और यह पूरे स्टैक का सबसे कम शासित हिस्सा है क्योंकि यह इतना सामान्य है। यह एक एचटीटीपी अनुरोध है जो किसी सेवा में तीन परतों गहरा है, जिसे एक इंजीनियर द्वारा लिखा गया है जिसने कभी आपकी एआई नीति के बारे में नहीं सुना होगा और नहीं जानता कि इसे कहां ढूंढना है। उस एक कॉल में एक ग्राहक का डेटा तीसरे पक्ष के मॉडल में जा सकता है, या डाउनस्ट्रीम एक कार्रवाई शुरू कर सकता है, और कुछ भी जांच नहीं कर रहा है कि क्या यह करना चाहिए, और कुछ स्वतंत्र नहीं है जो यह लिख रहा है कि यह किया गया था।

गंदा एक लोग हैं

तीसरा अंधा धब्बा लोग हैं, जो इसे सबसे खराब बनाता है। आपके कर्मचारियों ने महीनों पहले यह पता लगा लिया था कि कार्य को चैटजीपीटी या क्लाउड में पेस्ट करने से यह तेजी से हो जाता है, इसलिए वे इसे पूरे दिन करते हैं, आमतौर पर व्यक्तिगत खातों से जो आप देख नहीं सकते हैं। यह काल्पनिक नहीं है। साइबरहेवन का वास्तविक कार्यस्थल उपयोग पर एक नज़र मिली है कि एक वास्तविक हिस्से के कर्मचारियों ने गोपनीय कंपनी डेटा को चैटजीपीटी में पेस्ट किया है, जिनमें से अधिकांश खातों के माध्यम से हैं जिनमें कंपनी की कोई खिड़की नहीं है।

यदि आप सावधानी की कहानी चाहते हैं, तो यह सैमसंग है। 2023 में यह आंतरिक रूप से जनरेटिव एआई पर प्रतिबंध लगा दिया जब इंजीनियरों ने चैटजीपीटी में स्वामित्व वाले स्रोत कोड पेस्ट किया, तीन अलग-अलग बार एक महीने से कम समय में। वे बुरे अभिनेता नहीं थे। वे तेजी से डीबग करने की कोशिश करने वाले अच्छे इंजीनियर थे। यह पूरी जाल है: रिसाव उत्पादकता की तरह दिखता है। और आपके पुराने डेटा हानि टूल इसे पकड़ नहीं पाएंगे, क्योंकि यह एक फ़ाइल का निर्गम नहीं है जो इमारत से बाहर जा रहा है, बल्कि एक कॉपी पेस्ट है ब्राउज़र टैब में।

वास्तव में क्या काम करता है

तीनों को एक पंक्ति में रखें और ठीक होना एजेंटों के बारे में विशिष्ट रूप से नहीं है, और एकल विचार में बदल जाता है: किसी भी एआई को यह करने से पहले कि यह क्या करता है, न कि बाद में। कुछ चीजें जो वास्तव में महत्वपूर्ण हैं, ज्यादातर कठिन तरीके से सीखी जाती हैं।

कार्रवाई के सामने बैठें, न उसके पीछे। यह पूरा खेल है, और यही कारण है कि मैं जोर देकर कहता हूं कि दृश्यता और शासन एक ही शब्द नहीं हैं। एक डैशबोर्ड जो आपको बताता है कि एक एजेंट ने कल £40,000 हिलाया, यह एक नुकसान रिपोर्ट है। कुछ जो उस हस्तांतरण को एक मानव के लिए देखने से पहले रोक सकता है वह एक नियंत्रण है। यदि आपका सेटअप केवल आपको बता सकता है कि क्या हुआ, तो आपके पास पर्यवेक्षण नहीं है। आपके पास पूर्वव्यापी है।

एक चेकपॉइंट का उपयोग करें, एक प्रति उपकरण नहीं। एजेंट, एपीआई कॉल और कर्मचारी चैटबॉट में पेस्ट करना तीन अलग-अलग समस्याओं की तरह लगता है, इसलिए कंपनियां तीन अलग-अलग टूल खरीदती हैं और तीन सेट अंतराल के साथ समाप्त होती हैं। बुरी चीजें अंतराल में रहती हैं। एआई जो कुछ भी करता है, जहां से भी आता है, उसे एक ही गेट से गुजरना चाहिए।

एक लॉग रखें जिसे एआई नहीं लिख सकता। यदि चीज़ करने वाली प्रणाली भी एकमात्र चीज़ है जो यह लिख रही है कि यह चीज़ की है, तो आपके पास एक रिकॉर्ड नहीं है। आपके पास एक डायरी है जिसे यह संपादित करने की अनुमति है। यह वह जगह है जहां नियम जा रहे हैं। यूरोपीय संघ के एआई अधिनियम की रिकॉर्ड-कीपिंग आवश्यकता, अनुच्छेद 12 यह सुनिश्चित करने के लिए मौजूद है कि एक उच्च जोखिम वाली प्रणाली ने क्या किया है, यह किसी अन्य व्यक्ति द्वारा प्रणाली के अलावा पुनर्निर्मित किया जा सकता है। व्यवहार में इसका अर्थ है एक लॉग जो चीज़ के बाहर रखा गया है, जिसे शांति से बदला नहीं जा सकता है।

बड़े, अवापसीय कॉल पर एक मानव रखें। हर चीज़ के लिए नहीं, ऐसा करें और आप लोगों को अनुमोदन में डूबो देंगे जब तक कि वे उन सभी को रबर स्टाम्प न कर दें। लेकिन जिन कॉलों को आप वापस नहीं ले सकते हैं, धन हस्तांतरण, डेटा निर्यात, रिकॉर्ड हटाना, उन्हें रोकना और प्रतीक्षा करना चाहिए। यूरोपीय संघ के एआई अधिनियम में पहले से ही उच्च जोखिम वाली प्रणालियों के लिए मानव पर्यवेक्षण अनिवार्य है, अनुच्छेद 14। याद रखने लायक पकड़ यह है कि पर्यवेक्षण केवल तभी गिनती करता है जब व्यक्ति के पास वास्तव में नहीं कहने के लिए समय और संदर्भ हो। जिस अनुमोदन को कोई नहीं पढ़ता है वह सिर्फ एक नाटक है।

ईमानदार गट चेक

इनमें से कोई भी तीन कोने का मामला नहीं है। वे अधिकांश कंपनियों द्वारा एआई चलाने का सामान्य तरीका है, शांति से और बहुत सारे जाल के बिना। अगले कुछ वर्षों में एक अप्रिय घटना के बिना गुजरने वाली टीमें वे नहीं होंगी जिनके पास सबसे सुंदर चार्ट हैं। वे वे होंगे जिन्होंने पहले ही तय किया था कि उनके एआई द्वारा की जाने वाली हर चीज़, एजेंट, एपीआई कॉल, पेस्ट किया गया अनुच्छेद, एक गेट से पहले होता है, न कि बाद में।

यदि आप अपनी स्थापना का एक त्वरित परीक्षण करना चाहते हैं, तो दो प्रश्नों का ईमानदारी से उत्तर दें। उन तीन सतहों में, आप कितनी वास्तव में देख सकते हैं? और जिन्हें आप देख सकते हैं, उनमें से कितने आप रोक सकते हैं? कई कंपनियों के लिए दूसरे का ईमानदार उत्तर शून्य है। यह वह संख्या है जिसे पहले ठीक करना है।