एआई विश्वसनीयता समस्या जिस पर कोई बात नहीं करना चाहता

एआई विश्वसनीयता के बारे में प्रमुख कथा सरल है: मॉडल हॉलुसिनेट करते हैं। इसलिए, कंपनियों को उनसे सबसे अधिक उपयोगिता प्राप्त करने के लिए, मॉडल को बेहतर बनाना होगा। अधिक पैरामीटर। बेहतर प्रशिक्षण डेटा। अधिक पुनरावृत्ति शिक्षण। अधिक संरेखण।

और फिर भी, यहां तक कि जब फ्रंटियर मॉडल अधिक क्षमतावान हो जाते हैं, तो विश्वसनीयता बहस खत्म नहीं होती। एंटरप्राइज लीडर अभी भी संदेह करते हैं कि एजेंटों को कोर सिस्टम के भीतर अर्थपूर्ण कार्रवाई करने की अनुमति देने के लिए। बोर्ड अभी भी पूछते हैं: “क्या हम इस पर विश्वास कर सकते हैं?”

लेकिन हॉलुसिनेशन मुख्य रूप से एक मॉडल समस्या नहीं है। यह एक संदर्भ समस्या है। हम एआई सिस्टम से एंटरप्राइज इन्फ्रास्ट्रक्चर पर कार्य करने के लिए कह रहे हैं बिना उन्हें संरचनात्मक दृश्यता प्रदान किए जो सुरक्षित रूप से तर्क करने के लिए आवश्यक है। फिर हम मॉडल को दोष देते हैं जब यह अनुमान लगाता है।

वास्तविक विश्वसनीयता अंतर नहीं है जितना कि वजन में है, यह जानकारी परत में है।

एक सर्जन बिना इमेजिंग

एक सर्जन को इमेजिंग के बिना ऑपरेट करने की कल्पना करें। कोई एमआरआई नहीं। कोई सीटी स्कैन नहीं। कोई वास्तविक समय विज़ुअलाइज़ेशन नहीं आसपास के ऊतक का। बस एक सामान्य ज्ञान की शारीरिक रचना और एक स्केलपेल। यहां तक कि सबसे कुशल सर्जन को भी अनुमान लगाने के लिए मजबूर किया जाएगा। अनुमान लगाने के लिए। संभाव्य तर्क पर निर्भर करने के लिए।

यही एंटरप्राइज एआई एजेंट वर्तमान में कर रहे हैं।

जब एक एआई सिस्टम से कार्य प्रवाह में संशोधन करने, एरपी नियम को अपडेट करने, या टूल्स के साथ स्वचालन को ट्रिगर करने के लिए कहा जाता है, तो यह शायद ही कभी पर्यावरण का पूर्ण निर्भरता ग्राफ होता है। यह नहीं जानता कि कौन सा “अनुपयोगी” क्षेत्र डाउनस्ट्रीम डैशबोर्ड को शक्ति प्रदान करता है। यह नहीं देखता कि कौन सा स्वचालन उस सत्यापन नियम को संदर्भित करता है। यह दूसरे क्रम के प्रभाव को विश्वसनीय रूप से अनुकरण नहीं कर सकता है।

तो यह वही करता है जो बड़े भाषा मॉडल को प्रशिक्षित किया जाता है: यह अनुमान लगाता है। अनुमान समझ नहीं है। और संरचनात्मक संदर्भ के बिना अनुमान दिखता है जैसे हॉलुसिनेशन।

हम गलत बहस को फ्रेम करते रहते हैं

एआई समुदाय मॉडल-केंद्रित विश्वसनीयता चर्चा में फंस गया है। स्केलिंग कानूनों पर पत्र। चेन-ऑफ-थॉट प्रॉम्प्टिंग पर शोध। रिट्रीवल ऑगमेंटेशन तकनीकें। मूल्यांकन बेंचमार्क।

सभी आवश्यक। सभी मूल्यवान। लेकिन ध्यान दें कि क्या गायब है: एंटरप्राइज सिस्टम टोपोलॉजी की चर्चा।

एंटरप्राइज संदर्भ में विश्वसनीयता का अर्थ सिर्फ “मॉडल सही पाठ उत्पन्न करता है” नहीं है। इसका अर्थ है “सिस्टम ऐसे परिवर्तन करता है जो सुरक्षित, ट्रेसेबल और अनुमानित हैं।”

यह एक मौलिक रूप से अलग आवश्यकता है।

जब ओपनएआई और एंथ्रोपिक एआई एजेंट के प्रदर्शन का मूल्यांकन प्रकाशित करते हैं, तो वे तर्क कार्यों, कोडिंग बेंचमार्क, या ज्ञान पुनरावृत्ति पर सटीकता को मापते हैं। ये उपयोगी संकेत हैं। हालांकि, वे यह मापने में विफल रहते हैं कि क्या एक एआई एजेंट 15 वर्षों के संचित स्वचालन ऋण के साथ एक लाइव राजस्व प्रणाली में सुरक्षित रूप से संशोधन कर सकता है।

समस्या यह नहीं है कि क्या मॉडल सही सिंटैक्स वाला कोड लिख सकता है; यह है कि क्या एआई उस पर्यावरण को समझता है जिसमें वह कोड तैनात किया जाता है।

जीवित प्रणाली एंट्रोपी जमा करती हैं

एंटरप्राइज सिस्टम स्थिर डेटाबेस नहीं हैं। वे जीवित प्रणाली हैं। प्रत्येक नई एकीकरण एक निशान छोड़ती है। प्रत्येक अभियान एक क्षेत्र पेश करता है। प्रत्येक “त्वरित सुधार” एक अतिरिक्त स्वचालन परत को पेश करता है। समय के साथ, ये परतें ऐसे तरीकों से बातचीत करती हैं जो किसी एक व्यक्ति को पूरी तरह से समझ में नहीं आती हैं।

यह विकास का एक कार्य है। जटिल अनुकूली प्रणालियां स्वाभाविक रूप से एंट्रोपी जमा करती हैं। एमआईटी के स्लोन स्कूल के शोध ने लंबे समय से ही यह उजागर किया है कि संगठनों के भीतर जानकारी असमानता कैसे संचालन जोखिम को बढ़ाती है। इस बीच, गार्टनर अनुमान लगाता है कि खराब डेटा गुणवत्ता संगठनों को औसतन $12.9 मिलियन प्रति वर्ष की लागत से आती है।

अब कल्पना करें कि संरचनात्मक अपारदर्शिता के बिना उस पर्यावरण में स्वायत्त एजेंटों को डालें।

हमें आश्चर्य नहीं होना चाहिए जब परिणाम अप्रत्याशित लगते हैं। एजेंट दुर्भाग्यपूर्ण या मूर्ख नहीं है। यह अंधा है। यह अंधेरे में निर्माण कर रहा है।

पुनर्प्राप्ति पर्याप्त नहीं है

कुछ तर्क दे सकते हैं कि पुनर्प्राप्ति-संवर्धित पीढ़ी (आरएजी) इस समस्या का समाधान करती है। मॉडल को दस्तावेज़ तक पहुंच प्रदान करें। इसे स्कीमा विवरण खिलाएं। इसे एपीआई से कनेक्ट करें।

यह मदद करता है।

लेकिन दस्तावेज़ीकरण टोपोलॉजी नहीं है।

एक पीडीएफ जो बताता है कि एक कार्य प्रवाह “कैसे” संचालित होना चाहिए, वास्तव में यह कैसे वास्तव में 17 अन्य स्वचालन के साथ बातचीत करता है, इसका वास्तविक समय ग्राफ नहीं है।

एंटरप्राइज वास्तविकता अक्सर एंटरप्राइज दस्तावेज़ीकरण से मेल नहीं खाती।

2023 में प्रकाशित एक अध्ययन में संचार में पाया गया कि पुरानी दस्तावेज़ीकरण सॉफ्टवेयर रखरखाव विफलताओं का एक प्राथमिक योगदानकर्ता है। सिस्टम उनकी कथाओं की तुलना में तेजी से विकसित होते हैं।

तो जब हम एआई एजेंटों को दस्तावेज़ीकरण प्रदान करते हैं, तो हम अक्सर उन्हें एक आंशिक या आदर्शीकृत मानचित्र दे रहे होते हैं।

आंशिक मानचित्र अभी भी विश्वासपात्र त्रुटियां पैदा करते हैं।

एजेंटिक परत वास्तविक सुरक्षा परत है

हम सुरक्षा को संरेखण प्रशिक्षण, गार्डरेल, रेड-टीमिंग और नीति फिल्टर के रूप में सोचते हैं। सभी महत्वपूर्ण। लेकिन एंटरप्राइज संदर्भ में, सुरक्षा संदर्भगत है। यह जानना है:

• इस फील्ड पर क्या निर्भर करता है?
• कौन सा स्वचालन इस वस्तु को संदर्भित करता है?
• कौन से डाउनस्ट्रीम रिपोर्ट टूट जाएंगे?
• कौन इस प्रक्रिया का मालिक है?
• यह कब अंतिम बार संशोधित किया गया था?
• वर्तमान कॉन्फ़िगरेशन से पहले क्या ऐतिहासिक परिवर्तन हुए थे?

बिना इस परत के, एक एआई एजेंट प्रभावी रूप से एक ब्लैक बॉक्स के अंदर सुधार कर रहा है। इस परत के साथ, यह कार्रवाई करने से पहले प्रभाव का अनुकरण कर सकता है। हॉलुसिनेशन और विश्वसनीयता के बीच का अंतर अक्सर दृश्यता है।

मॉडल को दोष क्यों दिया जा रहा है

तो फिर, बहस इतनी भारी मात्रा में मॉडल पर क्यों केंद्रित है? क्योंकि मॉडल पठनीय हैं। हम पेरप्लेक्सिटी को माप सकते हैं। हम बेंचमार्क स्कोर की तुलना कर सकते हैं। हम स्केलिंग कर्व प्रकाशित कर सकते हैं। हम प्रशिक्षण डेटा की गुणवत्ता पर बहस कर सकते हैं।

एंटरप्राइज़ के भीतर जानकारी टोपोलॉजी कहीं अधिक गंदी है। यह क्रॉस-फ़ंक्शनल समन्वय की आवश्यकता है। यह शासन अनुशासन की मांग करता है। यह संगठनों को अपनी प्रणालियों की संचित जटिलता का सामना करने के लिए मजबूर करता है।

यह कहना आसान है “मॉडल तैयार नहीं है” कि “हमारी इन्फ्रास्ट्रक्चर अपारदर्शी है।”

लेकिन जैसे ही एआई एजेंट सामग्री पीढ़ी से संचालन निष्पादन तक बढ़ते हैं, यह फ्रेमिंग खतरनाक हो जाता है।

यदि हम विश्वसनीयता को केवल एक मॉडल समस्या के रूप में मानते हैं, तो हम उन पर्यावरणों में एजेंटों को तैनात करना जारी रखेंगे जिन्हें वे अर्थपूर्ण रूप से महसूस नहीं कर सकते हैं।

स्वायत्तता संदर्भ की आवश्यकता है

एंथ्रोपिक के हाल के प्रयोग मल्टी-एजेंट सॉफ़्टवेयर विकास टीमों के साथ दिखाते हैं कि एआई सिस्टम जटिल कार्यों पर समन्वय कर सकते हैं जब उन्हें संरचित संदर्भ और स्थायी मेमोरी प्रदान की जाती है। क्षमता की सीमा तेजी से आगे बढ़ रही है। लेकिन यह प्रकार की स्वायत्तता पर्यावरण जागरूकता के बिना नाजुक है।

एक स्व-ड्राइविंग कार केवल एक शक्तिशाली न्यूरल नेटवर्क पर निर्भर नहीं करती है। यह लिडार, कैमरों, मैपिंग सिस्टम और वास्तविक समय पर्यावरण संवेदन पर निर्भर करती है। मॉडल एक व्यापक धारणा स्टैक की एक परत है।

एंटरप्राइज एआई को लिडार के समकक्ष की आवश्यकता है। केवल एपीआई एक्सेस नहीं। केवल दस्तावेज़ीकरण नहीं। लेकिन सिस्टम निर्भरताओं की एक संरचित, गतिशील समझ।

जब तक यह मौजूद नहीं है, हॉलुसिनेशन के बारे में बहस जारी रहेगी।

छिपा हुआ जोखिम: अति-विश्वास

वर्तमान फ्रेमिंग में एक और सूक्ष्म जोखिम है।

जैसे ही मॉडल में सुधार होता है, उनके आउटपुट अधिक प्रवाही, अधिक प्रभावशाली, अधिक अधिकारी बन जाते हैं।

प्रवाहता अति-विश्वास को बढ़ाती है।

जब एक एजेंट संदर्भ के बिना एक प्रणाली को संशोधित करता है, तो विफलता तुरंत स्पष्ट नहीं होती है। यह सप्ताह बाद में एक रिपोर्टिंग विसंगति के रूप में, एक अनुपालन अंतर के रूप में, या एक राजस्व पूर्वानुमान त्रुटि के रूप में सामने आ सकता है। क्योंकि मॉडल कुशल दिखता है, संगठन इसकी संचालन सुरक्षा को अधिक आंक सकते हैं। वास्तविक विफलता मोड विश्वसनीय मiscalculation है।

और विश्वसनीय मiscalculation अंधेरे में पनपता है।

विश्वसनीयता प्रश्न को पुनः फ्रेम करना

इसके बजाय पूछने के लिए: “क्या मॉडल पर्याप्त है?” हमें पूछना चाहिए: “क्या एजेंट के पास सुरक्षित रूप से कार्य करने के लिए पर्याप्त संरचनात्मक संदर्भ है?” इसके बजाय बेंचमार्क सटीकता को मापने के, हमें पर्यावरणीय दृश्यता को मापना चाहिए। इसके बजाय पैरामीटर गिनती पर बहस करने के, हमें सिस्टम अपारदर्शिता का लेखा-जोखा करना चाहिए।

एआई विश्वसनीयता का अगला मोर्चा सिर्फ बड़े मॉडल नहीं है। यह समृद्ध संदर्भ परतें हैं।

इसके अलावा शामिल हैं:

• एंटरप्राइज सिस्टम के निर्भरता ग्राफ
• वास्तविक समय परिवर्तन ट्रैकिंग
• स्वामित्व मैपिंग
• ऐतिहासिक कॉन्फ़िगरेशन जागरूकता
• कार्रवाई करने से पहले प्रभाव सिमुलेशन

इनमें से कोई भी ग्लैमरस नहीं है। इनमें से कोई भी सोशल मीडिया पर रुझान नहीं है। लेकिन यहीं विश्वसनीयता जीती जाएगी।

लाइट्स ऑन के साथ निर्माण करना

एंटरप्राइज लीडर्स को विश्वसनीयता की मांग करने के लिए सही है इससे पहले कि उन्हें ऑपरेशनल प्राधिकरण प्रदान किया जाए। लेकिन आगे का मार्ग एक मिथक हॉलुसिनेशन-मुक्त मॉडल की प्रतीक्षा नहीं है।

यह दृश्यता बुनियादी ढांचे में निवेश करना है जो बुद्धिमान कार्रवाई को संभव बनाता है।

हम एक जूनियर प्रशासक को उत्पादन प्रणालियों में बदलाव करने की अनुमति नहीं देंगे बिना निर्भरताओं को समझे। हम एआई एजेंटों को ऐसा करने की अनुमति नहीं देनी चाहिए।

लक्ष्य? अंधे धब्बे को कम करना।

जब एजेंट संरचनात्मक जागरूकता के साथ कार्य करते हैं, तो हॉलुसिनेशन दर गिर जाती है न कि क्योंकि मॉडल बदल गया है, बल्कि क्योंकि अनुमान की सतह सिकुड़ जाती है।

अनुमान तर्क बन जाता है। तर्क सिमुलेशन बन जाता है। सिमुलेशन सुरक्षित निष्पादन बन जाता है।

अनिवार्य बदलाव

अगले पांच वर्षों में, एआई स्टैक दो भागों में विभाजित हो जाएगा। एक परत मॉडल क्षमता पर केंद्रित होगी: तर्क गहराई, बहु-मोडल प्रवाह, और लागत प्रभावशीलता। दूसरी परत सूचनात्मक/संदर्भ टोपोलॉजी पर केंद्रित होगी: सिस्टम ग्राफ, मेटाडेटा बुद्धिमत्ता, और शासन ढांचे।

वे संगठन जो विश्वसनीयता को केवल एक मॉडल-चयन व्यायाम के रूप में मानते हैं, संघर्ष करेंगे।

वे संगठन जो विश्वसनीयता को एक वास्तुकला गुण के रूप में मानते हैं, कम जोखिम के साथ तेजी से आगे बढ़ेंगे।

हॉलुसिनेशन बहस प्रत्येक्षता में दिखाई देगी। वास्तविक कहानी दृश्यता के बारे में होगी।

एआई स्वाभाविक रूप से लापरवाह नहीं है।

यह एक अंधेरे कमरे में काम कर रहा है।

जब तक हम इसका समाधान नहीं करते हैं, तब तक हम बुद्धिमान प्रणालियों का निर्माण नहीं कर रहे हैं। हम शक्तिशाली पूर्वानुमानकर्ताओं का निर्माण कर रहे हैं जो अपारदर्शी वातावरण के भीतर हैं।

और इसका अर्थ है कि尽管 सभी प्रगति, एआई अभी भी अंधेरे में निर्माण कर रहा है।