एआई विश्वसनीयता समस्या जिसे कोई चर्चा करना नहीं चाहता

एआई विश्वसनीयता के बारे में प्रमुख कथा सरल है: मॉडल हॉलुसिनेट करते हैं। इसलिए, कंपनियों को उनसे अधिकतम उपयोगिता प्राप्त करने के लिए, मॉडल में सुधार करना होगा। अधिक पैरामीटर। बेहतर प्रशिक्षण डेटा। अधिक पुनरावृत्ति सीखना। अधिक संरेखण।

और फिर भी, जैसे ही फ्रंटियर मॉडल अधिक क्षमतावान हो जाते हैं, विश्वसनीयता बहस गायब नहीं होती है। उद्यम नेता अभी भी एजेंटों को मुख्य प्रणालियों के भीतर महत्वपूर्ण कार्रवाई करने की अनुमति देने से हिचकिचाते हैं। बोर्ड अभी भी पूछते हैं: “क्या हम इस पर विश्वास कर सकते हैं?”

लेकिन हॉलुसिनेशन मुख्य रूप से एक मॉडल समस्या नहीं है। यह एक संदर्भ समस्या है। हम एआई प्रणालियों को उद्यम बुनियादी ढांचे पर संचालित करने के लिए कह रहे हैं बिना उन्हें सुरक्षित रूप से तर्क करने के लिए आवश्यक संरचनात्मक दृश्यता प्रदान किए। फिर हम मॉडल को दोष देते हैं जब यह अनुमान लगाता है।

वास्तविक विश्वसनीयता अंतर मॉडल के वजन में नहीं है, बल्कि जानकारी परत में है।

एक सर्जन बिना इमेजिंग

एक सर्जन की कल्पना कीजिए जो इमेजिंग के बिना ऑपरेट कर रहा है। कोई एमआरआई नहीं। कोई सीटी स्कैन नहीं। आसपास के ऊतक का वास्तविक समय दृश्य नहीं। बस एक सामान्य ज्ञान और एक स्कैल्पेल। यहां तक कि सबसे कुशल सर्जन को भी अनुमान लगाना होगा। अनुमान लगाना होगा। संभाव्य तर्क पर भरोसा करना होगा।

यही बात अभी उद्यम एआई एजेंटों के साथ हो रही है।

जब एक एआई प्रणाली से कार्यप्रवाह में संशोधन, एरपी नियम अद्यतन, या उपकरणों के साथ स्वचालन ट्रिगर करने के लिए कहा जाता है, तो यह शायद ही कभी पर्यावरण का पूर्ण निर्भरता ग्राफ होता है। यह नहीं जानता कि कौन सा “अनुपयोगी” फील्ड डाउनस्ट्रीम डैशबोर्ड को शक्ति प्रदान करता है। यह नहीं देखता कि कौन सा स्वचालन उस सत्यापन नियम को संदर्भित करता है। यह दूसरे क्रम के प्रभाव को विश्वसनीय रूप से अनुकरण नहीं कर सकता है।

तो यह वही करता है जो बड़े भाषा मॉडल को करने के लिए प्रशिक्षित किया जाता है: यह भविष्यवाणी करता है। भविष्यवाणी समझ नहीं है। और संरचनात्मक संदर्भ के बिना भविष्यवाणी हॉलुसिनेशन जैसा दिखता है।

हम गलत बहस को फ्रेम कर रहे हैं

एआई समुदाय मॉडल-केंद्रित विश्वसनीयता चर्चा में फंस गया है। स्केलिंग कानूनों पर शोध पत्र। चेन-ऑफ-थॉट प्रॉम्प्टिंग पर शोध। रिट्रीवल ऑगमेंटेशन तकनीकें। मूल्यांकन बेंचमार्क।

सभी आवश्यक। सभी मूल्यवान। लेकिन ध्यान दें कि क्या गायब है: उद्यम प्रणाली टोपोलॉजी की चर्चा।

उद्यम संदर्भ में विश्वसनीयता का अर्थ केवल “मॉडल सही पाठ उत्पन्न करता है” नहीं है। इसका अर्थ है “प्रणाली ऐसे परिवर्तन करती है जो सुरक्षित, ट्रेस करने योग्य और अनुमानित हैं।”

यह एक मूलभूत रूप से अलग आवश्यकता है।

जीवित प्रणाली एंट्रोपी जमा करती हैं

उद्यम प्रणाली स्थिर डेटाबेस नहीं हैं। वे जीवित प्रणाली हैं। प्रत्येक नई एकीकरण एक निशान छोड़ती है। प्रत्येक अभियान एक फील्ड पेश करता है। प्रत्येक “त्वरित सुधार” एक अतिरिक्त परत स्वचालन पेश करता है। समय के साथ, ये परतें ऐसे तरीकों से बातचीत करती हैं जो किसी एक व्यक्ति को पूरी तरह से समझ में नहीं आती हैं।

यह विकास का एक कार्य है। जटिल अनुकूली प्रणाली स्वाभाविक रूप से एंट्रोपी जमा करती हैं। एमआईटी के स्लोन स्कूल के शोध ने लंबे समय से यह उजागर किया है कि संगठनों के भीतर जानकारी असमानता कैसे संचालन जोखिम को बढ़ाती है। इस बीच, गार्टनर अनुमान लगाता है कि खराब डेटा गुणवत्ता संगठनों को औसतन $12.9 मिलियन प्रति वर्ष की लागत से आती है।

अब कल्पना कीजिए कि संरचनात्मक अस्पष्टता को पहले संबोधित किए बिना स्वायत्त एजेंटों को उस पर्यावरण में डालें।

हमें आश्चर्य नहीं होना चाहिए जब परिणाम अप्रत्याशित लगते हैं। एजेंट दुर्भाग्यपूर्ण या मूर्ख नहीं है। यह अंधा है। यह अंधेरे में निर्माण कर रहा है।

पुनर्प्राप्ति पर्याप्त नहीं है

कुछ तर्क देंगे कि पुनर्प्राप्ति-संवर्धित पीढ़ी (आरएजी) इस समस्या का समाधान करती है। मॉडल को दस्तावेज़ तक पहुंच प्रदान करें। इसे स्कीमा विवरण खिलाएं। इसे एपीआई से कनेक्ट करें।

यह मदद करता है।

लेकिन दस्तावेज़ीकरण टोपोलॉजी नहीं है।

एक पीडीएफ जो बताता है कि एक कार्यप्रवाह “कैसे” संचालित होना चाहिए, वास्तविक समय ग्राफ के समान नहीं है कि यह वास्तव में 17 अन्य स्वचालन के साथ कैसे बातचीत करता है।

उद्यम वास्तविकता अक्सर उद्यम दस्तावेज़ीकरण से मेल नहीं खाती है।

2023 में संचार में प्रकाशित एक अध्ययन पाया कि पुरानी दस्तावेज़ीकरण सॉफ्टवेयर रखरखाव विफलताओं का एक प्राथमिक योगदानकर्ता है। प्रणाली अपनी कथाओं की तुलना में तेजी से विकसित होती हैं।

तो जब हम एआई एजेंटों को दस्तावेज़ीकरण प्रदान करते हैं, तो हम अक्सर उन्हें एक आंशिक या आदर्शवादी मानचित्र प्रदान कर रहे होते हैं।

आंशिक मानचित्र अभी भी आत्मविश्वासी गलतियां उत्पन्न करते हैं।

एजेंटिक परत वास्तविक सुरक्षा परत है

हम सुरक्षा को संरेखण प्रशिक्षण, गार्डरेल, लाल टीमिंग और नीति फिल्टर के रूप में सोचते हैं। सभी महत्वपूर्ण। लेकिन उद्यम संदर्भ में, सुरक्षा संदर्भ है। यह जानना है:

• इस फील्ड पर क्या निर्भर करता है?
• कौन सा स्वचालन इस वस्तु को संदर्भित करता है?
• कौन से डाउनस्ट्रीम रिपोर्ट टूट जाएंगे?
• कौन इस प्रक्रिया का मालिक है?
• यह कब से बदला गया था?
• वर्तमान कॉन्फ़िगरेशन से पहले कौन से ऐतिहासिक परिवर्तन हुए थे?

इस परत के बिना, एक एआई एजेंट प्रभावी रूप से एक ब्लैक बॉक्स के भीतर सुधार कर रहा है। इस परत के साथ, यह कार्रवाई करने से पहले प्रभाव का अनुकरण कर सकता है। हॉलुसिनेशन और विश्वसनीयता के बीच का अंतर अक्सर दृश्यता है।

मॉडल को क्यों दोष दिया जा रहा है

तो क्यों बहस इतनी भारी मात्रा में मॉडल पर केंद्रित है? क्योंकि मॉडल पठनीय हैं। हम पेरप्लेक्सिटी को माप सकते हैं। हम बेंचमार्क स्कोर की तुलना कर सकते हैं। हम स्केलिंग कर्व प्रकाशित कर सकते हैं। हम प्रशिक्षण डेटा की गुणवत्ता पर बहस कर सकते हैं।

उद्यमों के भीतर जानकारी टोपोलॉजी कहीं अधिक गन्दी है। यह क्रॉस-फंक्शनल समन्वय की मांग करता है। यह शासन अनुशासन की मांग करता है। यह संगठनों को अपनी खुद की प्रणालियों की संचित जटिलता का सामना करने के लिए मजबूर करता है।

यह कहना आसान है “मॉडल तैयार नहीं है” कि “हमारा बुनियादी ढांचा अपारदर्शी है।”

लेकिन जैसे ही एआई एजेंट सामग्री पीढ़ी से परिचालन निष्पादन में जाते हैं, यह फ्रेमिंग खतरनाक हो जाता है।

यदि हम विश्वसनीयता को केवल एक मॉडल समस्या के रूप में मानते हैं, तो हम उन पर्यावरणों में एजेंटों को तैनात करना जारी रखेंगे जिन्हें वे अर्थपूर्ण रूप से महसूस नहीं कर सकते हैं।

स्वायत्तता संदर्भ की मांग करती है

एंथ्रोपिक के हाल के प्रयोग बहु-एजेंट सॉफ्टवेयर विकास टीमों के साथ दिखाते हैं कि एआई प्रणाली जटिल कार्यों में समन्वय कर सकती हैं जब उन्हें संरचित संदर्भ और स्थायी मेमोरी प्रदान की जाती है। क्षमता सीमा तेजी से आगे बढ़ रही है। लेकिन यह प्रकार की स्वायत्तता पर्यावरणीय जागरूकता के बिना नाजुक है।

एक स्व-ड्राइविंग कार केवल एक शक्तिशाली न्यूरल नेटवर्क पर निर्भर नहीं करती है। यह लिडार, कैमरों, मैपिंग सिस्टम और वास्तविक समय पर्यावरण सेंसिंग पर निर्भर करती है। मॉडल एक व्यापक धारणा स्टैक के भीतर एक परत है।

उद्यम एआई को लिडार के समकक्ष की आवश्यकता है। केवल एपीआई एक्सेस नहीं। केवल दस्तावेज़ीकरण नहीं। लेकिन प्रणाली निर्भरताओं की एक संरचित, गतिशील समझ।

छिपी हुई जोखिम: अति आत्मविश्वास

वर्तमान फ्रेमिंग में एक और सूक्ष्म जोखिम है।

जैसे ही मॉडल में सुधार होता है, उनके आउटपुट अधिक प्रवाही, अधिक प्रभावशाली, अधिक अधिकारी बन जाते हैं।

प्रवाह अति आत्मविश्वास को बढ़ाता है।

जब एक एजेंट पूर्ण संदर्भ के बिना एक प्रणाली को संशोधित करता है, तो विफलता तुरंत स्पष्ट नहीं होती है। यह बाद में एक रिपोर्टिंग विसंगति के रूप में, एक अनुपालन अंतराल, या एक राजस्व पूर्वानुमान त्रुटि के रूप में उभर सकता है। क्योंकि मॉडल सक्षम दिखता है, संगठन इसकी परिचालन सुरक्षा को अधिक आंक सकते हैं। वास्तविक विफलता मोड संभावित मiscalculation है।

और संभावित मiscalculation अंधेरे में पनपता है।

विश्वसनीयता प्रश्न को पुनः फ्रेम करना

इसके बजाय पूछें: “क्या एजेंट के पास सुरक्षित रूप से कार्य करने के लिए पर्याप्त संरचनात्मक संदर्भ है?” इसके बजाय बेंचमार्क सटीकता को मापें, हमें पर्यावरणीय दृश्यता को मापना चाहिए। पैरामीटर गणना पर बहस करने के बजाय, हमें सिस्टम अस्पष्टता का लेखा-जोखा करना चाहिए।

एआई विश्वसनीयता का अगला मोर्चा केवल बड़े मॉडल नहीं है। यह समृद्ध संदर्भ परतें हैं।

रोशनी के साथ निर्माण

उद्यम नेता विश्वसनीयता की मांग करने में सही हैं इससे पहले कि वे एजेंटों को परिचालन प्राधिकरण प्रदान करें। लेकिन आगे का मार्ग एक मिथक हॉलुसिनेशन-मुक्त मॉडल की प्रतीक्षा नहीं है।

यह दृश्यता बुनियादी ढांचे में निवेश करना है जो बुद्धिमान कार्रवाई को संभव बनाता है।

हम एक जूनियर प्रशासक को उत्पादन प्रणालियों में परिवर्तन करने की अनुमति नहीं देंगे बिना निर्भरताओं को समझे। हम एआई एजेंटों को ऐसा करने की अनुमति नहीं देनी चाहिए।

अनिवार्य बदलाव

अगले पांच वर्षों में, एआई स्टैक विभाजित हो जाएगा। एक परत मॉडल क्षमता पर केंद्रित होगी: तर्क गहराई, बहु-मोडल प्रवाह, और लागत दक्षता। दूसरी परत सूचनात्मक/संदर्भ टोपोलॉजी पर केंद्रित होगी: प्रणाली ग्राफ, मेटाडेटा बुद्धिमत्ता, और शासन ढांचे।

जो संगठन विश्वसनीयता को केवल एक मॉडल-चयन अभ्यास के रूप में मानते हैं, उन्हें संघर्ष करना होगा।

जो संगठन विश्वसनीयता को एक वास्तुकला गुण के रूप में मानते हैं, वे कम जोखिम के साथ तेजी से आगे बढ़ेंगे।

हॉलुसिनेशन बहस प्रतीत होगी कि प्रतीत होता है। वास्तविक कहानी दृश्यता के बारे में होगी।

एआई स्वाभाविक रूप से लापरवाह नहीं है।

यह एक अंधेरे कमरे में काम कर रहा है।

जब तक हम इसका सामना नहीं करते हैं, तब तक हम बुद्धिमान प्रणाली नहीं बना रहे हैं। हम शक्तिशाली भविष्यवाणीकर्ता को अस्पष्ट वातावरण में बना रहे हैं।

और इसका अर्थ है कि尽管 सभी प्रगति, एआई अभी भी अंधेरे में निर्माण कर रहा है।