जब मॉडल सही है और प्रक्रिया गलत है

वित्तीय सेवाओं में एक सामान्य परिदृश्य की कल्पना करें। एक टीम अनुबंधों की समीक्षा के लिए एआई को तैनात करती है: सैकड़ों पृष्ठ, पुनरावृत्ति खंड, और दिनों तक चलने वाला काम जो आमतौर पर कर्मचारियों को लगता है। मॉडल जोखिमों और संदर्भों को संबोधित करता है, लेकिन आउटपुट जोड़ नहीं पाता है।

यह पता चलता है कि समस्या अनुबंध फ़ोल्डर में है, जहां फ़ाइलें contract_v1.docx, contract_v2.docx, contract_final.docx, contract_final2.docx, और contract_finalfinal_THIS_ONE.docx नाम से रखी हैं।

एआई ने सबसे हाल ही में सहेजी गई फ़ाइल का चयन किया। लेकिन वह फ़ाइल एक पुराना संस्करण था जिसे किसी ने अनजाने में पिछले हफ्ते खोला और ऑटो-सेव किया था।

मॉडल ने ठीक वही किया जो उसे डिज़ाइन किया गया था। प्रक्रिया, हालांकि, उसे नीचे ले गई।

जब मॉडल समस्या नहीं है

मेरे पिछले लेख में, मैंने तर्क दिया कि एआई विफलताएं अक्सर मॉडल के बाहर शुरू होती हैं – इसके आसपास की शासन, स्वामित्व और निर्णय लेने की संरचनाओं में। लेकिन शासन केवल समस्या का एक हिस्सा है। एक अच्छी तरह से शासित एआई प्रणाली भी संघर्ष करेगी अगर इसके नीचे की प्रक्रिया पुराने दस्तावेजों, अनौपचारिक अपवादों या अनुमोदन पथों पर निर्भर करती है जो बहुत धीमी गति से काम करने के लिए डिज़ाइन किए गए थे।

जब एक एआई प्रणाली एक खराब परिणाम उत्पन्न करती है, तो मॉडल आमतौर पर पहला संदिग्ध होता है। शायद यह हॉलुसिनेटेड, कार्य को गलत समझा, या एक कमजोर प्रॉम्प्ट प्राप्त किया। लेकिन कभी-कभी मॉडल ने ठीक वही किया जो उसे करने के लिए डिज़ाइन किया गया था। विफलता प्रक्रिया में हुई जिसने इसकी जानकारी प्रदान की या संगठन में जो इसके आउटपुट पर कार्रवाई नहीं कर सका।

एआई तैनाती प्रक्रिया में मौजूद समस्याओं को उजागर करती है – एक निदान उपकरण की तरह। यह उन कमजोरियों को उजागर करता है जिन्हें लोग पहले से ही मुआवजा दे चुके थे लेकिन कभी दिखाई नहीं दिए: लापता संदर्भ, अस्पष्ट स्वामित्व और अनौपचारिक काम के चारों ओर जो कभी दस्तावेज नहीं किए गए थे।

क्षमता के बिना गति

एआई केवल आउटपुट को तेज नहीं करता है। यह अनुमोदन, निर्णयों के लिए अनुरोध और समस्याओं की खोज को भी तेज करता है। एक मॉडल वास्तविक समय में एक असामान्यता को चिह्नित करता है, शुक्रवार की दोपहर को नहीं जब किसी को अंततः लॉग के माध्यम से जाने का समय मिलता है।

संगठन इस गति के लिए तैयार नहीं हैं। अनुमोदन प्रक्रियाएं, वृद्धि पथ, निर्णय लेने की अधिकारिता – सभी मानव गति के लिए कैलिब्रेटेड थीं। जब एआई मानव गति से तेजी से आउटपुट उत्पन्न करता है, तो तीन चीजें हो सकती हैं:

• एआई एक निर्णय की प्रतीक्षा करता है, जो कुशलता लाभ को मिटा देता है।
• कर्मचारी इसके आउटपुट को अनदेखा करते हैं और वापस लौट जाते हैं जो वे मानते हैं कि काम करता है – पुरानी प्रक्रिया।
• कर्मचारी निर्णयों को आगे बढ़ाते हैं जिन्हें उन्होंने ठीक से जांचा नहीं है क्योंकि वे गति बनाए रखने के लिए दबाव महसूस करते हैं।

कुछ कर्मचारी मैनुअल जांच पर लौट आते हैं क्योंकि वे सुरक्षित महसूस करते हैं। अन्य परिणामों को मंजूरी देते हैं जिन्हें उन्होंने समय पर सत्यापित नहीं किया है क्योंकि वे गति बनाए रखने के लिए दबाव महसूस करते हैं। दोनों मामलों में, संगठन तेजी से आउटपुट के लिए भुगतान करता है लेकिन जिम्मेदार निर्णय लेने में तेजी नहीं लाता है।

स्वामित्व भी धुंधला हो सकता है। कौन जिम्मेदार है एक फ्लैग्ड असामान्यता की समीक्षा करने के लिए, यह तय करने के लिए कि मॉडल गलत है और मुद्दे को तब बढ़ाना जब कई टीमें शामिल हों? बिना स्पष्ट उत्तर के, एआई पृष्ठभूमि में चलता रहता है, आउटपुट उत्पन्न करता है जिसे वास्तव में कोई नहीं मानता है।

यह एक व्यापक संगठनात्मक समस्या को दर्शाता है। जैसा कि फोर्ब्स विश्लेषण से देखा गया, जब तकनीक कार्य प्रवाह को तेजी से बदलती है जितनी तेजी से एक संगठन इसे अवशोषित कर सकता है, परिणाम कुशलता नहीं है; यह अधिक काम है। एआई एक प्रक्रिया के चरण को तेज कर सकता है, लेकिन इसका मूल्य अभी भी इस बात पर निर्भर करता है कि आसपास का संगठन इसके द्वारा उत्पादित को अवशोषित और कार्य कर सकता है या नहीं।

कोई भी दस्तावेज़ नहीं लिखा गया ज्ञान

कल्पना करें कि मार्टिन जानता है कि कंपनी का आपूर्तिकर्ता के साथ अनुबंध में €2,000 से कम के भुगतान के लिए एक अपवाद शामिल है। यह तीन साल पहले मौखिक रूप से सहमत हुआ था लेकिन कभी दस्तावेज नहीं किया गया था। जब कंपनी भुगतान अनुमोदन को स्वचालित करने के लिए एआई को तैनात करती है, तो प्रणाली भुगतान को अवरुद्ध करती है – लिखित अनुबंध के अनुसार सही ढंग से।

यह सsilent ज्ञान है: संगठनात्मक ज्ञान जो लोगों के सिर में रहता है, न कि प्रणालियों में। हर कंपनी के पास यह है। और अधिकांश कंपनियों को पता नहीं है कि उनके पास इसका कितना है।

एआई केवल उस ज्ञान का उपयोग कर सकता है जिसे उसे सुलभ बनाया गया है। मार्टिन का अपवाद प्रणाली के दृष्टिकोण से मौजूद नहीं है। बिना इस संदर्भ के, इसका निर्णय तकनीकी रूप से सही हो सकता है लेकिन संचालन रूप से गलत हो सकता है।

मैककिंसे ने एजेंटिक एआई तैनाती में भी इसी चुनौती की पहचान की है। प्रभावी एआई एजेंट बनाने के लिए कंपनियों को मानक प्रक्रियाओं में मौजूद विशेषज्ञ अभ्यासों को संक्षिप्त करने की आवश्यकता है – या केवल कर्मचारियों के सिर में मौजूद सilent ज्ञान के रूप में। दूसरे शब्दों में, एआई तैनाती इसलिए हो सकती है कि संगठन पहली बार देखता है कि प्रक्रिया मार्टिन को कितनी दूर तक जानती है।

सच का झूठा स्रोत

एआई का सबसे खतरनाक आउटपुट हमेशा एक स्पष्ट रूप से गलत एक नहीं होता है। यह एक विश्वसनीय, पेशेवर रूप से प्रस्तुत उत्तर हो सकता है जो पुरानी जानकारी से निकला है।

वर्षों से, कई विभागों ने एक ही दस्तावेज के कई संस्करणों के साथ काम किया है क्योंकि कानूनी विभाग की जेन हमेशा जानती है कि कौन सा अधिकारी है। एआई, दुर्भाग्य से, नहीं जानता है।

जब तक उसे संस्करणों के बीच अंतर करने के नियम नहीं दिए जाते हैं, तो प्रणाली को प्राप्त दस्तावेज पर सवाल उठाने का कोई कारण नहीं है। और इसलिए एआई समीक्षा सही ढंग से चलती है – गलत दस्तावेज पर। यह कोई समीक्षा न होने से भी बदतर हो सकता है क्योंकि आउटपुट विश्वसनीय दिखता है।

एक अनुभवी कर्मचारी जानता है कि सच्चाई कहां है और अराजकता के माध्यम से नेविगेट कर सकता है। एक प्रणाली को एक विश्वसनीय तरीके से पहचानने की आवश्यकता है कि कौन सी जानकारी वर्तमान, अनुमोदित और प्रासंगिक है।

सilent ज्ञान, अविश्वसनीय दस्तावेज, और मानव-गति आउटपुट के लिए निर्मित अनुमोदन प्रक्रियाएं अलग-अलग समस्याएं लगती हैं। लेकिन वे एक ही मूल कारण साझा करते हैं। उनमें से कोई भी एआई द्वारा नहीं बनाया गया था, लेकिन एआई उन्हें नजरअंदाज करना मुश्किल बना देता है।

एक एजेंट बनाने से पहले प्रश्नों के उत्तर देने के लिए

एक एआई एजेंट तैनात करने से पहले, एक संगठन को तीन प्रश्नों के उत्तर देने में सक्षम होना चाहिए।

कौन से निर्णय ऐसे ज्ञान पर निर्भर करते हैं जिन्हें कभी दस्तावेज नहीं किया गया?

इसका अर्थ है अनुभवी कर्मचारियों द्वारा लागू किए जाने वाले अपवादों, शॉर्टकट और निर्णयों की पहचान करना जो उन्होंने जानबूझकर वर्णित नहीं किए हैं। साक्षात्कार अकेले इस ज्ञान को प्रकट नहीं कर सकते हैं। संगठनों को वास्तव में कैसे काम किया जा रहा है यह देखने और इसकी तुलना आधिकारिक प्रक्रिया से करने की आवश्यकता हो सकती है।

प्रणाली कैसे वर्तमान, अनुमोदित और प्रासंगिक जानकारी की पहचान करेगी?

एक एजेंट को अधिक दस्तावेजों तक पहुंच प्रदान करना समस्या का समाधान नहीं करता है यदि यह एक अनुमोदित अनुबंध और एक मसौदे या एक सक्रिय नीति और एक पुराने से अंतर नहीं कर सकता है। संस्करण, स्वामित्व, अनुमोदन स्थिति और प्रतिधारण नियमों को स्पष्ट होना चाहिए ताकि प्रणाली यह निर्धारित कर सके कि कौन सा स्रोत इसके निर्णय को नियंत्रित करना चाहिए।

मौजूदा अनुमोदन और वृद्धि प्रक्रियाएं इसके आउटपुट की मात्रा और गति को अवशोषित कर सकती हैं?

टीमों को अनुमान लगाना चाहिए न केवल यह कि एजेंट कितना काम पूरा कर सकता है, बल्कि यह भी कि इसके द्वारा कितनी समीक्षा, अपवाद और वृद्धि हो सकती है। एनआईएसटी एआई जोखिम प्रबंधन फ्रेमवर्क एआई प्रणालियों के मानव पर्यवेक्षण के लिए भूमिकाओं और जिम्मेदारियों को स्पष्ट रूप से परिभाषित करने की सिफारिश करता है। इन्हें अपेक्षित मात्रा से पहले डिज़ाइन किया जाना चाहिए – इसके बाद नहीं जब कर्मचारी इसके द्वारा अभिभूत हो जाते हैं।
इन प्रश्नों के उत्तर देने के लिए यह एक बार की बात नहीं है। प्रक्रियाएं बदलती हैं, दस्तावेज़ बूढ़े हो जाते हैं और अनदस्तावेजीकृत अपवाद फिर से जमा हो जाते हैं। इसलिए, तैयारी को बनाए रखने की आवश्यकता है, न कि केवल लॉन्च से पहले स्थापित करने की।

एआई तैयारी प्रक्रिया से शुरू होती है

एआई तैयारी केवल प्रौद्योगिकी का परीक्षण नहीं है। यह एक परीक्षण है कि क्या संगठन ने अपनी प्रक्रियाओं को प्रौद्योगिकी के भीतर काम करने के लिए पर्याप्त रूप से स्पष्ट किया है।

एक संगठन को एआई के लिए तैयार करने में मॉडल का चयन करने या एक एजेंट बनाने से अधिक शामिल है। इसका अर्थ है स्वामित्व को स्पष्ट करना, अधिकारिक जानकारी की पहचान करना, अपवादों का दस्तावेजीकरण करना और आउटपुट की समीक्षा, वृद्धि और कार्रवाई को कैसे किया जाए, इसे फिर से डिज़ाइन करना।

यह कठिन काम है, लेकिन एक विफल तैनाती अंततः संगठन को ऐसा करने के लिए मजबूर करेगी। एकमात्र परिवर्तनीय समय है।