व्यवसायिक एआई क्यों तैनाती के बाद टूट जाता है – और इसके बारे में क्या करना है

चेतावनी: समस्या मॉडल नहीं है

2023 में, न्यूयॉर्क शहर ने व्यवसायों को जटिल नियमों को नेविगेट करने में मदद करने के लिए माईसिटी चैटबॉट लॉन्च किया। विचार सरल था: कानूनी जानकारी को अधिक आसानी से एक्सेस करना बनाएं।

व्यवहार में, प्रणाली ने उत्तर दिए जो न केवल गलत थे, बल्कि कानूनी रूप से भ्रामक थे – टिपिंग नियमों से लेकर हाउसिंग भेदभाव तक और भुगतान कानूनों तक।

बाद में एक ऑडिट में पाया गया कि 71.4% उपयोगकर्ता प्रतिक्रिया नकारात्मक थी। अंतर्निहित मुद्दों को ठीक करने के बजाय, प्रतिक्रिया DISCLAIMERS जोड़ने के लिए थी। चैटबॉट दो साल से अधिक समय तक “बीटा” में रहा trước कि इसे बंद कर दिया गया।

विफलता तकनीकी नहीं थी। प्रणाली उत्पादन में टूट गई क्योंकि सटीकता को सुनिश्चित करने के लिए कोई तंत्र नहीं था, कोई स्पष्ट जवाबदेही नहीं थी, और जब चीजें गलत हो गईं तो हस्तक्षेप करने का कोई तरीका नहीं था।

यह व्यवसायिक एआई के पीछे का पैटर्न है: प्रौद्योगिकी काम करती है, लेकिन संगठन इसे विश्वसनीय रूप से संचालित करने के लिए तैयार नहीं हैं जब यह लाइव होता है।

पायलट से उत्पादन तक: जहां सब कुछ टूट जाता है

एक पायलट बनाना बहुत सरल है – एक उपयोग का मामला चुनें, एक मॉडल चुनें, डेटा तैयार करें, एक प्रायोजक ढूंढें। उत्पादन में एक प्रणाली चलाना एक अलग लीग है।

अंतर एक पूल में कूदने और 2012 में फेलिक्स बाउमगार्टनर द्वारा किए गए स्ट्रैटोस्फियर से कूदने के बीच का अंतर है। समान बुनियादी भौतिकी, पूरी तरह से अलग परिस्थितियां – और विफलता के लिए बहुत अलग परिणाम।

उत्पादन में, एआई वास्तविक निर्णय लेने वाले प्रवाह में प्रवेश करता है, ग्राहकों के साथ बातचीत करता है, और कानूनी और संचालन परिणाम पैदा करता है। यह वह जगह है जहां अंतर दिखाई देने लगते हैं – मॉडल में नहीं, बल्कि इसके शासन में।

यूरोप इसे अधिकांश क्षेत्रों की तुलना में पहले दिखाई देता है। यूरोपीय संघ के एआई अधिनियम, जीडीपीआर और एनआईएस 2 जैसे नियम गोद लेने को धीमा नहीं करते हैं – वे यह उजागर करते हैं कि क्या संगठन वास्तविक प्रतिबंधों के तहत एआई प्रणालियों को संचालित कर सकते हैं।

2025 में, 55% बड़े यूरोपीय संघ के उद्यम पहले से ही एआई का उपयोग कर रहे थे। गोद लेना पहले से ही बड़े पैमाने पर हो रहा है। चुनौती यह है कि तैनाती के बाद क्या होता है।

उस बिंदु पर, बुनियादी संचालन प्रश्न सतह पर आने लगते हैं। और अक्सर, कोई भी उन्हें जवाब नहीं दे सकता है: एआई आउटपुट और स्वायत्त निर्णयों के लिए कौन जिम्मेदार है? जब प्रणाली अप्रत्याशित तरीके से व्यवहार करती है तो क्या होता है? और कौन इसे मीडिया तक पहुंचने से पहले पकड़ लेगा?

दायित्व कंपनी के साथ रहता है, न कि प्रौद्योगिकी के साथ। एयर कनाडा का चैटबॉट एक ग्राहक को शोक संतप्त किराया नियमों के बारे में गलत जानकारी दी। ग्राहक ने इसके ऊपर भरोसा किया और बाद में एक रिफंड से इनकार कर दिया गया। एक न्यायाधिकरण ने निर्णय सुनाया कि विमान सेवा जिम्मेदार थी – चैटबॉट एक अलग इकाई नहीं थी।

समस्या एक ही है, अलग कोण से: मैकडॉनल्ड्स का मैकहायर सिस्टम लगभग 64,000 आवेदकों के संवेदनशील डेटा को उजागर करता है। कारण एक जटिल हमला नहीं था – प्रशासक लॉगिन “प्रशासक” और “123456” का उपयोग करता था। प्रणाली उन्नत दिखाई दी। विफलता मूलभूत थी।

जब आप एक लाइव प्रणाली पर शासन को जोड़ते हैं, तो यह पहले से ही बहुत देर हो चुकी होती है। एक प्रणाली तैनात करना एक तकनीकी निर्णय है। इसे विश्वसनीय रूप से संचालित करना एक संगठनात्मक निर्णय है। और यह वह हिस्सा है जिसे अधिकांश कंपनियां कम आंकती हैं।

कौन वास्तव में एआई जोखिम का मालिक है? कोई नहीं।

यह समस्या का मूल है, और विरोधाभासी रूप से सबसे कम चर्चा की जाने वाली बात है। आईटी बुनियादी ढांचे का प्रबंधन करता है। कानूनी अनुपालन को संभालता है। व्यवसाय टीमें उपयोग के मामलों को बढ़ावा देती हैं। लेकिन कोई भी एआई जोखिम का मालिक नहीं है।

यह दो तत्काल समस्याएं पैदा करता है। “जाने” का निर्णय धीमा हो जाता है – क्योंकि कोई भी जिम्मेदारी लेना नहीं चाहता है। और “रोक” निर्णय भी धीमा हो जाता है – क्योंकि कोई नहीं जानता कि कौन कर सकता है।

डेटा इसे प्रतिबिंबित करता है। एआई के उपयोग के मामलों में से कम से कम 10% पायलट से उत्पादन तक बने रहते हैं, और अधिकांश संगठनों को मापने योग्य व्यवसाय प्रभाव पैदा करने में संघर्ष करते हैं। उसी समय, कई पहले से ही एआई तैनात कर रहे हैं – लेकिन एक शासन परिपक्वता सर्वेक्षण के अनुसार, केवल 7% के पास अच्छी तरह से संरचित और लगातार लागू किया गया शासन था।

यह इतनी लगातार क्यों होता है? क्योंकि अधिकांश फ्रेमवर्क और कॉर्पोरेट नीतियां परिभाषित करते हैं कि क्या होना चाहिए – न कि जब यह मायने रखता है तो कौन जिम्मेदार है। जब एक प्रणाली शुक्रवार की रात को 12 बजे गलत आउटपुट देना शुरू कर देती है, तो प्रश्न सैद्धांतिक नहीं है। कौन कार्य करता है? और किसके पास यह तय करने का अधिकार है?

यह मात्रा के साथ और भी बदतर हो जाता है। एक प्रणाली को अनौपचारिक रूप से प्रबंधित किया जा सकता है। जब आपके पास तीस होते हैं, तो जिम्मेदारी टीमों में टूट जाती है, और किसी के पास पूरी तस्वीर नहीं होती है।

कॉमनवेल्थ बैंक ऑफ ऑस्ट्रेलिया एक स्पष्ट उदाहरण प्रदान करता है। बैंक ने 45 ग्राहक सेवा कर्मचारियों को एआई वॉइस बॉट्स से बदल दिया, उम्मीद करते हुए कि मांग कम हो जाएगी। ऐसा नहीं हुआ। कॉल की मात्रा बढ़ गई, प्रबंधकों ने अतिरिक्त कार्यभार को संभालने के लिए कदम रखा, और बैंक को सभी 45 कर्मचारियों को फिर से नियुक्त करना पड़ा। जब चुनौती दी गई, तो यह प्रदर्शित नहीं कर सका कि स्वचालन ने कार्यभार को कम किया है।

कोई भी तैनाती से पहले धारणाओं को सत्यापित नहीं करता था। कोई भी परिणाम का मालिक नहीं था जब वे असफल हो गए। यह एक जिम्मेदारी वैक्यूम की तरह दिखता है व्यवहार में।

नियमों का होना पर्याप्त नहीं है। आपको एक तंत्र की आवश्यकता है

अधिकांश संगठन नीतियों की कमी नहीं है। उन्हें ऐसी प्रणालियों की कमी है जो कुछ गलत होने पर काम करती हैं।

एक नीति परिभाषित करती है कि क्या होना चाहिए। एक तंत्र निर्धारित करता है कि वास्तव में क्या होता है – जब एक मॉडल गलत आउटपुट देता है, जब एक विक्रेता पृष्ठभूमि में कुछ बदलता है, या जब एक प्रणाली अप्रत्याशित तरीके से व्यवहार करना शुरू कर देती है।

यह अंतर उत्पादन में दिखाई देता है – जब निर्णय वास्तविक परिस्थितियों में लेने होते हैं।

इन विफलताओं का पालन एक सुसंगत गतिविधि है। प्रत्येक मामले में, समान संचालन अंतराल दिखाई देते हैं – बस अलग-अलग रूपों में।

मालिकाना पहले आता है

प्रत्येक तैनात एआई प्रणाली को एक स्पष्ट रूप से जवाबदेह मालिक की आवश्यकता होती है – एक व्यक्ति, एक टीम या विभाग नहीं, जिसके पास अनुमोदन, पause, और इसे बंद करने का अधिकार है।

इसके बिना, न तो तेजी से तैनाती संभव है और न ही सुरक्षित हस्तक्षेप। कॉमनवेल्थ बैंक के उदाहरण के रूप में, स्पष्ट मालिकाना की अनुपस्थिति सीधे तौर पर संचालन विफलता की ओर ले जाती है।

डेटा और कानूनी स्पष्टता अक्सर गायब होती है

कई प्रणालियां बिना दस्तावेजीकृत डेटा प्रवाह, सत्यापित कानूनी आधार, या उत्पादन में एक बार प्रणाली के लिए कौन से दायित्व लागू होते हैं, इसकी स्पष्टता के बिना लाइव हो जाती हैं।

इतालवी नियामक की डीपसीक के खिलाफ 2025 में कार्रवाई इसे स्पष्ट रूप से दर्शाती है। मुद्दा मॉडल की गुणवत्ता नहीं थी – यह व्यक्तिगत डेटा को कैसे संभाला गया था, इसकी व्याख्या करने में असमर्थता थी। परिणाम यूरोपीय उपयोगकर्ताओं के लिए एक अचानक सेवा व्यवधान था।

परीक्षण वास्तविक दुनिया के उपयोग को शायद ही कभी दर्शाता है

प्रणालियों का अक्सर मूल्यांकन उन परिदृश्यों पर किया जाता है जहां वे अच्छा प्रदर्शन करते हैं, लेकिन उन मामलों पर नहीं जहां विफलता सबसे ज्यादा मायने रखती है।

माईसिटी चैटबॉट एक स्पष्ट उदाहरण है। श्रम कानून, हाउसिंग भेदभाव, या भुगतान नियमों के आसपास बुनियादी एज केस को तैनाती से पहले नहीं पकड़ा गया था। एक बार जब यह वास्तविक उपयोगकर्ताओं के सामने आया, तो वे विफलताएं तुरंत सार्वजनिक हो गईं।

परीक्षण न केवल प्रदर्शन के बारे में है – यह उन जगहों की पहचान करने के बारे में है जहां प्रणाली विफल होती है trước कि उपयोगकर्ता, नियामक या पत्रकार करते हैं।

हस्तक्षेप अस्पष्ट है या बहुत धीमा है

यहां तक कि जब मुद्दे दिखाई दे रहे होते हैं, तो अक्सर प्रणाली को रोकने या बंद करने के लिए कोई स्पष्ट ट्रिगर या अधिकार नहीं होता है।

ज़िलो ऑफ़र इसे बड़े पैमाने पर प्रदर्शित करता है। प्रणाली ने एक एल्गोरिदम का उपयोग घरों की कीमत और खरीद के लिए किया। जैसे ही 2021 में बाजार ठंडा हुआ, प्रणाली ने सूजन मूल्य पर खरीदारी जारी रखी। समय पर ड्रिफ्ट का पता लगाने के लिए कोई तंत्र नहीं था, और इसे रोकने के लिए कोई स्पष्ट निर्णय बिंदु नहीं था। परिणाम $880 मिलियन से अधिक के नुकसान और पूरे डिवीजन के बंद होने का था।

निगरानी मालिकाना नहीं है

निगरानी अक्सर डैशबोर्ड तक सीमित होती है, लेकिन यह विफलताओं को रोकने में मदद नहीं करती है।

जो मायने रखता है वह परिभाषित जिम्मेदारी है: कौन संकेतों को ट्रैक करता है, क्या वृद्धि को ट्रिगर करता है, और कौन कार्य करने की उम्मीद करता है।

डेलॉइट ऑस्ट्रेलिया का मामला दिखाता है कि जब यह गायब होता है तो क्या होता है। एक सरकारी रिपोर्ट में हॉलुसिनेटेड उद्धरण और गलत कानूनी संदर्भ शामिल थे क्योंकि कोई भी स्पष्ट रूप से वितरण से पहले आउटपुट की पुष्टि करने के लिए जिम्मेदार नहीं था। परिणाम एक आंशिक रिफंड और प्रतिष्ठा की क्षति थी।

एजेंटिक एआई: जो आ रहा है वह और भी कठिन होगा

जनरेटिव एआई आउटपुट उत्पन्न करता है। एजेंटिक एआई कार्रवाई करता है। यह जोखिम को पूरी तरह से बदल देता है।

एकल प्रतिक्रिया का मूल्यांकन करने के बजाय, एक निर्देश एक श्रृंखला को ट्रिगर कर सकता है निर्णयों के साथ प्रणालियों में – एपीआई कॉल, डेटा एक्सेस, लेन-देन, अपडेट – अक्सर मानव हस्तक्षेप के बिना।

जब कुछ गलत हो जाता है, तो समस्या सटीकता नहीं है। यह ट्रेसेबिलिटी है। किस चरण ने समस्या का कारण बना? कौन सा डेटा उपयोग किया गया था? किसने कार्रवाई को अधिकृत किया? कई मामलों में, ये प्रश्न事実 के बाद मुश्किल हैं जवाब देने के लिए।

यह वह जगह है जहां मौजूदा अंतराल महत्वपूर्ण हो जाते हैं। अस्पष्ट मालिकाना, कमजोर निगरानी, और हस्तक्षेप की कमी नहीं केवल बनी रहती है – वे जटिल हो जाती हैं। एक दोषपूर्ण उत्तर को ठीक किया जा सकता है। एक दोषपूर्ण कार्रवाई पहले कि कोई ध्यान दे परिणाम पैदा कर सकती है।

प्रारंभिक संकेत पहले से ही इस दिशा में इशारा करते हैं। गार्टनर अनुमान लगाता है कि 2027 तक एजेंटिक एआई परियोजनाओं में से अधिक 40% रद्द कर दिया जाएगा – मॉडल सीमाओं के कारण नहीं, बल्कि संगठन लागत, जोखिम और परिणामों को नियंत्रित करने के लिए संघर्ष करते हैं। यह वही पैटर्न है जिसे हम तैनाती के बाद जनरेटिव एआई के साथ देखते हैं। बस उच्च दांव के साथ।

नियामक पहले से ही एक सरल सिद्धांत के साथ प्रतिक्रिया कर रहे हैं: स्वचालन जवाबदेही को दूर नहीं करता है। संगठनों के लिए, इसका एक स्पष्ट अर्थ है: यदि मालिकाना और नियंत्रण आज अस्पष्ट हैं, तो एजेंटिक प्रणालियों में स्केलिंग करने से समस्या का समाधान नहीं होगा। यह इसे बढ़ा देगा।

इसे संचालित करें – या इसे खो दें

एआई अब प्रतिबंध नहीं है। मॉडल व्यापक रूप से उपलब्ध, क्षमतावान और बढ़ते हुए कमोडिटीज़ हैं। वास्तविक अंतर यह नहीं है कि क्या एक संगठन एआई बना सकता है – लेकिन क्या यह इसे लाइव होने पर विश्वसनीय रूप से संचालित कर सकता है।

यह वह जगह है जहां अधिकांश विफलताएं होती हैं – प्रणालियों को कैसे चलाया जाता है, न कि वे कैसे बनाए जाते हैं। जो संगठन सफल होंगे वे उन्नत मॉडल वाले नहीं होंगे। वे उन लोगों के साथ होंगे जिनके पास उनके चारों ओर स्पष्ट संचालन संरचनाएं हैं।

यह सीधे तौर पर परीक्षण किया जा सकता है। अपनी सबसे महत्वपूर्ण एआई प्रणाली लें और तीन प्रश्नों का उत्तर दें:

• कौन इसे बंद कर सकता है?
• आपको कैसे पता चलता है कि यह विफल हो रहा है?
• जब यह विफल हो जाता है तो क्या होता है?

यदि उन प्रश्नों के उत्तर स्पष्ट नहीं हैं, तो प्रणाली उत्पादन के लिए तैयार नहीं है।

मॉडल हो सकता है। संगठन नहीं है।