एंटरप्राइज़ एआई पायलट क्यों उत्पादन से पहले रुक जाते हैं: यह मॉडल नहीं, हार्नेस है

मॉडल कभी भी कठिन भाग नहीं था। निर्माण के अंदर से, उत्पादन प्राप्त किया जाता है या खो जाता है मॉडल के चारों ओर की परत में: पुनर्प्राप्ति, आधार, मार्गदर्शन, और मूल्यांकन।

हर बड़े एंटरप्राइज़ एआई सर्वेक्षण में एक ही दीवार का वर्णन किया गया है: संगठन मॉडल तक पहुंच प्राप्त कर सकते हैं, पायलट चला सकते हैं, और कुछ प्रभावशाली दिखा सकते हैं, और फिर लगभग कुछ भी उत्पादन तक नहीं पहुंचता है। रिपोर्ट बाहर से इस अंतर का वर्णन करती है: कार्यकारी अधिकारियों द्वारा प्रश्नावली का उत्तर देने। यह दूसरी ओर से दृश्य है: निर्माण के अंदर से, जहां पायलट या तो उत्पादन में पारित हो जाते हैं या चुपचाप मर जाते हैं।

जिस अंतर को हर कोई माप रहा है

संख्याएं परिचित हो गई हैं। डेलॉइट की एंटरप्राइज़ में एआई की स्थिति में पाया गया कि एआई तक पहुंच अब लगभग सार्वभौमिक है, लेकिन केवल लगभग एक चौथाई संगठन अपने प्रयोगों में से 40% को उत्पादन में ला पाते हैं, और लगभग एक पांचवां संगठन स्वायत्त एजेंटों के लिए परिपक्व शासन की सूचना देता है। एमआईटी के प्रोजेक्ट नांडा ने इसे और अधिक स्पष्ट रूप से कहा: सैकड़ों तैनातियों में, अधिकांश ने कोई मापनीय वित्तीय रिटर्न नहीं दिया। गार्टनर ने अनुमान लगाया है कि जनरेटिव एआई परियोजनाओं का एक बड़ा हिस्सा प्रूफ-ऑफ-кон्सेप्ट चरण के बाद छोड़ दिया जाएगा, खराब डेटा गुणवत्ता, बढ़ती लागत, और अस्पष्ट व्यावसायिक मूल्य का हवाला देते हुए।

इन निष्कर्षों को एक साथ रखें और एक ही आकार उभरकर सामने आता है। बोतलनेक मॉडल तक पहुंच नहीं है। यह समस्या हल हो गई है। बोतलनेक मॉडल के बीच की दूरी है जो एक डेमो में काम करता है और एक प्रणाली जो उत्पादन में काम करती है, हर समय, हर उपयोगकर्ता के लिए, वास्तविक भार के तहत, गलत होने के वास्तविक परिणामों के साथ।

एक अस्पष्टता जो स्पष्ट रूप से कही जानी चाहिए: बहुत से पायलट कोई इंजीनियरिंग कारणों से नहीं जहाज नहीं करते: कोई वास्तविक व्यवसाय मामला, कोई उपयोगी डेटा, कोई कार्यकारी प्रायोजक, या कोई कुल लागत जिसे कोई मॉडल नहीं किया। उन्हें अलग रखें। जो आगे आता है वह उन बड़े और निराशाजनक सेट के पायलटों के बारे में है जो तकनीकी रूप से वास्तविक हैं, डेमो में आश्वस्त हैं, और उनके पीछे एक वास्तविक उपयोग का मामला है, और फिर भी उत्पादन के रास्ते में रुक जाते हैं। उनमें से, निर्णायक कारक लगभग कभी मॉडल नहीं है।

सर्वेक्षण डेटा आपको यह नहीं बता सकता कि वास्तव में उस दूरी को क्या बंद करता है। यह उत्तर एक प्रश्नावली में नहीं रहता है। यह इंजीनियरिंग निर्णयों में रहता है जो डेमो के बाद किए जाते हैं जब mọi को प्रभावित करते हैं और जब प्रणाली वास्तविक ग्राहकों के साथ विश्वासपात्र होती है।

पैटर्न: निर्णायक सुधार लगभग कभी मॉडल नहीं है

एंटरप्राइज़ एआई इंगेजमेंट में जिन्हें हम बोल सकते हैं, एक सुसंगत पैटर्न है: जब एक रुके हुए पायलट ने अंततः उत्पादन तक पहुंचा, तो जो परिवर्तन वहां पहुंचाया वह शायद ही कभी एक बेहतर मॉडल था। यह मॉडल के चारों ओर की परत थी: जानकारी कैसे पुनर्प्राप्त की जाती है और आधारित की जाती है, आउटपुट कैसे जांचे जाते हैं इससे पहले कि वे उपयोगकर्ता तक पहुंचें, कैसे काम को सही मॉडल के बजाय सबसे शक्तिशाली मॉडल में रूट किया जाता है, और कैसे पूरी चीज़ का मूल्यांकन निरंतर रूप से किया जाता है।

हम इसे हार्नेस लेयर कहते हैं। एक एजेंट, व्यावहारिक रूप से, एक मॉडल है जिसमें टूल्स तक पहुंच है, और हार्नेस वह सब कुछ है जो यह निर्धारित करता है कि मॉडल संदर्भ कैसे पुनर्प्राप्त करता है, उन टूल्स का उपयोग कैसे करता है, और इसके द्वारा उत्पादित किए जाने वाले लिए जवाबदेह कैसे होता है: पुनर्प्राप्ति, आधार जांच, मॉडल रूटिंग, गार्डरेल, और मूल्यांकन। ये घटक अलगाव में काम नहीं करते हैं। आपको उन्हें जानबूझकर एक विशिष्ट उपयोग के मामले के लिए संयोजित करना होगा। यह संयुक्त अनुशासन है जिसे हम एजेंट हार्नेसिंग कहते हैं, और यह वह जगह है जहां उत्पादन-तैयारी वास्तव में जीती या हार जाती है।

यह प्रूफ-ऑफ-кон्सेप्ट ट्रैप को पुनः परिभाषित करता है। टीमें रुक जाती हैं क्योंकि वे उस हिस्से को अनुकूलित करना जारी रखती हैं जो पहले से ही काम करता है। वे एक नए मॉडल में स्वैप करते हैं, प्रॉम्प्ट्स को फिर से इंजीनियर करते हैं, और अगले फ्रंटियर रिलीज की प्रतीक्षा करते हैं, जबकि वास्तविक विफलता बिंदु एक परत बाहर बैठते हैं, प्रणाली के उन हिस्सों में जो एक डेमो कभी तनाव नहीं देते हैं।

आधार, एक स्मार्ट मॉडल नहीं, जो एक एजेंट को पर्याप्त सुरक्षित बनाता है

एक सिफारिश और सलाहकार सहायक को ध्यान में रखें जिसे हमने बीमा क्षेत्र में बनाया, एक डोमेन जहां एक आत्मविश्वास से गलत उत्तर एक ग्लिच नहीं है बल्कि एक देयता है। ऐसे मामलों में पहली प्रवृत्ति सबसे क्षमता वाले मॉडल तक पहुंचने की है और मान लेना है कि क्षमता सुरक्षा खरीदती है। यह नहीं करता है। एक अधिक फ्लूएंट मॉडल अधिक आश्वस्त हॉलुसिनेशन उत्पन्न करता है, जो एक विनियमित संदर्भ में खराब, नहीं बेहतर है।

जो प्रणाली को शिप करने योग्य बनाता था वह हार्नेस था: एक पुनर्प्राप्ति डिज़ाइन जो केवल शासित, किरायेदार-सुरक्षित स्रोतों से खींचता था; आधार जांच जो उत्पन्न दावों की पुष्टि करती थी उन स्रोतों के खिलाफ इससे पहले कि कुछ भी उपयोगकर्ता तक पहुंचता; और एक सत्यापन चरण जो असमर्थित दावों को बनाने के बजाय प्राथमिकता देता था। परिणाम एक मॉडल-ओनली बेसलाइन के खिलाफ 80 से 90 प्रतिशत की हॉलुसिनेशन में कमी थी, 95 प्रतिशत से अधिक आधार जांच की सटीकता के साथ, जबकि प95 लेटेंसी को दो सेकंड से कम रखना, इसलिए सुरक्षा परत ने प्रणाली को कभी धीमा महसूस नहीं कराया।

मॉडल चयन के साथ सुरक्षा का समीकरण करने वालों के लिए यह एक विपरीत सबक: आधार और सत्यापन परत ही शासन है। नीति दस्तावेज और अनुमोदन समितियां महत्वपूर्ण हैं, लेकिन वे मॉडल को अनुमान के समय एक तथ्य गढ़ने से नहीं रोकते हैं। एक पुनर्प्राप्ति और सत्यापन हार्नेस करता है। हमारी तैनातियों में, तकनीकी आधार परत वास्तविक शासन तंत्र है: जहां “एआई को चीजें बनाने की अनुमति नहीं है” एक सिद्धांत से एक लागू गुण बन जाता है।

मॉडल रूटिंग, मॉडल चयन नहीं, जहां एआई लागत तय की जाती है

पायलट मरने का दूसरा स्थान बजट समीक्षा है। एक प्रणाली सुंदरता से काम कर सकती है और फिर भी रद्द कर दी जा सकती है जब प्रति-टोकन अर्थशास्त्र, हजारों उपयोगकर्ताओं और दर्जनों उपयोग के मामलों में गुणा किया जाता है, एक कुल-मालिकाना समस्या में बदल जाता है जिसे कोई मॉडल आगे नहीं बढ़ाता है।

यहां भी प्रवृत्ति एक मजबूत मॉडल चुनना और सब कुछ उसमें रूट करना है। अधिकांश एंटरप्राइज़ कार्यभार मिश्रित होते हैं: अनुरोधों का एक बड़ा हिस्सा दिनचर्या है, और एक छोटा सा हिस्सा वास्तव में कठिन है। हर अनुरोध को एक फ्रंटियर मॉडल में भेजने का अर्थ है ट्राइएज के लिए फ्रंटियर की कीमतें चुकाना जो एक छोटा, सस्ता मॉडल अच्छी तरह से संभालता है।

एक तीसरे पक्ष के एलएलएम एपीआई पर एक अमेज़न बेडरॉक पर स्थानांतरण में, लाभ मॉडल को स्वैप करने के बजाय मॉडल परत को फिर से डिज़ाइन करने से आया। प्रत्येक कार्य को उपयुक्त मॉडल टियर में रूट करना, बेडरॉक-मूल लागत और शासन नियंत्रण के साथ संयुक्त, एआई बुनियादी ढांचे की लागत में 42 प्रतिशत की कमी और 60 प्रतिशत तेजी से अनुपालन सामग्री के निर्माण के साथ वितरित किया गया, बिना अनुप्रयोग का पुनर्निर्माण किए।

इस सिद्धांत को बढ़ाएं और यह जोड़। एक स्तरीकृत “सलाहकार” वास्तुकला, सस्ते मॉडल त्रिभुज और हैंडलिंग के लिए भुगतान, फ्रंटियर मॉडल आरक्षित हैं जो वास्तव में उन्हें चाहिए, रूटिंग को एक बार के बचत से एक संरचनात्मक में बदल देता है।

यह पैटर्न एंटरप्राइज़ एआई लागत को 60 से 80 प्रतिशत तक कम कर देता है और कुछ तैनातियों में 85 प्रतिशत तक। बात यह नहीं है कि शीर्षलेख प्रतिशत; यह है कि एआई प्रणाली की लागत इसके आर्किटेक्चर द्वारा निर्धारित की जाती है, मॉडल के चयन द्वारा नहीं।

यह सर्वेक्षण डेटा में क्यों अदृश्य है

यह कुछ भी साफ़ सर्वेक्षण में नहीं दिखता है, क्योंकि सर्वेक्षण कार्यकारी अधिकारियों से परिणामों के बारे में पूछते हैं, इंजीनियरों से तंत्र के बारे में नहीं। “क्या आपका पायलट उत्पादन तक पहुंचा?” एक हां/नहीं है जिसे एक कार्यकारी अधिकारी उत्तर दे सकता है। “वास्तव में क्या वहां पहुंचाया?” एक प्रश्न है जिसे केवल निर्माण टीम उत्तर दे सकती है, और उत्तर शायद ही कभी “हमने एक बेहतर मॉडल पाया” है। यह लगभग हमेशा “हमने मॉडल के चारों ओर की परत को ठीक किया” का कुछ संस्करण है।

यह मेल यह समझाता है कि प्रूफ-ऑफ-кон्सेप्ट ट्रैप इतनी दृढ़ता से क्यों बनी रहती है। उद्योग मॉडल समस्या का निदान करता रहता है और मॉडल समाधान खरीदता है, जबकि वास्तविक प्रतिबंध पुनर्प्राप्ति, आधार, मार्गदर्शन, और मूल्यांकन में बैठता है: डेमो दिखाने वाली और फाउंडेशन-मॉडल लॉन्च विज्ञापन देने वाली अनग्लैमरस प्लंबिंग।

यह यह भी समझाता है कि शासन और वितरण गति विपरीत नहीं हैं जैसा कि उन्हें माना जाता है। सामान्य कथा शासन को जहाज के ब्रेक के रूप में मानती है। हमारे अनुभव में, यह विपरीत है: जो काम एक प्रणाली को शासनयोग्य बनाता है वही काम इसे वास्तविक उपयोगकर्ताओं के सामने रखने के लिए विश्वसनीय बनाता है। हार्नेस परत में किया गया, शासन जहाज को धीमा करने के लिए नहीं है। यह वह है जो जहाज को बिल्कुल भेजने देता है।

इसका क्या अर्थ है यदि आपका पायलट फंसा हुआ है

यदि आपके पास एक जनरेटिव एआई परियोजना है जो प्रूफ-ऑफ-кон्सेप्ट पुरगेटरी में बैठी है, तो सबसे उपयोगी बात जो आप कर सकते हैं वह है मॉडल पर पहले देखने के लिए प्रतिरोध करना। मॉडल वह हिस्सा है जो सबसे अधिक पहले से ही पर्याप्त होने की संभावना है। इसके बजाय मॉडल के चारों ओर की परत देखें:

• पुनर्प्राप्ति और आधार: क्या प्रणाली शासित, सत्यापित स्रोतों से उत्तर दे रही है, या अपने प्रशिक्षण से कल्पना कर रही है?
• सत्यापन: क्या कुछ भी आउटपुट की जांच करता है इससे पहले कि उपयोगकर्ता इसे देखे, या मॉडल का विश्वास सीधे जाता है?
• मार्गदर्शन: क्या हर अनुरोध फ्रंटियर की कीमत चुका रहा है, या काम को सबसे सस्ते मॉडल में मेल khaya जा रहा है जो इसे अच्छी तरह से संभाल सकता है?
• मूल्यांकन: क्या गुणवत्ता निरंतर अपने स्वयं के बेंचमार्क के खिलाफ मापी जा रही है, या यह एक बार डेमो में सत्यापित किया गया था और कभी फिर से नहीं?

2026 में पायलट से उत्पादन में जाने वाले संगठन वे नहीं हैं जिनके पास सबसे अच्छे मॉडल तक पहुंच है। हर किसी के पास यह है। वे हैं जिन्होंने समझा कि मॉडल कभी भी कठिन भाग नहीं था, और जिन्होंने अपने इंजीनियरिंग प्रयास को हार्नेस में डाला, जहां उत्पादन वास्तव में जीता जाता है।