क्लॉड “नर्फिंग” विवाद क्लॉड के बारे में नहीं है। यह इस बारे में है कि जब आपके संचालन किसी और के निर्णयों पर चलते हैं तो क्या होता है।

इस साल की शुरुआत में, एएमडी में एआई की वरिष्ठ निदेशक स्टेला लॉरेंजो, ने लगभग 7,000 क्लॉड कोड सत्रों से टेलीमेट्री प्रकाशित की, जिसमें इंजीनियरों ने जो महसूस किया था लेकिन उसे व्यक्त करने के लिए संघर्ष किया था: जनवरी और मार्च के बीच, दिखाई देने वाली तर्क की गहराई 73% तक गिर गई, प्रति कार्य एपीआई कॉल 80 गुना बढ़ गए, और मॉडल संपादन करने से पहले कम फ़ाइलें पढ़ रहा था। संख्याएं जल्दी फैल गईं। व्याख्या और भी तेजी से फैल गई।

एंथ्रोपिक विवरण का विवाद करता है। कंपनी का कहना है कि परिवर्तन जानबूझकर उत्पाद निर्णयों को दर्शाते हैं, जिनमें एक नई अनुकूल सोच तंत्र और मध्यम प्रयास को डिफ़ॉल्ट के रूप में शामिल किया गया है। स्वतंत्र विश्लेषकों ने भी विधि के कुछ हिस्सों पर पुश बैक किया है। विवाद जारी है, और उचित लोग इस बात से असहमत हैं कि वास्तव में क्या हुआ।

लेकिन यहाँ वह हिस्सा है जो आपके लिए महत्वपूर्ण है यदि आप इन प्रणालियों के शीर्ष पर एक व्यवसाय चला रहे हैं: यह गिरावट या जानबूझकर ट्यूनिंग थी या नहीं, यह नहीं बदलता है कि उद्यम संचालकों ने क्या अनुभव किया। वे इसे भविष्यवाणी नहीं कर सकते थे। वे इसे नियंत्रित नहीं कर सकते थे। और उनमें से कुछ ने उत्पादन में इसका अनुभव किया trước कि वे समझते थे कि क्या हो रहा था। यह वास्तविक कहानी है, और इसका एंथ्रोपिक के साथ विशेष रूप से कोई लेना-देना नहीं है।

यह एक निर्भरता समस्या है, मॉडल समस्या नहीं है।

जो हम वर्णन कर रहे हैं उसका एक नाम है: मॉडल क्षयता। यह स्थिति है जिसमें मिशन-महत्वपूर्ण संचालन एकल मॉडल के व्यवहार से जुड़े हुए हैं, ताकि मॉडल परत में कोई भी परिवर्तन, चाहे वह एक ट्यूनिंग निर्णय हो, एक नया डिफ़ॉल्ट हो, एक क्षमता-चालित मार्ग परिवर्तन हो, या एक शांत अप्रचलन हो, व्यवसाय को सीधे प्रभावित करता है, बिना किसी बफर और बिना किसी चेतावनी के।

यह एक नया पैटर्न नहीं है। जीपीटी-4 2023 में इसका एक संस्करण गया था। क्लॉड 3.5 2024 में एक गया था। क्लॉड ओपस अब एक जा रहा है। यह अगले फ्रंटियर मॉडल के साथ फिर से होगा, और उसके बाद वाले के साथ। नहीं क्योंकि कोई विक्रेता बुरे विश्वास में कार्य कर रहा है, लेकिन क्योंकि लागत, विलंबता, और पैमाने के लिए एक फ्रंटियर मॉडल को अनुकूलित करना वैश्विक मात्रा में ठीक वही है जो फ्रंटियर विक्रेताओं को करना है। उनके प्रोत्साहन और एक उद्यम द्वारा शीर्ष पर उत्पादन संचालन चलाने के प्रोत्साहन संबंधित हैं। वे एक जैसे नहीं हैं। वे कभी नहीं होंगे।

हमने 2023 में क्यूरेंट शुरू किया और ऐतिहासिक ज्ञान है कि उद्यम सॉफ़्टवेयर चक्र कैसे खेलते हैं: एक कंपनी एआई में निवेश करती है। डेमो काम करता है। पायलट काम करता है। फिर यह लाइव हो जाता है, मॉडल परत में कुछ बदलता है, और अचानक ग्राहक समस्या का मालिक है। वे वर्कफ़्लो को बनाए रखने वाले हैं, प्रतिगमन का पीछा करने वाले हैं, व्यवधान को अवशोषित करने वाले हैं। यह मुझे कभी एक टिकाऊ मॉडल के रूप में उद्यम संचालन के लिए समझ में नहीं आया।

उद्यम संस्करण इस कहानी का संचालन, तकनीकी नहीं है।

विकासकर्ताओं के लिए, वर्तमान स्थिति असुविधाजनक है। टोकन बजट तेजी से जलते हैं। कोडिंग सत्र रुक जाते हैं। बेंचमार्क निराश करते हैं। यह एक वास्तविक समस्या है, लेकिन यह एक पुनर्प्राप्त करने योग्य है।

उद्यमों के लिए जो वित्तीय संचालन, अनुपालन वर्कफ़्लो, लेखा प्राप्तियां और देय, और जटिल बैक-ऑफ़िस प्रक्रियाओं को चला रहे हैं, दांव अलग हैं। ये वर्कफ़्लो एक खराब सप्ताह को अवशोषित नहीं कर सकते हैं। त्रुटियाँ जुड़ती हैं। मात्रा जुड़ती है। एसएलए वास्तविक ग्राहकों के लिए प्रतिबद्धताएं हैं, आंतरिक पसंद नहीं। जब एक मॉडल एक उच्च-दांव पर प्रक्रिया पर खराब प्रदर्शन करना शुरू कर देता है, तो नुकसान जमा हो रहा है चाहे किसी ने भी इसका ध्यान दिया हो या नहीं।

जो इसे और भी कठिन बनाता है वह यह है कि अधिकांश कंपनियां जो एकल मॉडल पर आंतरिक एजेंटों का निर्माण करके एआई से आगे निकलने की कोशिश कर रही थीं, अब यह खोज रही हैं कि यह आधार कितना अधूरा था। पहला एजेंट आसान भाग था। जो नहीं बनाया गया था वह आसपास की बुनियादी ढांचा था: मूल्यांकन फ्रेमवर्क जो ग्राहक तक पहुंचने से पहले व्यवहारिक ड्रिफ्ट का पता लगाते हैं, फेलओवर तर्क जो स्वचालित रूप से काम को रूट करता है जब एक मॉडल खराब प्रदर्शन करना शुरू कर देता है, और निरंतर शासन जो हर तिमाही में बदलते परिदृश्य के साथ तालमेल बिठा सकता है। ये तीन अंतर अस्थायी नहीं रहते हैं। वे एक स्थायी इंजीनियरिंग कार्य में बढ़ जाते हैं जिसके लिए किसी ने बजट नहीं दिया है, जिन लोगों का काम मूल रूप से उन निर्णयों के साथ तालमेल बिठाना है जो विक्रेताओं द्वारा किए जा रहे हैं जिनके पास कोई प्रभाव नहीं है।

उत्पादन में लचीलापन वास्तव में कैसा दिखता है।

क्यूरेंट में, हमने डिजिटल कार्यबल को मॉडल-एज्नोस्टिक बनाया है, न कि एक विपणन स्थिति के रूप में, बल्कि एक वास्तुकला आवश्यकता के रूप में। प्रत्येक कार्य सबसे अच्छा प्रदर्शन करने वाले मॉडल को निरंतर मूल्यांकन के साथ रूट किया जाता है। जब एक बेहतर मॉडल जहाज़ पर चढ़ता है, तो ग्राहकों को यह स्वचालित रूप से मिलता है। जब एक वर्तमान मॉडल एक विशिष्ट वर्कफ़्लो पर प्रतिगामी हो जाता है, तो ऑर्केस्ट्रेशन परत स्वचालित रूप से काम को रूट करती है, मानव हस्तक्षेप के बिना और किसी को 2 बजे स्लैक थ्रेड के लिए उठने की जरूरत नहीं है।

इसके नीचे, स्वचालित सिमुलेशन उत्पादन वर्कफ़्लो के खिलाफ घड़ी के चारों ओर चलते हैं, यह मापते हुए कि क्या आउटपुट अपेक्षित व्यवहार से मेल खाते हैं। ड्रिफ्ट का पता बुनियादी ढांचे के स्तर पर लगाया जाता है, संचालन टीम को इसका एहसास होने से पहले और ग्राहक को इसका एहसास होने से बहुत पहले। और प्रत्येक डिजिटल कार्यकर्ता द्वारा किए गए प्रत्येक निर्णय को लॉग किया जाता है और इसकी समीक्षा की जा सकती है, एक पूरा ग्लास बॉक्स, क्योंकि आप जो देख नहीं सकते हैं उसे आप शासित नहीं कर सकते हैं।

वे प्रीमियम सुविधाएं नहीं हैं। वे उत्पादन में एआई चलाने के लिए प्रवेश की कीमत हैं, उद्यम स्तर पर। अधिकांश कंपनियां सीख रही हैं कि एक समाचार चक्र के बीच में, जो बहुत महंगा तरीका है यह पता लगाने के लिए।

इस तिमाही में पूछने लायक प्रश्न।

यदि आपके संचालन पर सबसे अधिक निर्भर मॉडल का अगले तिमाही में एक खराब सप्ताह होता है, तो आपके कितने वर्कफ़्लो इसका अनुभव करेंगे? आप कैसे जानेंगे? और आप इसके चारों ओर कितनी जल्दी मार्ग कर सकते हैं?

यदि दूसरे प्रश्न का उत्तर है “हमें एक ग्राहक से सुनेंगे”, तो संचालन उत्पादन तैयार नहीं है। यह एक पायलट है जो पैमाने पर चल रहा है, और यह अंतर अधिकांश नेताओं को तब तक महसूस नहीं होता जब तक यह उन्हें महसूस नहीं होता है।