नहीं, वे क्लॉड को थ्रॉटल नहीं कर रहे थे – यह वास्तव में और भी खराब था

ठीक है, आइए क्लॉड के साथ हो रही चीजों के बारे में बात करते हैं, क्योंकि यदि आप पिछले महीने इसका उपयोग कर रहे हैं, तो आप शायद महसूस कर रहे होंगे कि कुछ गलत है।

पिछले छह सप्ताह से, क्लॉड उपयोगकर्ता अपने दिमाग खो रहे हैं। अगस्त की शुरुआत में,क्लॉड के बारे में शिकायतें रेडिट, एक्स, और डेवलपर फोरम पर आनी शुरू हुईं।

समस्याएं हर जगह थीं:

• जो कोड पहले बिल्कुल सही काम कर रहा था, वह अचानक टूट गया
• क्लॉड ने दावा किया कि उसने फाइलों में बदलाव किए हैं जब उसने वास्तव में ऐसा नहीं किया
• अंग्रेजी प्रतिक्रियाओं में अचानक थाई या चीनी अक्षर दिखाई देने लगे
• निर्देश पूरी तरह से अनदेखे किए गए
• एक ही प्रॉम्प्ट के लिए बहुत अलग गुणवत्ता वाले प्रतिक्रियाएं मिलीं
• क्लॉड कोड उपयोगकर्ताओं ने कहा कि यह पहले की तुलना में “लोबोटोमाइज्ड” महसूस हुआ

शिकायतें इतनी खराब हो गईं कि अगस्त के अंत तक, लोगों ने सोचा कि एंथ्रोपिक क्लॉड को गुप्त रूप से थ्रॉटल कर रहा है ताकि पैसे बचा सके।

उपयोगकर्ताक्लॉड प्रो के लिए भुगतान कर रहे थे और उन्हें ऐसा महसूस हो रहा था जैसे कि उन्हें क्लॉड लाइट मिला हो।

एंथ्रोपिक ने आखिरकार स्वीकार किया: हाँ, हमारे पास समस्याएं थीं

उपयोगकर्ताओं की शिकायतों और बढ़ती निराशा के बाद, एंथ्रोपिक ने एक विस्तृत तकनीकी मरणोपरांत जारी किया जो基本 रूप से कहता है: “आप सही थे। क्लॉड टूटा हुआ था। यहाँ क्या हुआ।”

और उत्तर दिलचस्प है।

यह पता चला कि यह एक समस्या नहीं थी। यह तीन पूरी तरह से अलग बुनियादी ढांचे के बग थे, सभी एक ही समय में हिट हो रहे थे, जो एक आदर्श तूफान की तरह एआई के अपक्षय का कारण बन रहे थे।

त्रिपल-बग मेल्टडाउन: एक अराजकता की समयरेखा

स्रोत: एंथ्रोपिक

बग #1: गलत सर्वर समस्या

यह लगभग मजाकिया है अगर आप इसका अनुभव नहीं कर रहे थे। क्लॉड सोनेट 4 को 200,000 टोकन संदर्भों को संभालने के लिए डिज़ाइन किया गया था। लेकिन 5 अगस्त से, कुछ अनुरोध 1 मिलियन टोकन संदर्भों के लिए कॉन्फ़िगर किए गए सर्वरों पर रूट किए गए थे।

शुरुआत में, केवल 0.8% अनुरोध प्रभावित हुए। कोई बड़ी बात नहीं, है ना? गलत।

29 अगस्त को, एक नियमित लोड बैलेंसर अपडेट ने इस छोटी समस्या को एक बड़ी समस्या में बदल दिया। अचानक, चोटी पर, सोनेट 4 के 16% अनुरोध गलत सर्वर पर जा रहे थे। और रूटिंग “चिपचिपी” थी। एक बार जब आप गलत तरीके से रूट किए गए, तो आप लगातार गलत तरीके से रूट किए गए।

प्रभाव:

• क्लॉड कोड के लगभग 30% उपयोगकर्ता जो सक्रिय थे उन्हें कम से कम एक अनुरोध गलत तरीके से रूट किया गया
• प्रभावित उपयोगकर्ताओं के लिए प्रतिक्रिया समय टैंक हो गए
• एक ही उपयोगकर्ता बार-बार समस्या का अनुभव करता था जबकि अन्य को कोई समस्या नहीं थी

बग #2: यादृच्छिक अक्षर जनरेटर

25 अगस्त को, एंथ्रोपिक ने अपने टीपीयू सर्वरों पर एक मिसकॉन्फ़िगरेशन तैनात किया। परिणाम यह था कि क्लॉड ने अंग्रेजी प्रतिक्रियाओं में यादृच्छिक थाई और चीनी अक्षर डालना शुरू कर दिया।

कल्पना कीजिए कि आप क्लॉड से अपने पायथन कोड को डीबग करने के लिए कहते हैं और आपको यह मिलता है:

def calculate_total(items):

total = 0

for item in items:

總計 += item.price # <- क्या?

return ผลรวม

यह प्रभावित किया:

• ओपस 4.1 और ओपस 4: 25-28 अगस्त
• सोनेट 4: 25 अगस्त – 2 सितंबर

तकनीकी कारण एक टोकन जनरेशन त्रुटि थी जिसने उन अक्षरों को उच्च संभावना दी जो वहां होने के लिए नहीं थे।

बग #3: अदृश्य कंपाइलर बग

यह इंजीनियरिंग दृष्टिकोण से डरावना है। गूगल के एक्सएलए कंपाइलर में एक लेटेंट बग था जो सुस्त पड़ा हुआ था। जब एंथ्रोपिक ने 25 अगस्त को टोकन चयन में सुधार के लिए कोड तैनात किया, तो उन्होंने अनजाने में इसे ट्रिगर किया।

यह बग वास्तव में अजीब था – यह क्लॉड को अनजाने में सबसे संभावित टोकन को बाहर करने का कारण बनता था जब यह पाठ उत्पन्न करता था। क्लॉड जानता था कि सही उत्तर क्या था लेकिन यह शारीरिक रूप से इसे कहने से रोका गया था।

वास्तव में भ्रमित करने वाला हिस्सा? उन्होंने दिसंबर 2024 में इसके बारे में जाने बिना इसके आसपास काम किया था। जब उन्होंने अगस्त में मूल कारण को “सुधारा”, तो उन्होंने काम-around को हटा दिया और वास्तविक समस्या को छोड़ दिया।

छह सप्ताह में इसे ठीक करने का कारण

आप सोच रहे होंगे: एक कंपनी जैसे एंथ्रोपिक, जिसके पास विश्व स्तरीय इंजीनियर हैं, छह सप्ताह में इसे कैसे समझने और ठीक करने में कामयाब रही?

उत्तर यह बताता है कि ये सिस्टम वास्तव में कितने जटिल हैं:

1. गोपनीयता नियंत्रण ने डीबगिंग को अवरुद्ध कर दिया

“हमारे आंतरिक गोपनीयता और सुरक्षा नियंत्रण सीमित करते हैं कि इंजीनियर क्लॉड के साथ उपयोगकर्ता इंटरैक्शन को कब और कैसे एक्सेस कर सकते हैं, विशेष रूप से जब वे हमें प्रतिक्रिया के रूप में रिपोर्ट नहीं किए जाते हैं।”

वे वास्तव में तब तक नहीं देख सकते थे जब तक कि उपयोगकर्ता इसे स्पष्ट रूप से प्रतिक्रिया के साथ रिपोर्ट नहीं करते थे। गोपनीयता के लिए अच्छा, डीबगिंग के लिए भयानक।

2. बग ने खुद को छुपा लिया

क्लॉड अक्सर व्यक्तिगत त्रुटियों से उबर जाता था, जिससे यह अपक्षय सामान्य विचलन की तरह दिखता था, न कि व्यवस्थित विफलता की तरह। उनके बेंचमार्क और मूल्यांकन इसे नहीं पकड़ रहे थे क्योंकि मॉडल पर्याप्त स्व-सुधार कर रहा था ताकि परीक्षण पास कर सके।

3. मल्टी-प्लेटफ़ॉर्म अराजकता

क्लॉड एएमडब्ल्यूएस ट्रेनियम, एनवीडिया जीपीयू और गूगल टीपीयू पर चलता है – तीन पूरी तरह से अलग हार्डवेयर प्लेटफ़ॉर्म। प्रत्येक बग ने प्रत्येक प्लेटफ़ॉर्म पर अलग तरह से प्रकट किया:

• एएमडब्ल्यूएस बेडरॉक: 0.18% सोनेट 4 अनुरोध प्रभावित हुए
• गूगल वर्टेक्स एआई: 0.0004% से कम प्रभावित
• डायरेक्ट एपीआई: 16% तक प्रभावित

यह कई असंबंधित समस्याओं की तरह दिखता था, न कि तीन विशिष्ट बग्स की।

4. ओवरलैपिंग लक्षण

तीन बग्स एक ही समय में सक्रिय होने के साथ, लक्षण हर जगह थे। एक उपयोगकर्ता को थाई अक्षर मिल सकते हैं, दूसरे को खराब प्रतिक्रियाएं मिल सकती हैं, तीसरे को सही प्रदर्शन दिखाई दे सकता है। कोई स्पष्ट पैटर्न नहीं था।

इसका वास्तव में क्या अर्थ है एआई विश्वसनीयता के लिए

यह पूरी कहानी एआई सिस्टम की वर्तमान स्थिति के बारे में कुछ महत्वपूर्ण बताती है: वे जितने लगते हैं उससे कहीं अधिक नाजुक हैं।

हम एआई मॉडल के बारे में नहीं बात कर रहे हैं। हम बात कर रहे हैं:

• रूटिंग इन्फ्रास्ट्रक्चर जो अनुरोधों को गलत स्थान पर भेज सकता है
• हार्डवेयर-विशिष्ट कार्यान्वयन जो अलग तरह से व्यवहार करते हैं
• कंपाइलर बग जो महीनों तक सुस्त पड़े रह सकते हैं
• लोड बैलेंसर जो छोटी समस्याओं को बड़े आउटेज में बदल सकते हैं

एक मिसकॉन्फ़िगरेशन, एक कंपाइलर बग, एक रूटिंग त्रुटि – और अचानक आपका एआई सहायक भूल जाता है कि कैसे कोड करना है या बोलता है जो उसे नहीं बोलना चाहिए।

क्या यह वास्तव में ठीक हो गया है?

एंथ्रोपिक का कहना है कि उन्होंने 16 सितंबर तक तीनों मुद्दों का समाधान कर लिया है। उन्होंने:

• रूटिंग तर्क को ठीक किया
• समस्याग्रस्त कॉन्फ़िगरेशन वापस ले ली
• अस्थायी से सटीक टॉप-के ऑपरेशन में स्विच किया (सटीकता के लिए प्रदर्शन में गिरावट)
• निरंतर उत्पादन निगरानी जोड़ी

लेकिन उपयोगकर्ता अभी भी मुद्दों की रिपोर्ट कर रहे हैं। कुछ डेवलपर्स दावा करते हैं कि क्लॉड कोड अभी भी पहले की तुलना में खराब प्रदर्शन कर रहा है। चाहे यह:

• बग्स के लिंगering प्रभाव
• नई समस्याएं जो अभी तक पहचानी नहीं गई हैं
• छह सप्ताह की समस्याओं के बाद मनोवैज्ञानिक पूर्वाग्रह
• वास्तविक जारी अपक्षय

…हमें अभी तक नहीं पता है।

नीचे की रेखा

यह स्थिति एक आदर्श मामला अध्ययन है कि जटिल एआई सिस्टम कैसे अप्रत्याशित तरीकों से विफल हो सकते हैं। तीन अलग बग, सभी एक ही समय में ट्रिगर हो रहे हैं, जो एक बड़े पैमाने पर गुणवत्ता अपक्षय की धारणा पैदा करते हैं जिसे छह सप्ताह में निदान और ठीक करने में कामयाब रहा।

हम एंथ्रोपिक को पारदर्शिता के लिए कुछ श्रेय दे सकते हैं। एक विस्तृत तकनीकी मरणोपरांत प्रकाशित करना अधिकांश कंपनियों से अधिक है। लेकिन यह भी दिखाता है कि इन सिस्टम के नीचे कितना गलत हो सकता है जिन पर हम बढ़ती तरह से निर्भर हो रहे हैं।

क्लॉड या किसी भी एलएलएम पर निर्माण करने वाले किसी भी व्यक्ति के लिए: आपको रेडंडेंसी, सत्यापन और बैकअप योजनाओं की आवश्यकता है। क्योंकि जैसा कि हमने अभी देखा है, यहां तक कि सर्वोत्तम एआई सिस्टम में तीन अलग-अलग समस्याएं एक ही समय में हो सकती हैं, और यह हो सकता है कि किसी को भी यह पता न चले कि वास्तव में क्या हो रहा है।

इन एआई मॉडलों का समर्थन करने वाला बुनियादी ढांचा स्वयं मॉडल के रूप में महत्वपूर्ण है। और अभी यह बुनियादी ढांचा कुछ गंभीर बढ़ती दर्द दिखा रहा है।