Ne, nezdržovali Claude – bylo to vlastně horší

Dobře, pojďme mluvit o tom, co se dělo s Claude, protože pokud jste ho používali za poslední měsíc, pravděpodobně jste si všimli, že něco nebylo v pořádku.

Za posledních šest týdnů uživatelé Claude ztráceli rozum. Od začátku srpna stížnosti začaly proudit na Reddit, X a vývojářské fórum. Problémy byly všude:

• Kód, který dříve fungoval perfektně, najednou nefungoval
• Claude tvrdil, že provedl změny ve souborech, i když je neučinil
• Náhle se objevovaly thajské nebo čínské znaky v anglických odpovědích
• Pokyny byly úplně ignorovány
• Stejné dotazy vyvolávaly zcela rozdílné odpovědi
• Uživatelé Claude Code prohlašovali, že to feels “lobotomized” ve srovnání s předchozím stavem

Stížnosti byly tak vážné, že koncem srpna lidé byli přesvědčeni, že Anthropic tajně omezil Claude, aby ušetřil peníze. Konspirační teorie byly všude – možná snižovali kvalitu během špičkových hodin, možná tajně vyměnili levnější model, možná to byla úmyslná degradace, aby se snížily náklady na servery.

Uživatelé platili za Claude Pro a dostávali to, co se cítilo jako Claude Lite. Vývojáři, kteří postavili pracovní postupy kolem Claude, najednou sledovali, jak se jejich produktivita propadá. S tím vším někteří uživatelé nebyli vůbec postiženi, což dělalo všechno ještě více matoucí.

Anthropic konečně přiznává: Ano, měli jsme problémy

Po týdnech stížností uživatelů a rostoucí frustraci Anthropic právě zveřejnil rozsáhlou technickou analýzu, která基本ně říká: “Měli jste pravdu. Claude byl rozbitý. Tady je, co se stalo.”

A odpověď je zajímavá.

Ukázalo se, že to nebyl jeden problém. Byly to tři zcela samostatné infrastrukturní chyby, všechny nastaly ve stejnou dobu, a vytvořily dokonalou bouři degradace AI. Nezdržovali. Nešetrili rohy. Prostě měli tři různé věci, které se rozbily současně, a to způsobem, který jim trval šest týdnů, aby to plně pochopili a opravili.

Pojďme si rozebrat přesně, co šlo špatně, protože to je vlastně užitečný pohled na to, jak tyto AI systémy mohou selhat způsoby, které nikdo neočekává.

Tří-chybová havárie: Chronologie chaosu

Zdroj: Anthropic

Chyba #1: Problém se špatným serverem

Toto je téměř směšné, pokud jste nebyli ten, kdo to zažil. Claude Sonnet 4 byl navržen tak, aby zvládl 200 000 kontextů tokenů. Ale od 5. srpna některé žádosti byly směrovány na servery nakonfigurované pro 1 milion tokenů kontextů.

Zpočátku bylo postiženo pouze 0,8 % žádostí. Žádný velký problém, že? Špatně.

Dne 29. srpna běžná aktualizace load balanceru změnila tento malý problém na velký problém. Najednou, v špičce, 16 % žádostí o Sonnet 4 šlo na špatné servery. A směrování bylo “lepkavé”. Jakmile jste byli špatně směrováni, zůstali jste špatně směrováni.

Dopad:

• Přibližně 30 % uživatelů Claude Code, kteří byli aktivní během tohoto období, mělo alespoň jednu žádost špatně směrovanou
• Časy odpovědí se zhoršily pro postižené uživatele
• Stejní uživatelé opakovaně zažívali problém, zatímco jiní neměli žádné problémy

Chyba #2: Náhodný generátor znaků

Dne 25. srpna Anthropic nasadil chybnou konfiguraci na své servery TPU. Výsledkem bylo, že Claude začal náhodně vkládat thajské a čínské znaky do anglických odpovědí.

Představte si, že žádáte Claude, aby ladil váš kód Pythonu a dostanete tohle:

def calculate_total(items):

total = 0

for item in items:

總計 += item.price # <- Co?

return ผลรวม

To postihlo:

• Opus 4.1 a Opus 4: 25. – 28. srpna
• Sonnet 4: 25. srpna – 2. září

Technickou příčinou byla chyba generování tokenů, která přiřadila vysokou pravděpodobnost znakům, které tam neměly co dělat. Doslova rozbitá základní mechanismus, jak Claude vybírá další slovo, které má říct.

Chyba #3: Neviditelná chyba kompilátoru

Toto je děsivé z hlediska inženýrství. Byla latentní chyba v kompilátoru XLA od Google (GOOGL ), která tam byla nečinná. Když Anthropic nasadil kód pro zlepšení výběru tokenů dne 25. srpna, náhodou ji spustil.

Co tato chyba dělala, bylo skutečně bizarní – způsobilo, že Claude nechtěně vyloučil nejpravděpodobnější token při generování textu. Claude znal správnou odpověď, ale byl fyzicky znemožněn říci ji.

Skutečně rozporuplná část? Pracovali kolem této chyby v prosinci 2024 bez vědomí toho. Když “opravili” to, co považovali za kořenovou příčinu v srpnu, odstranili workaround a uvolnili skutečný problém.

Proč to trvalo šest týdnů, aby to opravili

Můžete se divit: jak může společnost jako Anthropic, s světově uznávanými inženýry, trvat šest týdnů, aby to vyřešila?

Odpověď odhaluje, jak komplexní tyto systémy skutečně jsou:

1. Ovládací prvky ochrany osobních údajů zablokovaly ladění

“Naše interní ovládací prvky ochrany osobních údajů a zabezpečení omezují, jak a kdy inženýři mohou přistupovat k interakcím uživatelů s Claude, zejména když tyto interakce nejsou nahlášeny jako zpětná vazba.”

Doslova neviděli, co se rozbité, pokud uživatelé výslovně nehlásili zpětnou vazbu. Dobré pro ochranu osobních údajů, ale hrozné pro ladění.

2. Chyby se skrývaly

Claude často zotavoval z jednotlivých chyb, což způsobilo, že se degradace jevila jako normální variace spíše než systematická chyba. Jejich benchmarky a hodnocení nezachycovaly to, protože model se dostatečně zotavil, aby prošel testy.

3. Multiplatformový chaos

Claude běží na AWS Trainium, NVIDIA (NVDA ) GPU a Google TPUs – tři zcela odlišné hardwarové platformy. Každá chyba se projevila jinak na každé platformě:

• AWS Bedrock: 0,18 % žádostí o Sonnet 4 postižených v špičce
• Google Vertex AI: Méně než 0,0004 % postižených
• Direct API: Až 16 % postižených

To vypadalo jako několik nesouvisejících problémů spíše než tři konkrétní chyby.

4. Překrývající se příznaky

Se třemi chybami aktivními současně byly příznaky všude. Jeden uživatel mohl dostat thajské znaky, jiný mohl dostat zhoršené odpovědi, třetí mohl vidět perfektní výkon. Nebyl žádný jasný vzorec, který by se dal sledovat.

Co to vlastně znamená pro spolehlivost AI

Tato celá sága odhaluje něco zásadního o současném stavu systémů AI: jsou mnohem křehčí, než se zdají.

Nemluvíme pouze o samotném modelu AI. Mluvíme o:

• Infrastruktuře směrování, která může poslat žádosti na špatné místo
• Hardwarových implementacích, které se chovají odlišně
• Chybách kompilátoru, které mohou zůstat nečinné po měsíce
• Load balancerech, které mohou zmenšit malé problémy na velké výpadky

Jedna chybná konfigurace, jedna chyba kompilátoru, jedna chyba směrování – a najednou váš asistent AI zapomene, jak kódovat nebo začne mluvit jazyky, kterými by neměl.

Je to skutečně opraveno?

Anthropic říká, že všechny tři problémy vyřešily do 16. září. Vyřešili:

• Opravili logiku směrování
• Vrátili se k předchozím konfiguracím
• Přešli z aproximativních na přesné operace top-k (přijali výkonnostní ztrátu pro přesnost)
• Přidali kontinuální monitorování produkce

Ale uživatelé stále hlásí problémy. Někteří vývojáři prohlašují, že Claude Code stále feels “degradován” ve srovnání se svým předchozím výkonem. Zda je to:

• Zbytkový efekt chyb
• Nové problémy, které nebyly identifikovány
• Psychologický bias po týdnech problémů
• Skutečná pokračující degradace

…to ještě nevíme.

Závěrečné shrnutí

Tato situace je ideálním případovým studiem toho, jak komplexní systémy AI mohou selhat neočekávanými způsoby. Tři samostatné chyby, všechny spuštěné během týdnů, vytvořily dojem masivní degradace kvality, která trvala šest týdnů, aby byla diagnostikována a opravena.

Můžeme dát Anthropicu kredity za transparentnost. Zveřejnění podrobné technické analýzy je více, než by většina společností udělala. Ale také ukazuje, kolik může jít špatně pod kapotou těchto systémů, na které se stále více spoléháme.

Pro každého, kdo staví na Claude nebo jakémkoli jiném LLM: potřebujete redundanci, validaci a záložní plány. Protože jak jsme právě viděli, i ty nejlepší systémy AI mohou mít tři různé problémy současně, a může trvat týdny, než někdo pochopí, co se skutečně děje.

Infrastruktura podporující tyto modely AI je stejně důležitá jako modely samotné. A právě teď tato infrastruktura ukazuje vážné růstové bolesti.