Den pågående debatten om Claude “Nerfing” handler ikke om Claude, men om hva som skjer når dine operasjoner kjører på noen andres beslutninger.

Tidligere i år publiserte Stella Laurenzo, senior direktør for AI i AMD, telemetri fra nesten 7 000 Claude Code-sesjoner som dokumenterte noe ingeniører hadde følt, men hadde vanskelig for å formulere: mellom januar og mars, synes det å være en nedgang i synlig resonnering på 73 %, API-forespørsler per oppgave økte med en faktor på 80, og modellen leste færre filer før den gjorde endringer. Tallene spredte seg raskt. Tolkingen spredde seg enda raskere.

Anthropic er uenig i fremstillingen. Selskapet sier at endringene skyldes bevisste produktbeslutninger, inkludert en ny adaptiv tenkemekanisme og en overgang til medium innsats som standard. Uavhengige analytikere har også motsagt deler av metoden. Debatten pågår, og rimelige mennesker er uenige om hva som faktisk skjedde.

Men her er det viktige hvis du kjører en bedrift på toppen av disse systemene: uansett om dette var en forverring eller en bevisst justering, endrer det ikke hva bedriftsoperatørene opplevde. De kunne ikke forutsi det. De kunne ikke kontrollere det. Og noen av dem følte det i produksjon før de forstod hva som skjedde. Det er den virkelige historien, og den har ingenting å gjøre med Anthropic spesifikt.

Dette er et avhengighetsproblem, ikke et modellproblem.

Hva vi beskriver, har et navn: modell skjørhet. Det er tilstanden der kritiske operasjoner er tett koblet til modellens atferd, slik at enhver endring på modellnivå, enten det er en justeringsbeslutning, en ny standard, en kapasitetsdrevet omruting eller en stille degradering, rammer bedriften direkte, uten buffer og uten varsel.

Dette er ikke et nytt mønster. GPT-4 gikk gjennom en versjon av dette i 2023. Claude 3.5 gikk gjennom en i 2024. Claude Opus går gjennom en nå. Det vil skje igjen med den neste grensemodellen, og den etter den. Ikke fordi noen leverandør handler i dårlig tro, men fordi optimalisering av en grensemodell for kostnad, latency og skala på globalt volum er akkurat det grenseleverandørene må gjøre. Deres incitamenter og incitamentene til en bedrift som kjører produksjonsoperasjoner på toppen av dem, er relatert. De er ikke identiske. De vil aldri være det.

Vi startet Qurrent i 2023 og har den historiske kunnskapen til å vite hvordan bedriftsprogramvare-sykluser utspiller seg: Et selskap investerer i AI. Demoen fungerer. Piloten fungerer. Så går det live, noe skifter på modellnivå, og plutselig eier kunden problemet. De er de som vedlikeholder arbeidsflytene, jakter på feil, absorberer forstyrrelsen. Det har aldri gjort noen mening for meg som en bærekraftig modell for bedriftsoperasjoner.

Bedriftsversjonen av denne historien er operasjonell, ikke teknisk.

For utviklere er den nåværende situasjonen ubekvem. Token-budsjettet brenner raskere. Kodingsessioner stopper. Benchmarkene skuffer. Det er et reelt problem, men det er et problem som kan løses.

For bedrifter som kjører finansielle operasjoner, compliance-arbeidsflyter, regnskap og komplekse bakkontorprosesser, er innsatsen annerledes. Disse arbeidsflytene kan ikke absorbere en dårlig uke. Feil akkumulerer. Volum akkumulerer. SLA-er er forpliktelser til faktiske kunder, ikke interne preferanser. Øyeblikket en modell begynner å underprestere på en høyrisikoprosess, akkumulerer skaden, uansett om noen har lagt merke til det enda.

Hva gjør dette vanskeligere er at de fleste selskaper som prøvde å komme foran AI ved å bygge interne agenter på en enkelt modell, nå oppdager hvor ufullstendig den grunnlaget var. Den første agenten var den enkle delen. Hva som ikke ble bygget, var den omgivende infrastrukturen: evalueringssystemer som detekterer atferdsdrift før det når kunden, feiloverlogikk som omruter arbeid automatisk når en modell begynner å underprestere, og kontinuerlig styring som kan holde pace med et landskap som endrer seg hver kvartal. Disse tre gapene forblir ikke håndterbare. De vokser til en permanent ingeniørfunksjon som ingen budsjettet for, bemannet av personer hvis jobb i stor grad er å holde pace med beslutninger som tas av leverandører de ikke har noen innflytelse over.

Hva resiliens faktisk ser ut som i produksjon.

I Qurrent bygde vi den digitale arbeidsstyrken til å være modell-uavhengig fra starten, ikke som en markedsposisjon, men som et arkitektonisk krav. Hver oppgave ruter til den best presterte modellen for den oppgaven, evaluert kontinuerlig. Når en bedre modell leveres, får kundene den automatisk. Når en gjeldende modell underpresterer på en bestemt arbeidsflyt, omruter orkestreringslaget den arbeidsflyten på sekunder, uten menneskelig inngripen og uten at noen våkner opp til en Slack-tråd klokken 02.00.

Under dette kjører automatiserte simulasjoner mot produksjonsarbeidsflyter hele døgnet, og måler om utdataene matcher forventet atferd. Drift detekteres på infrastrukturnivå, før operasjonsteamet føler det og lenge før en kunde gjør det. Og hver beslutning som hver digital arbeider tar, er logget og gjennomgåelig, en full glassboks, fordi du ikke kan styre det du ikke kan se.

Dette er ikke premium-funksjoner. De er prisen for å kjøre AI i produksjon på bedriftsnivå. De fleste selskaper lærer at i midten av en nyhets_syklus, som er den dyre måten å finne ut.

Spørsmålet som er verdt å stille denne kvartalen.

Hvis modellen dine operasjoner er avhengig av mest, hadde en dårlig uke neste kvartal, hvor mange av dine arbeidsflyter ville føle det? Hvordan ville du vite det? Og hvor raskt kunne du omroute rundt det?

Hvis svaret på det andre spørsmålet er “vi ville høre fra en kunde”, er operasjonen ikke produksjonsklar. Det er en pilot som kjører på skala, og forskjellen betyr mer enn de fleste ledere innser før det gjør det ikke.

Den nåværende debatten er, på en bakvendt måte, nyttig. Hver CFO og COO som ser på dette, fikk nettopp en gratis forhåndsvisning av hva modell-skjørhet ser ut som under virkelig operasjonell belastning, uten å betale for det selv. Riktig respons er ikke å bytte modell. Det er å bygge operasjoner som ikke er avhengig av en enkelt.

Teknologien vil fortsette å endre seg. Det er den eneste sikkerheten i denne markedet. Bedriftene som kommer ut av dette tiåret sterkest, vil ikke være de som valgte riktig modell. De vil være de som aldri trengte å bry seg.