Andersons vinkel

Nedgraderingen från Claude Fable påverkade knappt utvecklarnas produktivitet under förbudet

Martin Anderson
Lägg till Unite.AI bland dina föredragna källor på Google
Workers at the AWA factory, Ashfield, NSW, 1936. Source: https://commons.wikimedia.org/wiki/File:AWA1936.jpg
Viktiga punkterTillgång till den högre poängsatta Claude Fable 5 höjde sammanslagningsgraden med…
Visa mer
  • Tillgång till den högre poängsatta Claude Fable 5 höjde sammanslagningsgraden med endast 1,4 procentenheter.
  • Fem Claude-uppgraderingar gav ingen betydande ökning av sammanslagna pull requests eller veckovis slutförda ändringar.
  • Benchmarkpoäng betyder lite när de uppgifter utvecklare tilldelar redan ligger inom äldre modellers förmåga.

Det är mycket svårt att avgöra om nya AI-modeller faktiskt har presterat bättre än sina föregångare – eller ens att definiera vad en produktivitetsförbättring egentligen innebär. Nya versioner kan visa förbättringar på ett område men sämre prestanda på ett annat, precis som traditionell programvara och ramverk. Ibland handlar det om frivilliga avvägningar som människor gör, ibland om ”sidoskador”.

Det förutsätter förstås att allt går rätt till. Det finns gott om exempel på utvecklare som har manipulerat programvara så att den presterar bättre i benchmarktester, ibland genom att få den att känna igen när den testas och tillfälligt ändra sitt beteende för att få ett bättre resultat. Även AI-modeller kan känna igen när de utvärderas och bete sig annorlunda, även utan att ha utformats medvetet för att göra det.

För att hitta mer meningsfulla och tillförlitliga mått tar utvecklare ofta fram egna, informella riktmärken, till exempel Simon Wilsons kvalitativa utmaning att föreställa sig en pelikan som cyklar. Där får språk- och bildmodeller (VLM:er) i uppgift att skapa något som saknas i träningsdata*, och de presterar ofta dåligt – även om resultaten har förbättrats något under 2026:

Simon Wilsons mått går ut på att be en VLM föreställa sig en pelikan som cyklar. På senare tid har AI blivit mycket bättre på detta jämfört med de dråpliga resultaten för omkring 18 månader sedan. Vissa menar dock att det kan bero på att utmaningen nu har blivit en del av träningsdatan. Källa: https://simonwillison.net/tags/pelican-riding-a-bicycle/

Simon Wilsons mått går ut på att be en VLM föreställa sig en pelikan som cyklar. På senare tid har AI blivit mycket bättre på detta jämfört med de dråpliga resultaten för omkring 18 månader sedan. Vissa menar dock att det kan bero på att utmaningen nu har blivit en del av träningsdatan. Källa

Ett benchmarktest kan dock bara mäta de specifika färdigheter som det utformats för att testa. Även när resultaten är tillförlitliga är det fortfarande oklart hur mycket dessa färdigheter spelar roll i vardagen, eller om ett högre resultat leder till att mer arbete blir utfört.

När det gäller kodningsmodeller kan detta undersökas genom att se vad som händer med utvecklarnas arbetsresultat när de byter från en modell till en annan.

Att göra [the Same] med mindre

I juni i år gav Vita husets 19 dagar långa förbud mot användning av Claude Fable forskare en ovanligt tydlig miljö för att testa detta. Utvecklare som skickade in förfrågningar om att slå samman kodändringar (PR:er) till GitHub gick då över till mindre kraftfulla versioner av Claude. Eftersom alla versioner av Claude medundertecknar PR:er och den informationen går att söka fram via GitHubs API är uppgifterna fritt tillgängliga.

Denna möjlighet togs till vara i en ny studie från Harvard University. Där följdes arbetet hos 297 användare av Fable 5 före, under och efter förbudet och jämfördes med arbetet hos 8 908 utvecklare som fortsatte att använda den äldre modellen Opus 4.8.

Fable 5 hade tidigare fått ett resultat nästan 11 poäng högre än Opus 4.8 i kodningsbenchmarktestet SWE-Bench Pro. I Harvard-studien var tillgång till Fable 5 dock förknippad med en ökning på bara 1,4 procentenheter av andelen inskickade kodändringar som godkändes i GitHub-projekt inom sju dagar. Enligt artikeln är skillnaden i praktiken försumbar, ungefär som ett avrundningsfel. En bredare analys visade dessutom inte heller några signifikanta produktivitetsvinster av att uppgradera till andra nyare AI-modeller:

”Resultaten visar att tillgång till Fable 5 bara förändrade andelen sammanslagna kodändringar med 1,4 procentenheter, och förändringen var inte statistiskt [significant]. Vi analyserade också fem av de åtta modelluppgraderingarna under 2026 och fann att andelen sammanslagna kodändringar inte ökade efter dessa uppgraderingar [either].

”På samma sätt fick utvecklarna inte fler pull requests sammanslagna per vecka. Resultaten visar att förbättringar i dagens kodningsbenchmarktester i praktiken inte ledde till mer slutfört arbete.”

Vid fem uppgraderingar under 2026, som omfattade 1 208 utvecklare och över 15 000 föreslagna kodändringar, kunde man inte påvisa någon statistiskt signifikant förbättring vare sig av andelen inskickad kod som slogs samman eller av antalet ändringar som slutfördes varje vecka.

Även om artikeln medger att sammanslagningar på GitHub är ett ofullkomligt mått på produktivitet gav förbudet en mycket sällsynt möjlighet att undersöka effekterna av att byta modell under verkliga arbetsförhållanden. Det skedde inom en sektor som väcker enormt intresse globalt, men som präglas av största möjliga företagssekretess.

Det nya arbetet† uppmärksammar svårigheten att fastställa empiriska kriterier i sådana fall och konstaterar:

”De som börjar använda nya modeller tidigt kan vara mer erfarna. När vi jämför produktiviteten mellan utvecklare kan vi därför inte avgöra om skillnaden beror på modellen eller på personerna som använder den. Även om vi studerar samma personer vet vi inte om de ger samma uppgifter till olika modeller.

”Vissa kanske till exempel använder Fable 5 för de svåraste uppgifterna och byter till modeller på lägre nivå för enklare uppgifter. Om de lämnar de svårare uppgifterna till den starkaste modellen kan den verka mindre produktiv enligt nästan vilket mått vi än väljer, eftersom svårare uppgifter tar längre tid och mer sällan leder till en sammanslagning.”

I artikeln hävdas också att tidigare studier har snedvridits av att de flesta kodändringarna kom från ett litet antal projekt, vart och ett med egna regler för att godkänna bidrag, och att dessa skillnader har gjort det svårt att fastställa om produktivitetsvinsterna faktiskt berodde på att man uppgraderade till nyare modeller.

Metod

I huvuddelen av experimentet†† delades GitHub-pullförfrågningarna från de 297 utvecklare som i studien identifierades som Fable 5-användare in i fyra perioder: före modellens lansering den 9 juni, under de tre dagar då den var tillgänglig, under den 19 dagar långa avstängningen och efter att åtkomsten återställdes den 1 juli.

Deras sammanslagningsfrekvens jämfördes med den hos 8 908 utvecklare som identifierades som användare av den äldre modellen Opus 4.8. På så sätt gick det att skilja förändringar kopplade till avstängningen från större variationer i aktiviteten på GitHub.

Jämförelsen utgick från att båda grupperna skulle ha upplevt liknande förändringar i sammanslagningsfrekvensen om avstängningen inte hade skett. Förändringarna i sammanslagningsfrekvens jämfördes mellan grupperna, samtidigt som skillnader mellan enskilda utvecklare och variationer från dag till dag beaktades i den statistiska analysen:

Tidslinje över uppgraderingar av Claude-modeller och avstängningen av Fable 5. Den övre delen visar åtta uppgraderingar av Opus och Sonnet, där fyllda cirklar markerar de fem som undersöks i den bredare studien. Den nedre delen visar de fyra perioder som användes för att bedöma hur avstängningsperioden påverkade sammanslagningsfrekvensen för PR:er, med avstängningen som jämförelseperiod. Lila linjer visar när Fable 5 var tillgänglig respektive avstängd; grå skuggning markerar avstängningen; och skrafferade avsnitt visar dagar som uteslöts omedelbart efter att åtkomsten stängdes av eller återställdes. Källa – https://arxiv.org/pdf/2611.23216

Tidslinje över uppgraderingar av Claude-modeller och avstängningen av Fable 5. Den övre delen visar åtta uppgraderingar av Opus och Sonnet, där fyllda cirklar markerar de fem som undersöks i den bredare studien. Den nedre delen visar de fyra perioder som användes för att bedöma hur avstängningsperioden påverkade sammanslagningsfrekvensen för PR:er, med avstängningen som jämförelseperiod. Lila linjer visar när Fable 5 var tillgänglig respektive avstängd; grå skuggning markerar avstängningen; och skrafferade avsnitt visar dagar som uteslöts omedelbart efter att åtkomsten stängdes av eller återställdes. Källa

När det gäller data identifierades offentliga PR:er på GitHub som skapats med Claude Code via GitHubs Search API, med hjälp av meddelandet ”Skapad med Claude Code” som automatiskt läggs till i beskrivningarna. När det specifika modellnamnet också hade kopierats från kodens ändringshistorik till PR-beskrivningen gick det att fastställa vilken Claude-version som använts.

PR:er som skickats in kring avstängningen av Fable 5 och efterföljande Claude-uppgraderingar samlades in mellan november 2025 och oktober 2026. De senaste inskickade PR:erna fick minst fyra veckor på sig att slås samman.

De 297 utvecklare som använde Fable 5 under dess korta tillgänglighetsperiod valdes ut till huvudgruppen i studien, medan 8 908 utvecklare som använde Opus 4.8 och inte hade någon registrerad användning av Fable 5 utgjorde kontrollgruppen.

Det huvudsakliga produktivitetsmåttet var andelen inskickade kodändringar som godkändes i GitHub-projekt inom sju dagar, vilket gjorde det möjligt att jämföra andelen lyckade inskick mellan perioderna före, under och efter avstängningen. Ytterligare kontroller omfattade PR:er som slogs samman inom en timme, PR:er som stängdes utan att slås samman, antalet kommentarer de fick, ändringar som senare återställdes samt misslyckade automatiska kontroller på GitHub.

Resultat

Förlusten av och den efterföljande återställningen av åtkomsten till Fable 5 hade liten mätbar effekt på utvecklarnas produktivitet. Tillgång till den nyare modellen var förknippad med en ökning på endast 1,4 procentenheter av andelen PR:er som slogs samman inom sju dagar – en skillnad som bedömdes vara ”inte statistiskt signifikant”:

Jämförelse av användningen av Fable 5 och sammanslagningsfrekvensen för PR:er före, under och efter avstängningen. Vänster: andelen PR:er som skapades med Fable 5. Höger: förändringar i sjudagarsfrekvensen för sammanslagningar jämfört med den 22–28 juni, där punkterna visar skattningarna och de vågräta linjerna anger 95-procentiga konfidensintervall. Skuggade rader markerar perioder då Fable 5 var tillgänglig. Trots stora förändringar i modellernas användning observerades endast små förändringar i sammanslagningsfrekvensen.

Jämförelse av användningen av Fable 5 och sammanslagningsfrekvensen för PR:er före, under och efter avstängningen. Vänster: andelen PR:er som skapades med Fable 5. Höger: förändringar i sjudagarsfrekvensen för sammanslagningar jämfört med den 22–28 juni, där punkterna visar skattningarna och de vågräta linjerna anger 95-procentiga konfidensintervall. Skuggade rader markerar perioder då Fable 5 var tillgänglig. Trots stora förändringar i modellernas användning observerades endast små förändringar i sammanslagningsfrekvensen.

Dessutom visade en granskning av fem uppgraderingar av Claude-modeller, som omfattade 1 208 utvecklare och mer än 15 000 kodinskick, ingen förbättring av andelen kod som godkändes i GitHub-projekt. Andelen sjönk faktiskt något, med uppskattningsvis 0,9 procentenheter.

Det visade sig också att utvecklare som använde nyare modeller slutförde bara 2,4 % fler godkända kodbidrag per vecka – en skillnad som var för liten för att man skulle kunna fastställa en tillförlitlig förbättring. Även när resultaten på benchmarktester hade ökat med mellan 5 och 18 poäng observerades inga betydande produktivitetsvinster.

Det visade sig också att de nyare modellerna inte presterade bättre i GitHubs automatiserade kodkontroller, där felfrekvensen i stort sett var oförändrad.

I artikeln dras följande slutsats:

”Vi antar att det främsta skälet till att Fable 5:s förbättrade benchmarkresultat inte ledde till högre produktivitet i det verkliga arbetet är att de uppgifter som utvecklare ger agenter redan ligger inom ramen för vad den äldre modellen klarar av.”

Där står också:

”Våra resultat tillför belägg från verkligt arbete till det som tidigare forskning har varnat för: ett benchmarkresultat betyder inte mycket för den som väljer modell, om det inte finns belägg för att resultatet mäter det arbete som modellen används för att utföra[describe].

”Om tillsynsmyndigheter och köpare bedömer hur mycket starkare en modell är utifrån dess resultat på ett benchmarktest[score], kommer den skillnad de förlitar sig på sannolikt inte att märkas i användarnas produktivitet.”

Slutsats

Konsekventa mått som kan jämföras från år till år har länge varit en förutsättning för affärsverksamheten inom industriella system. Inom AI är de dock särskilt svåra att återskapa på ett realistiskt och korrekt sätt. En del av förklaringen är hur snabbt de ”testdata” som definierar ett benchmarktest blir en del av nästa modells träningsdata och därmed blir oanvändbara för teständamål. Bara detta kullkastar i stort sett modellen för företagsbenchmarking och konsekventa vetenskapliga tester, där forskare är beroende av att kunna ifrågasätta tidigare etablerade mått som nu kan vara meningslösa.

Under de senaste tio åren har det verkligen varit anmärkningsvärt att se hur många forskningsartiklar inom datorseende som fortfarande följer sedan länge föråldrade standarder som ImageNet, helt enkelt för att de har så lång historik.

Resultaten i den här artikeln får utvecklarna att framstå i ganska god dager: som anpassningsbara och flexibla förespråkare för det system som för tillfället finns tillgängligt och används. Att de presterar i stort sett lika snabbt med både den senaste och den näst senaste AI-modellen tyder på att de optimerar efter tidsramar och deadlines, oavsett vilka verktyg de har tillgång till.

 

* Som en kommentator på Hacker News nyligen påpekade stämmer detta förmodligen inte längre, eftersom data från ”Pelican on Bicycle” nu ingår i träningsdata och testet därför är komprometterat.

† Med titeln ”Kodningsmodeller med högre poäng fick inte mer arbete gjort”.

†† I studien tas två andra frågor upp, men jag anser inte att de är särskilt relevanta för ämnet eller jämförbara i betydelse med huvudfrågan, och jag har därför inte rapporterat om dem här. Se källans PDF för mer information.

Först publicerad onsdagen den 18 november 2026

Skribent inom maskininlärning, domänspecialist på mänsklig bildsyntes. Tidigare chef för forskningsinnehåll på Metaphysic.ai, fram till dess upplösning i DNEG:s Brahma.ai.
Webbplats: martinanderson.ai
Kontakt: martin@martinanderson.ai