Andersons vinkel
Nedgradering fra Claude Fable påvirkede kun i ringe grad udviklernes produktivitet under forbuddet

NøglepunkterAdgang til den højere scorende Claude Fable 5 øgede fletningsraten med kun 1,4…
Vis mere
- Adgang til den højere scorende Claude Fable 5 øgede fletningsraten med kun 1,4 procentpoint.
- Fem Claude-opgraderinger gav ingen betydelig gevinst i flettede pull requests eller ugentligt fuldførte ændringer.
- Benchmark-scorer betyder lidt, når de opgaver, udviklere tildeler, allerede ligger inden for ældre modellers formåen.
Det er meget vanskeligt at vurdere præcist, om nye AI-modeller præsterer bedre end deres forgængere – eller overhovedet at definere, hvad en produktivitetsforbedring egentlig indebærer, eftersom nye udgivelser kan vise forbedringer på ét område, men forringet ydeevne på et andet, ganske som traditionel software og frameworks kan. Nogle gange er der tale om frivillige afvejninger, som mennesker træffer, og andre gange om »følgeskader«.
Det forudsætter, at reglerne følges. Der findes masser af eksempler på, at udviklere har manipuleret software, så den klarer sig bedre i benchmarks, blandt andet ved at få den til at genkende, når den bliver testet, og midlertidigt ændre sin funktionsmåde for at opnå en bedre score. AI-modeller kan også genkende, når de bliver evalueret, og opføre sig anderledes, selv uden at være bevidst designet til det.
For at finde mere meningsfulde og retvisende målinger opstiller udviklere ofte deres egne uformelle målestokke, såsom Simon Wilsons kvalitative udfordring med en pelikan på cykel, hvor visionssprogmodeller (VLM’er) skal skabe noget, der ikke findes i træningsdataene*, og ofte klarer sig dårligt – selvom resultaterne er blevet noget bedre i løbet af 2026:

Simon Wilsons måling går ud på at bede en VLM forestille sig en pelikan, der cykler. På det seneste er AI blevet meget bedre til dette sammenlignet med de morsomme resultater for omkring 18 måneder siden. Nogle mener dog, at det kan skyldes, at udfordringen nu er indlejret i træningsdataene. Kilde
En benchmark kan dog kun måle de specifikke færdigheder, den er udviklet til at teste, og selv når resultaterne er pålidelige, er det stadig uklart, hvor meget disse færdigheder betyder i den daglige brug, eller om en højere score fører til, at der bliver udført mere arbejde.
Når det gælder kodningsmodeller, kan man undersøge dette ved at se på, hvad der sker med udviklernes produktion, når de skifter fra én model til en anden.
At gøre [the Same] mere med mindre
I juni i år gav det 19 dage lange forbud fra Det Hvide Hus mod brugen af Claude Fable forskere usædvanligt klare rammer for deres undersøgelse, da udviklere, der indsendte kodeændringsforslag (PR’er) til GitHub, skiftede til mindre kraftfulde versioner af Claude. Da alle Claude-versioner medunderskriver PR’er, og oplysningerne kan søges frem via GitHubs API, er dataene frit tilgængelige.
Denne mulighed blev udnyttet i en ny undersøgelse fra Harvard University, hvor arbejdet fra 297 brugere af Fable 5 blev fulgt før, under og efter forbuddet og sammenlignet med arbejdet fra 8.908 udviklere, der fortsatte med at bruge den ældre model Opus 4.8.
Fable 5 havde tidligere fået en score, der var næsten 11 point højere end Opus 4.8 på kodningsbenchmarket SWE-Bench Pro. I Harvard-undersøgelsen var adgang til Fable 5 imidlertid forbundet med en stigning på kun 1,4 procentpoint i andelen af indsendte kodeændringer, der blev accepteret i GitHub-projekter inden for syv dage – en forskel, som ifølge artiklen i praksis kan betragtes som en afrundingsfejl. En bredere analyse fandt desuden ingen signifikante produktivitetsgevinster ved at opgradere til andre nyere AI-modeller:
»Resultaterne viser, at adgang til Fable 5 kun ændrede sammenlægningsraten med 1,4 procentpoint, og at ændringen ikke var statistisk [significant]. Vi analyserede også fem af de otte modelopgraderinger i 2026 og fandt, at sammenlægningsraten ikke steg efter disse opgraderinger [either].
»På samme måde fik udviklerne ikke flere kodeændringsforslag sammenlagt om ugen. Resultaterne viser, at forbedringer på de nuværende kodningsbenchmarks ikke rigtig blev omsat til mere færdigt arbejde.«
På tværs af fem opgraderinger i 2026, der omfattede 1.208 udviklere og mere end 15.000 foreslåede kodeændringer, blev der ikke fundet nogen statistisk signifikant forbedring af hverken andelen af indsendt kode, der blev sammenlagt, eller antallet af ændringer, der blev gennemført hver uge.
Selvom artiklen anerkender, at sammenlægninger på GitHub er et ufuldkomment mål for produktivitet, gav forbuddet en meget sjælden mulighed for at vurdere virkningerne af at skifte model under reelle arbejdsforhold – i en sektor, der vækker enorm global interesse, men opererer med størst mulig lukkethed fra virksomhedernes side.
Med en anerkendelse af, hvor vanskeligt det er at fastlægge empiriske kriterier i sådanne tilfælde, bemærker det nye arbejde†:
»De, der tager nye modeller i brug først, kan være mere erfarne, så når vi sammenligner produktivitet på tværs af udviklere, kan vi ikke afgøre, om forskellen skyldes modellen eller personerne, der bruger den. Selv hvis vi observerer de samme personer, ved vi ikke, om de giver de forskellige modeller de samme opgaver.
»For eksempel bruger nogle måske Fable 5 til de sværeste opgaver og skifter til modeller på et lavere niveau til lettere opgaver. Hvis de giver de svære opgaver til den stærkeste model, kan den stærkeste model se mindre produktiv ud efter næsten ethvert mål, vi vælger, fordi sværere opgaver tager længere tid og har mindre sandsynlighed for at blive flettet ind.«
Artiklen hævder også, at tidligere studier har været skævvredet, fordi de fleste kodeændringer kom fra et lille antal projekter, som hver havde deres egne regler for at acceptere bidrag, og at disse forskelle har gjort det vanskeligt at fastslå, om produktivitetsforbedringerne faktisk skyldtes opgradering til nyere modeller.
Metode
I hovedforsøget†† blev GitHub-pullanmodninger fra 297 udviklere, der i studiet blev identificeret som brugere af Fable 5, inddelt i fire perioder: før modellens udgivelse den 9. juni; i løbet af de tre dage, hvor den var tilgængelig; gennem hele den 19 dage lange suspension; og efter adgangen blev genoprettet den 1. juli.
Deres sammenfletningsrater blev sammenlignet med raterne for 8.908 udviklere, der blev identificeret som brugere af den ældre model Opus 4.8. Det gjorde det muligt at skelne ændringer forbundet med suspensionen fra bredere udsving i aktiviteten på GitHub.
Sammenligningen byggede på en antagelse om, at begge gruppers sammenfletningsrater ville have ændret sig på lignende måde uden forbuddet. Ændringer i sammenfletningsraterne blev sammenlignet mellem de to grupper, og der blev i den statistiske analyse taget højde for forskelle mellem de enkelte udviklere og udsving fra dag til dag:

Tidslinje over Claude-modelopgraderinger og suspensionen af Fable 5. Det øverste panel viser otte opgraderinger af Opus og Sonnet, hvor udfyldte cirkler markerer de fem, der blev undersøgt i det bredere studie. Det nederste panel viser de fire perioder, der blev brugt til at vurdere, hvordan suspensionsperioden påvirkede PR-sammenfletningsraterne, med forbuddet som referenceperiode. Lilla linjer viser, hvornår Fable 5 var tilgængelig eller suspenderet; grå skygger markerer forbuddet; og skraverede områder angiver dage, der blev udeladt umiddelbart efter, at adgangen blev suspenderet eller genoprettet. Kilde
Hvad angår data, blev offentlige GitHub-PR’er oprettet med Claude Code identificeret via GitHub Search API ved hjælp af meddelelsen »Generated with Claude Code«, som automatisk indgår i deres beskrivelser. Når det specifikke modelnavn også var blevet kopieret fra kodens commit-historik til PR-beskrivelsen, var det muligt at fastslå, hvilken version af Claude der var blevet brugt.
PR’er indsendt omkring suspensionen af Fable 5 og de efterfølgende Claude-opgraderinger blev indsamlet mellem november 2025 og oktober 2026, og der blev afsat mindst fire uger til, at de senest indsendte PR’er kunne blive flettet ind.
De 297 udviklere, der brugte Fable 5 i den korte periode, hvor modellen var tilgængelig, blev udvalgt til hovedgruppen i studiet, mens 8.908 udviklere, der brugte Opus 4.8 og ikke havde nogen registreret brug af Fable 5, udgjorde kontrolgruppen.
Det primære mål for produktivitet var andelen af indsendte kodeændringer, der blev accepteret i GitHub-projekter inden for syv dage, hvilket gjorde det muligt at sammenligne andelen af vellykkede indsendelser i perioderne før, under og efter suspensionen. Yderligere kontroller omfattede PR’er, der blev flettet ind inden for en time; PR’er, der blev lukket uden at blive flettet ind; antallet af modtagne kommentarer; ændringer, der efterfølgende blev rullet tilbage; og fejl i GitHubs automatiske kontroller.
Resultater
Tabet af adgang til Fable 5 og den efterfølgende genoprettelse af adgangen havde kun en begrænset målbar effekt på udviklernes produktivitet. Adgang til den nyere model var forbundet med en stigning på blot 1,4 procentpoint i andelen af PR’er, der blev flettet ind inden for syv dage; en forskel, der blev vurderet som »ikke statistisk signifikant«:

Sammenligning af brugen af Fable 5 og PR-sammenfletningsraterne før, under og efter forbuddet. Venstre: andelen af PR’er, der blev udarbejdet med Fable 5. Højre: ændringer i sammenfletningsraten inden for syv dage i forhold til 22.–28. juni, hvor prikker viser estimater, og vandrette linjer angiver 95 % konfidensintervaller. Skraverede rækker markerer perioder, hvor Fable 5 var tilgængelig. Trods store ændringer i brugen af modellen blev der kun observeret små ændringer i sammenfletningsraterne.
På tværs af fem Claude-modelopgraderinger, der involverede 1.208 udviklere og mere end 15.000 kodeindsendelser, blev der heller ikke fundet nogen forbedring i andelen af kode, der blev accepteret i GitHub-projekter. Andelen faldt faktisk en smule, med anslået 0,9 procentpoint.
Det viste sig også, at udviklere, der brugte nyere modeller, kun gennemførte 2,4 % flere accepterede indsendelser om ugen – en forskel, der var for lille til at fastslå en pålidelig forbedring. Selv når benchmarkresultaterne var steget med mellem 5 og 18 point, blev der ikke observeret nogen betydelige produktivitetsgevinster.
Det viste sig også, at de nyere modeller ikke klarede sig bedre i GitHubs automatiserede kodetjek, hvor fejlprocenterne stort set var uændrede.
Artiklen konkluderer:
‘Vi antager, at hovedårsagen til, at Fable 5’s forbedringer på benchmarks ikke førte til højere produktivitet i det virkelige arbejde, er, at de opgaver, udviklere giver agenter, allerede ligger inden for det, den ældre model kan klare.’
Og fortsætter:
‘Vores resultater bidrager med evidens fra virkeligt arbejde til det, tidligere forskning har advaret om: En benchmarkscore betyder ikke meget for dem, der skal vælge en model, hvis der ikke er dokumentation for, at den måler det arbejde, modellen bruges til at [describe].
‘Hvis tilsynsmyndigheder og købere vurderer, hvor meget stærkere en model er, ud fra dens benchmark[score], vil den forskel, de lægger til grund, sandsynligvis ikke kunne ses i brugernes produktivitet.’
Konklusion
Ensartede målinger fra år til år har længe været en forudsætning for den forretningsmæssige del af industrielle systemer, men de er særligt svære at genskabe realistisk og nøjagtigt inden for AI. En del af forklaringen er, hvor hurtigt de ‘testdata’, der definerer et benchmark, indgår i træningsdataene for den næste model og dermed bliver ubrugelige til testformål. Dette alene undergraver i høj grad grundlaget for virksomheders benchmarking og for ensartede videnskabelige tests, hvor forskere er afhængige af at kunne udfordre tidligere fastlagte målinger, som nu kan være meningsløse.
Det har faktisk været forbløffende gennem de seneste ti år at se, hvor mange forskningsartikler inden for computervision der stadig følger for længst forældede standarder som ImageNet, blot fordi deres oprindelse ligger så langt tilbage.
Resultaterne af denne artikel tegner et ganske positivt billede af udviklerne som tilpasningsdygtige og fleksible brugere af de systemer, der er tilgængelige og kører. At de præsterer nogenlunde lige hurtigt med både den nyeste og den foregående AI-model, tyder på, at de tilpasser sig tidsrammer og deadlines uanset hvilke værktøjer, de har til rådighed.
* Som en nylig kommentator på Hacker News påpegede, passer dette sandsynligvis ikke længere, eftersom dataene om ‘Pelican on Bicycle’ nu indgår i træningsdataene, og testen derfor er kompromitteret.
† Med titlen ‘Kodningsmodeller med højere scorer fik ikke udført mere arbejde’.
†† Undersøgelsen stiller to andre spørgsmål, men jeg mener ikke, at de er særligt relevante for emnet eller kan sammenlignes i betydning med hovedspørgsmålet, og jeg har derfor ikke rapporteret om dem her. Se kildens PDF for flere oplysninger.
Først offentliggjort onsdag den 18. november 2026












