Andersons vinkel

Å gå ned fra Claude Fable påvirket knapt utviklernes produktivitet under forbudet

Martin Anderson
Legg til Unite.AI blant dine foretrukne kilder på Google
Workers at the AWA factory, Ashfield, NSW, 1936. Source: https://commons.wikimedia.org/wiki/File:AWA1936.jpg
Viktige punkterTilgang til den høyere skårende Claude Fable 5 økte sammenslåingsraten med bare 1,4…
Vis mer
  • Tilgang til den høyere skårende Claude Fable 5 økte sammenslåingsraten med bare 1,4 prosentpoeng.
  • Fem Claude-oppgraderinger ga ingen betydelig gevinst i sammenslåtte pull-forespørsler eller ukentlig fullførte endringer.
  • Benchmark-skårer betyr lite når oppgavene utviklere tildeler allerede faller innenfor eldre modellers evner.

Det er svært vanskelig å vurdere nøyaktig om nye KI-modeller har blitt bedre enn forgjengerne sine – eller i det hele tatt å definere hva en produktivitetsforbedring egentlig innebærer. Nye utgaver kan nemlig vise forbedringer på ett område, men prestere dårligere på et annet, omtrent på samme måte som konvensjonell programvare og rammeverk kan gjøre. Noen ganger er dette frivillige avveininger som mennesker har valgt, andre ganger er det «utilsiktede skadevirkninger».

Det forutsetter at spillereglene følges. Det finnes mange eksempler på at utviklere har manipulert programvare for å få bedre resultater i referansetester, noen ganger ved å få den til å gjenkjenne når den blir testet og midlertidig endre måten den fungerer på for å oppnå en bedre poengsum. KI-modeller kan også gjenkjenne når de blir evaluert og oppføre seg annerledes, selv om de ikke bevisst er utformet for å gjøre det.

For å finne mer meningsfulle og pålitelige målemetoder lager utviklere ofte sine egne uformelle målestokker, som Simon Wilsons kvalitative utfordring der en pelikan sykler. Her får visuelle språkmodeller (VLM-er) i oppgave å lage noe som ikke finnes i treningsdataene*, og de presterer ofte dårlig – selv om resultatene har blitt noe bedre gjennom 2026:

Simon Wilsons målemetode ber en VLM om å forestille seg en pelikan på sykkel. I det siste har KI blitt mye flinkere til dette sammenlignet med de lattervekkende forsøkene for rundt 18 måneder siden. Noen mener imidlertid at dette kan skyldes at utfordringen nå er innarbeidet i treningsdataene. Kilde: https://simonwillison.net/tags/pelican-riding-a-bicycle/

Simon Wilsons målemetode ber en VLM om å forestille seg en pelikan på sykkel. I det siste har KI blitt mye flinkere til dette sammenlignet med de lattervekkende forsøkene for rundt 18 måneder siden. Noen mener imidlertid at dette kan skyldes at utfordringen nå er innarbeidet i treningsdataene. Kilde

En referansetest kan imidlertid bare måle de ferdighetene den er utformet for å teste. Selv når resultatene er pålitelige, er det fortsatt uklart hvor mye disse ferdighetene har å si i daglig bruk, eller om en høyere poengsum fører til at mer arbeid blir utført.

Når det gjelder kodingsmodeller, kan dette undersøkes ved å se på hva som skjer med utviklernes produksjon når de bytter fra én modell til en annen.

Få gjort [the Same] mer med mindre

I juni i år ga det 19 dager lange forbudet fra Det hvite hus mot bruk av Claude Fable forskere et uvanlig tydelig testmiljø. Utviklere som sendte inn kodeforespørsler (PR-er) til GitHub, gikk da over til mindre kraftige versjoner av Claude. Siden alle versjoner av Claude er med på å godkjenne PR-er, og denne informasjonen kan søkes opp via GitHub API, er dataene fritt tilgjengelige.

Denne muligheten ble utnyttet i en ny studie fra Harvard University. Studien fulgte arbeidet til 297 brukere av Fable 5 før, under og etter forbudet og sammenlignet det med arbeidet til 8 908 utviklere som fortsatte å bruke den eldre modellen Opus 4.8.

Fable 5 hadde tidligere fått en poengsum som var nesten 11 poeng høyere enn Opus 4.8 på kodingsreferansetesten SWE-Bench Pro. I Harvard-studien var tilgang til Fable 5 imidlertid forbundet med en økning på bare 1,4 prosentpoeng i andelen innsendte kodeendringer som ble godkjent i GitHub-prosjekter innen sju dager. Studien hevder at denne forskjellen i praksis er på nivå med en avrundingsfeil. En bredere analyse fant dessuten ingen betydelige produktivitetsgevinster ved å oppgradere til andre nyere KI-modeller:

«Resultatene viser at tilgang til Fable 5 bare endret andelen kodeendringer som ble slått sammen med 1,4 prosentpoeng, og at endringen ikke var statistisk [significant]. Vi analyserte også fem av de åtte modelloppgraderingene i 2026 og fant at andelen kodeendringer som ble slått sammen, ikke økte etter disse oppgraderingene [either].»

«Utviklerne fikk heller ikke slått sammen flere kodeforespørsler per uke. Resultatene viser at bedre resultater på dagens kodingsreferansetester ikke egentlig førte til at mer arbeid ble fullført.»

På tvers av fem oppgraderinger i 2026, som omfattet 1 208 utviklere og mer enn 15 000 foreslåtte kodeendringer, fant man ingen statistisk signifikant forbedring i andelen innsendt kode som ble slått sammen, eller i antallet endringer som ble fullført hver uke.

Selv om studien erkjenner at sammenslåinger på GitHub er et ufullkomment mål på produktivitet, ga forbudet en svært sjelden mulighet til å vurdere virkningen av å bytte modell under reelle arbeidsforhold. Dette skjedde i en sektor som vekker enorm global interesse, men som preges av maksimal lukkethet fra selskapenes side.

Den nye studien† erkjenner hvor vanskelig det er å fastsette empiriske kriterier i slike tilfeller, og påpeker:

«Folk som tar i bruk nye modeller først, kan være mer erfarne. Når vi sammenligner produktiviteten til ulike utviklere, kan vi derfor ikke vite om forskjellen skyldes modellen eller personene som bruker den. Selv om vi observerer de samme personene, vet vi ikke om de gir de samme oppgavene til ulike modeller.

«Noen bruker for eksempel kanskje Fable 5 til de vanskeligste oppgavene og bytter til modeller på lavere nivå for enklere oppgaver. Hvis de gir de vanskeligste oppgavene til den sterkeste modellen, kan den sterkeste modellen se mindre produktiv ut etter nesten hvilket som helst mål vi velger, siden vanskelige oppgaver tar lengre tid og har mindre sannsynlighet for å bli slått sammen.»

Artikkelen hevder også at tidligere studier har vært skjeve fordi de fleste kodeendringene kom fra et lite antall prosjekter, som alle hadde egne regler for å godta bidrag. Forskjellene mellom prosjektene har gjort det vanskelig å fastslå om produktivitetsgevinstene faktisk skyldtes oppgradering til nyere modeller.

Metode

I hovedeksperimentet†† ble GitHub-pullforespørslene fra 297 utviklere som i studien ble identifisert som brukere av Fable 5, delt inn i fire perioder: før modellen ble lansert 9. juni, i løpet av de tre dagene den var tilgjengelig, gjennom den 19 dager lange suspensjonen og etter at tilgangen ble gjenopprettet 1. juli.

Sammenslåingsratene deres ble sammenlignet med ratene til 8 908 utviklere som ble identifisert som brukere av den eldre modellen Opus 4.8. Dette gjorde det mulig å skille endringer knyttet til suspensjonen fra større svingninger i aktiviteten på GitHub.

Sammenligningen forutsatte at begge gruppene ville ha opplevd tilsvarende endringer i sammenslåingsratene dersom tilgangen ikke hadde blitt suspendert. Endringene i sammenslåingsratene ble sammenlignet mellom de to gruppene, og analysen tok statistisk høyde for forskjeller mellom enkeltutviklere og svingninger fra dag til dag:

Tidslinje over oppgraderinger av Claude-modeller og suspensjonen av Fable 5. Det øverste panelet viser åtte oppgraderinger av Opus og Sonnet, der fylte sirkler markerer de fem som ble undersøkt i den større studien. Det nederste panelet viser de fire periodene som ble brukt til å vurdere hvordan suspensjonsperioden påvirket sammenslåingsratene for PR-er, med suspensjonen som referanseperiode. Lilla linjer viser når Fable 5 var tilgjengelig eller suspendert, grå skyggelegging markerer suspensjonen, og skraverte felt viser dager som ble utelatt umiddelbart etter at tilgangen ble suspendert eller gjenopprettet. Kilde – https://arxiv.org/pdf/2611.23216

Tidslinje over oppgraderinger av Claude-modeller og suspensjonen av Fable 5. Det øverste panelet viser åtte oppgraderinger av Opus og Sonnet, der fylte sirkler markerer de fem som ble undersøkt i den større studien. Det nederste panelet viser de fire periodene som ble brukt til å vurdere hvordan suspensjonsperioden påvirket sammenslåingsratene for PR-er, med suspensjonen som referanseperiode. Lilla linjer viser når Fable 5 var tilgjengelig eller suspendert, grå skyggelegging markerer suspensjonen, og skraverte felt viser dager som ble utelatt umiddelbart etter at tilgangen ble suspendert eller gjenopprettet. Kilde

Offentlige PR-er på GitHub som var opprettet med Claude Code, ble identifisert ved hjelp av GitHubs Search API. Søkene tok utgangspunkt i merknaden «Generated with Claude Code», som automatisk legges til i PR-beskrivelsene. Når modellnavnet også var kopiert fra kodeendringens commit-historikk til PR-beskrivelsen, var det mulig å fastslå hvilken Claude-versjon som var brukt.

PR-er sendt inn rundt suspensjonen av Fable 5 og de påfølgende Claude-oppgraderingene ble samlet inn mellom november 2025 og oktober 2026. Det ble satt av minst fire uker til at de nyeste innsendingene kunne bli slått sammen.

De 297 utviklerne som brukte Fable 5 i den korte perioden modellen var tilgjengelig, utgjorde hovedgruppen i studien. Kontrollgruppen besto av 8 908 utviklere som brukte Opus 4.8, og som det ikke var registrert noen bruk av Fable 5 for.

Det viktigste målet på produktivitet var andelen innsendte kodeendringer som ble godkjent i GitHub-prosjekter innen sju dager. Dette gjorde det mulig å sammenligne andelen vellykkede innsendinger i periodene før, under og etter suspensjonen. I tillegg ble PR-er som ble slått sammen innen en time, PR-er som ble lukket uten å bli slått sammen, antall kommentarer, endringer som senere ble reversert, og feil i GitHubs automatiske kontroller undersøkt.

Tester

Tapet av tilgang til Fable 5 og den påfølgende gjenopprettingen av tilgangen hadde liten målbar effekt på utviklernes produktivitet. Tilgang til den nyere modellen var knyttet til en økning på bare 1,4 prosentpoeng i andelen PR-er som ble slått sammen innen sju dager – en forskjell som ble vurdert som «ikke statistisk signifikant»:

Sammenligning av bruken av Fable 5 og sammenslåingsratene for PR-er før, under og etter suspensjonen. Til venstre: andelen PR-er som ble laget med Fable 5. Til høyre: endringer i sjudagersraten for sammenslåing sammenlignet med 22.–28. juni, der prikker viser estimater og vannrette linjer angir 95-prosent konfidensintervaller. Skyggelagte rader markerer perioder da Fable 5 var tilgjengelig. Til tross for store endringer i modellbruken ble det observert små endringer i sammenslåingsratene.

Sammenligning av bruken av Fable 5 og sammenslåingsratene for PR-er før, under og etter suspensjonen. Til venstre: andelen PR-er som ble laget med Fable 5. Til høyre: endringer i sjudagersraten for sammenslåing sammenlignet med 22.–28. juni, der prikker viser estimater og vannrette linjer angir 95-prosent konfidensintervaller. Skyggelagte rader markerer perioder da Fable 5 var tilgjengelig. Til tross for store endringer i modellbruken ble det observert små endringer i sammenslåingsratene.

På tvers av fem oppgraderinger av Claude-modeller, som omfattet 1 208 utviklere og mer enn 15 000 kodeinnsendinger, ble det heller ikke funnet noen økning i andelen kode som ble godkjent i GitHub-prosjekter. Andelen sank faktisk litt, med anslagsvis 0,9 prosentpoeng.

Det viste seg også at utviklere som brukte nyere modeller, fullførte bare 2,4 % flere godkjente innsendelser per uke – en forskjell som var for liten til å fastslå en pålitelig forbedring. Selv der referansepoengene hadde økt med mellom 5 og 18 poeng, ble det ikke observert noen betydelig produktivitetsgevinst.

Det viste seg også at de nyere modellene ikke presterte bedre i GitHubs automatiserte kodekontroller, og feilratene var i praksis uendret.

Artikkelen konkluderer slik:

«Vi antar at hovedgrunnen til at Fable 5s bedre resultater på referansetester ikke førte til økt produktivitet i det daglige arbeidet, er at oppgavene utviklerne gir agentene, allerede er innenfor det den eldre modellen kan utføre.»

Og fortsetter:

«Funnene våre tilfører dokumentasjon fra reelt arbeid til det tidligere forskning har advart mot: En poengsum på en referansetest betyr lite for dem som skal velge modell, hvis det ikke finnes belegg for at testen måler arbeidet modellen brukes til å [describe].

«Hvis tilsynsmyndigheter og innkjøpere vurderer hvor mye sterkere en modell er, ut fra poengsummen på modellens referansetest[score], vil forskjellen de legger til grunn, sannsynligvis ikke gjenspeiles i brukernes produktivitet.»

Konklusjon

Konsistente måltall fra år til år har lenge vært en forutsetning for forretningssiden av industrielle systemer. Det er imidlertid særlig vanskelig å gjenskape slike målinger på en realistisk og nøyaktig måte innen KI. En del av årsaken er hvor raskt «testdataene» som definerer en referansetest, blir en del av treningsdataene til neste modell og dermed blir ubrukelige til testing. Dette alene undergraver i stor grad grunnlaget for bedriftsreferansetester og konsistente vitenskapelige tester, der forskere er avhengige av å utfordre tidligere etablerte måltall som nå kan være meningsløse.

Det har vært imponerende å følge med på hvor mange forskningsartikler innen datasyn som fortsatt bygger på for lengst utdaterte standarder som ImageNet, rett og slett fordi de har så lang historie.

Resultatene i denne artikkelen stiller utviklerne i et nokså godt lys: De fremstår som tilpasningsdyktige og fleksible brukere av de systemene som er tilgjengelige og i drift. At de presterer omtrent like raskt med enten den nyeste eller den forrige KI-en, tyder på at de tilpasser seg tidsrammer og frister, uavhengig av hvilke verktøy de har til rådighet.

 

* Som en nylig kommentator på Hacker News påpekte, stemmer dette sannsynligvis ikke lenger, ettersom «Pelican on Bicycle»-dataene nå inngår i treningsdataene, og testen derfor er kompromittert.

† Med tittelen «Kodingsmodeller med høyere poengsum fikk ikke gjort mer arbeid».

†† Studien stiller to andre spørsmål, men jeg mener de ikke er særlig relevante for temaet eller like betydningsfulle som hovedspørsmålet, og har derfor ikke omtalt dem her. Se kildens PDF for flere detaljer.

Først publisert onsdag 18. november 2026

Skribent innen maskinlæring, domenespesialist i menneskelig bildesyntese. Tidligere leder for forskningsinnhold hos Metaphysic.ai, frem til oppløsningen i DNEG's Brahma.ai.
Nettsted: martinanderson.ai
Kontakt: martin@martinanderson.ai