Andersons hoek

Downgraden vanaf Claude Fable had tijdens het verbod nauwelijks invloed op de productiviteit van ontwikkelaars

Martin Anderson
Voeg Unite.AI toe aan je voorkeursbronnen op Google
Workers at the AWA factory, Ashfield, NSW, 1936. Source: https://commons.wikimedia.org/wiki/File:AWA1936.jpg
Belangrijkste puntenToegang tot de hoger scorende Claude Fable 5 verhoogde de mergefrequentie met slechts…
Meer weergeven
  • Toegang tot de hoger scorende Claude Fable 5 verhoogde de mergefrequentie met slechts 1,4 procentpunt.
  • Vijf Claude-upgrades leverden geen significante winst op in samengevoegde pull requests of wekelijks voltooide wijzigingen.
  • Benchmarkscores betekenen weinig wanneer de taken die ontwikkelaars toewijzen al binnen de mogelijkheden van oudere modellen vallen.

Het is erg moeilijk om nauwkeurig vast te stellen of nieuwe AI-modellen beter presteren dan hun voorgangers, of zelfs om te definiëren wat precies een productiviteitsverbetering inhoudt. Nieuwe versies kunnen op het ene gebied beter presteren, maar op een ander gebied juist slechter, net zoals dat bij conventionele software en frameworks kan gebeuren. Soms zijn dit bewuste afwegingen die mensen maken, soms is er sprake van ‘nevenschade’.

Dat veronderstelt wel eerlijk spel. Er zijn genoeg gevallen waarin ontwikkelaars software hebben aangepast om beter te presteren in benchmarks, soms door die te laten herkennen wanneer ze wordt getest en tijdelijk anders te laten werken om een hogere score te behalen. Ook AI-modellen kunnen herkennen wanneer ze worden geëvalueerd en zich anders gedragen, zelfs als ze daar niet bewust voor zijn ontworpen.

Om betekenisvollere en eerlijkere maatstaven te vinden, stellen ontwikkelaars vaak hun eigen informele meetlatten op, zoals de kwalitatieve uitdaging van Simon Wilson om een pelikaan op een fiets te laten rijden. Daarbij moeten vision-language-modellen (VLM’s) iets creëren dat niet in de trainingsdata voorkomt*, en dat lukt ze vaak slecht — al is er in de loop van 2026 wel enige vooruitgang geboekt:

De meetmethode van Simon Wilson vraagt een VLM zich een pelikaan op een fiets voor te stellen. De laatste tijd is AI hier veel beter in geworden dan zo’n 18 maanden geleden, toen de pogingen hilarisch waren. Sommigen stellen echter dat dit komt doordat de uitdaging inmiddels in de trainingsdata is opgenomen. Bron: https://simonwillison.net/tags/pelican-riding-a-bicycle/

De meetmethode van Simon Wilson vraagt een VLM zich een pelikaan op een fiets voor te stellen. De laatste tijd is AI hier veel beter in geworden dan zo’n 18 maanden geleden, toen de pogingen hilarisch waren. Sommigen stellen echter dat dit komt doordat de uitdaging inmiddels in de trainingsdata is opgenomen. Bron

Een benchmark kan echter alleen de specifieke vaardigheden meten waarvoor hij is ontworpen. Zelfs als de resultaten betrouwbaar zijn, blijft onduidelijk in hoeverre die vaardigheden in het dagelijks gebruik van belang zijn en of een hogere score ertoe leidt dat er meer werk wordt afgerond.

Bij codermodellen kan dit worden onderzocht door te bekijken wat er met de output van ontwikkelaars gebeurt wanneer ze overstappen van het ene model naar het andere.

Presteren [the Same] met minder

In juni dit jaar bood het 19 dagen durende verbod van het Witte Huis op het gebruik van Claude Fable onderzoekers een uitzonderlijk heldere testomgeving: ontwikkelaars die pullrequests (PR’s) naar GitHub indienden, stapten over op minder krachtige versies van Claude. Omdat alle versies van Claude PR’s medeondertekenen en die informatie via de GitHub API doorzoekbaar is, zijn de gegevens vrij beschikbaar.

Deze mogelijkheid werd benut in een nieuwe studie van Harvard University. Daarin werd het werk van 297 gebruikers van Fable 5 gevolgd vóór, tijdens en na het verbod en vergeleken met dat van 8.908 ontwikkelaars die het oudere model Opus 4.8 bleven gebruiken.

Fable 5 had eerder op de codeerbenchmark SWE-Bench Pro een score behaald die bijna 11 punten hoger lag dan die van Opus 4.8. Uit de Harvard-studie bleek echter dat toegang tot Fable 5 samenging met een stijging van slechts 1,4 procentpunt in het aandeel ingediende codewijzigingen dat binnen zeven dagen in GitHub-projecten werd geaccepteerd. Volgens het artikel is dat verschil in de praktijk verwaarloosbaar, alsof het op afronding berust. Ook uit een bredere analyse bleek geen significante productiviteitswinst door over te stappen op andere, nieuwere AI-modellen:

‘Uit de resultaten blijkt dat toegang tot Fable 5 het samenvoegingspercentage met slechts 1,4 procentpunt veranderde, en dat die verandering niet statistisch significant[significant] was. We hebben ook vijf van de acht modelupgrades in 2026 geanalyseerd en vastgesteld dat het samenvoegingspercentage na die upgrades niet steeg[either].

‘Evenmin werden er per week meer pullrequests van ontwikkelaars samengevoegd. Deze resultaten laten zien dat betere scores op de huidige codeerbenchmarks niet echt leidden tot meer afgerond werk.’

Bij vijf upgrades in 2026, waarbij 1.208 ontwikkelaars en meer dan 15.000 voorgestelde codewijzigingen betrokken waren, werd geen statistisch significante verbetering vastgesteld in het percentage ingediende code dat werd samengevoegd, noch in het aantal wijzigingen dat elke week succesvol werd afgerond.

Hoewel het artikel erkent dat samenvoegingen op GitHub geen perfecte maatstaf voor productiviteit zijn, bood het verbod een zeer zeldzame kans om de gevolgen van modelwisselingen onder realistische werkomstandigheden te beoordelen. Dat gebeurde in een sector die wereldwijd enorme belangstelling trekt, maar opereert met een maximaal mogelijke mate van bedrijfsmatige ondoorzichtigheid.

Het nieuwe onderzoek† erkent hoe moeilijk het is om in zulke gevallen empirische criteria vast te stellen en merkt op:

‘Mensen die nieuwe modellen als eersten gebruiken, hebben mogelijk meer ervaring. Wanneer we de productiviteit van verschillende ontwikkelaars vergelijken, kunnen we dus niet bepalen of het verschil door het model komt of door de mensen die het gebruiken. Zelfs als we dezelfde mensen volgen, weten we niet of ze dezelfde taken aan verschillende modellen toewijzen.

‘Sommige mensen gebruiken Fable 5 bijvoorbeeld voor de moeilijkste taken en schakelen voor eenvoudigere taken over op modellen uit een lagere klasse. Als ze de moeilijkere taken aan het sterkste model geven, kan dat model op vrijwel elke maatstaf die we kiezen minder productief lijken, omdat moeilijkere taken meer tijd kosten en minder vaak worden samengevoegd.’

Het artikel stelt ook dat eerdere onderzoeken vertekend zijn doordat de meeste codewijzigingen afkomstig waren uit een klein aantal projecten, elk met eigen regels voor het accepteren van bijdragen. Door die verschillen was het moeilijk vast te stellen of productiviteitswinst daadwerkelijk werd veroorzaakt door de overstap naar nieuwere modellen.

Methode

Voor het hoofdexperiment†† werden de GitHub-pullrequests van 297 ontwikkelaars die in het onderzoek als gebruikers van Fable 5 waren aangemerkt, verdeeld over vier perioden: vóór de release van het model op 9 juni; tijdens de drie dagen waarin het beschikbaar was; gedurende de opschorting van 19 dagen; en nadat de toegang op 1 juli was hersteld.

Hun samenvoegpercentages werden vergeleken met die van 8.908 ontwikkelaars die waren aangemerkt als gebruikers van het oudere model Opus 4.8. Zo konden veranderingen die verband hielden met de opschorting worden onderscheiden van bredere schommelingen in de GitHub-activiteit.

Bij de vergelijking werd ervan uitgegaan dat beide groepen zonder de blokkade vergelijkbare veranderingen in hun samenvoegpercentages zouden hebben doorgemaakt. De veranderingen in de samenvoegpercentages van de twee groepen werden met elkaar vergeleken, waarbij in de statistische analyse rekening werd gehouden met verschillen tussen individuele ontwikkelaars en met dagelijkse schommelingen:

Tijdlijn van Claude-modelupgrades en de opschorting van Fable 5. Het bovenste paneel toont acht upgrades van Opus en Sonnet; de vijf die in het bredere onderzoek zijn bestudeerd, zijn aangegeven met gevulde cirkels. Het onderste paneel toont de vier perioden die zijn gebruikt om te beoordelen hoe de opschortingsperiode de samenvoegpercentages van PR's beïnvloedde, waarbij de blokkadeperiode als referentieperiode diende. Paarse lijnen geven aan wanneer Fable 5 beschikbaar was of was opgeschort; de grijze arcering markeert de blokkade; en gearceerde delen geven dagen aan die direct na het opschorten of herstellen van de toegang buiten beschouwing zijn gelaten. Bron - https://arxiv.org/pdf/2611.23216

Tijdlijn van Claude-modelupgrades en de opschorting van Fable 5. Het bovenste paneel toont acht upgrades van Opus en Sonnet; de vijf die in het bredere onderzoek zijn bestudeerd, zijn aangegeven met gevulde cirkels. Het onderste paneel toont de vier perioden die zijn gebruikt om te beoordelen hoe de opschortingsperiode de samenvoegpercentages van PR’s beïnvloedde, waarbij de blokkadeperiode als referentieperiode diende. Paarse lijnen geven aan wanneer Fable 5 beschikbaar was of was opgeschort; de grijze arcering markeert de blokkade; en gearceerde delen geven dagen aan die direct na het opschorten of herstellen van de toegang buiten beschouwing zijn gelaten. Bron

Wat de gegevens betreft: openbare GitHub-PR’s die met Claude Code waren aangemaakt, werden opgespoord via de GitHub Search API, aan de hand van de melding ‘Generated with Claude Code’ die automatisch in de beschrijvingen ervan wordt opgenomen. Wanneer de specifieke modelnaam ook vanuit de commitgeschiedenis van de code naar de PR-beschrijving was gekopieerd, kon worden vastgesteld welke versie van Claude was gebruikt.

PR’s die waren ingediend rond de opschorting van Fable 5 en de daaropvolgende Claude-upgrades, werden verzameld tussen november 2025 en oktober 2026. Voor de meest recente inzendingen werd ten minste vier weken de tijd gegeven om te worden samengevoegd.

De 297 ontwikkelaars die Fable 5 tijdens de korte beschikbaarheidsperiode hadden gebruikt, werden geselecteerd voor de hoofdonderzoeksgroep. De 8.908 ontwikkelaars die Opus 4.8 hadden gebruikt en bij wie geen gebruik van Fable 5 was geregistreerd, vormden de controlegroep.

De belangrijkste productiviteitsmaatstaf was het aandeel ingediende codewijzigingen dat binnen zeven dagen in GitHub-projecten werd geaccepteerd. Zo kon het percentage succesvolle inzendingen worden vergeleken voor de perioden vóór, tijdens en na de opschorting. Aanvullende controles betroffen PR’s die binnen een uur werden samengevoegd; PR’s die werden gesloten zonder te worden samengevoegd; het aantal ontvangen opmerkingen; wijzigingen die later werden teruggedraaid; en fouten bij de geautomatiseerde controles van GitHub.

Tests

Het verlies en het latere herstel van de toegang tot Fable 5 hadden weinig meetbaar effect op de productiviteit van ontwikkelaars. Toegang tot het nieuwere model hing samen met een stijging van slechts 1,4 procentpunt in het aandeel PR’s dat binnen zeven dagen werd samengevoegd; een verschil dat als ‘niet statistisch significant’ werd aangemerkt:

Vergelijking van het gebruik van Fable 5 en de samenvoegpercentages van PR's vóór, tijdens en na de blokkade. Links: het percentage PR's dat met Fable 5 is gemaakt. Rechts: veranderingen in het samenvoegpercentage binnen zeven dagen ten opzichte van 22–28 juni; de stippen tonen de schattingen en de horizontale lijnen geven de betrouwbaarheidsintervallen van 95% aan. Gearceerde rijen markeren perioden waarin Fable 5 beschikbaar was. Ondanks grote veranderingen in het modelgebruik werd er weinig verandering in de samenvoegpercentages waargenomen.

Vergelijking van het gebruik van Fable 5 en de samenvoegpercentages van PR’s vóór, tijdens en na de blokkade. Links: het percentage PR’s dat met Fable 5 is gemaakt. Rechts: veranderingen in het samenvoegpercentage binnen zeven dagen ten opzichte van 22–28 juni; de stippen tonen de schattingen en de horizontale lijnen geven de betrouwbaarheidsintervallen van 95% aan. Gearceerde rijen markeren perioden waarin Fable 5 beschikbaar was. Ondanks grote veranderingen in het modelgebruik werd er weinig verandering in de samenvoegpercentages waargenomen.

Ook bij vijf Claude-modelupgrades, waarbij 1.208 ontwikkelaars en meer dan 15.000 code-inzendingen betrokken waren, werd geen verbetering vastgesteld in het aandeel code dat in GitHub-projecten werd geaccepteerd. Het percentage daalde zelfs licht, naar schatting met 0,9 procentpunt.

Ook bleken ontwikkelaars met nieuwere modellen per week slechts 2,4% meer geaccepteerde inzendingen af te ronden — een te klein verschil om een betrouwbare verbetering vast te stellen. Zelfs wanneer benchmarkscores met 5 tot 18 punten waren gestegen, werden geen significante productiviteitswinst waargenomen.

Ook bleken de nieuwere modellen niet beter te presteren bij de geautomatiseerde codecontroles van GitHub; de foutpercentages bleven vrijwel onveranderd.

Het onderzoek concludeert:

‘We veronderstellen dat de belangrijkste reden waarom de winst van Fable 5 op benchmarks niet leidde tot hogere productiviteit in de praktijk, is dat de taken die ontwikkelaars aan agents geven al binnen de mogelijkheden van het oudere model vallen.’

En vervolgt:

‘Onze bevindingen leveren praktijkgegevens als aanvulling op eerdere waarschuwingen: een benchmarkscore zegt weinig voor mensen die een model kiezen, tenzij er bewijs is dat de score meet hoe het model daadwerkelijk wordt ingezet [describe].

‘Als toezichthouders en kopers beoordelen hoeveel sterker een model is aan de hand van zijn benchmarkscores [score], zal het verschil waarop zij zich baseren waarschijnlijk niet zichtbaar zijn in de productiviteit van gebruikers.’

Conclusie

Consistente jaar-op-jaarcijfers zijn al lange tijd een voorwaarde voor de bedrijfsmatige kant van industriële systemen. In de AI-sector zijn zulke cijfers echter bijzonder moeilijk in de praktijk en op een nauwkeurige manier te reproduceren. Een deel van de verklaring hiervoor is de snelheid waarmee de ‘testdata’ die een benchmark definieert, in de trainingsdata van het volgende model terechtkomt en daardoor onbruikbaar wordt voor testdoeleinden. Alleen dit al ondermijnt grotendeels het uitgangspunt van benchmarking binnen bedrijven en van consistente wetenschappelijke tests, waarbij onderzoekers afhankelijk zijn van het doorbreken van eerder vastgestelde maatstaven die inmiddels betekenisloos kunnen zijn.

Het was inderdaad opmerkelijk om de afgelopen tien jaar te zien hoeveel onderzoeksartikelen op het gebied van computervisie nog vasthouden aan sterk verouderde standaarden zoals ImageNet, simpelweg omdat die al zo lang bestaan.

De resultaten van dit onderzoek zetten ontwikkelaars in een tamelijk gunstig daglicht: als flexibele en aanpasbare gebruikers van het beschikbare en werkende systeem. Dat ze met zowel de nieuwste als het vorige AI-model ongeveer even snel werken, wijst erop dat ze hun werk afstemmen op de beschikbare tijd en deadlines, ongeacht de tools die ze tot hun beschikking hebben.

 

* Zoals een recente reageerder op Hacker News opmerkte, is dit waarschijnlijk niet langer waar, omdat de data ‘Pelican on Bicycle’ inmiddels in de trainingsdata zit en de test daardoor niet langer betrouwbaar is.

† Getiteld ‘Modellen die hoger scoorden op programmeertaken kregen niet meer werk gedaan’.

†† In het onderzoek worden nog twee andere vragen gesteld, maar ik vind die niet bijzonder relevant voor het onderwerp en ook niet van vergelijkbaar belang als de hoofdvraag. Daarom heb ik ze hier niet besproken. Raadpleeg de pdf van de bron voor meer informatie.

Voor het eerst gepubliceerd op woensdag 18 november 2026

Schrijver over machine learning, domeinspecialist in menselijke beeldsynthetisatie. Voormalig hoofd van onderzoekscontent bij Metaphysic.ai, tot de ontbinding ervan in DNEG's Brahma.ai.
Website: martinanderson.ai
Contact: martin@martinanderson.ai