Andersons Blickwinkel
Der Wechsel von Claude Fable auf ein schwächeres Modell beeinträchtigte die Produktivität von Entwicklern während des Verbots kaum

Wichtige PunkteDer Zugang zum höher bewerteten Claude Fable 5 erhöhte die Merge-Rate nur um 1,4…
Mehr anzeigen
- Der Zugang zum höher bewerteten Claude Fable 5 erhöhte die Merge-Rate nur um 1,4 Prozentpunkte.
- Fünf Claude-Upgrades brachten keinen signifikanten Zuwachs bei zusammengeführten Pull Requests oder wöchentlich abgeschlossenen Änderungen.
- Benchmark-Werte bedeuten wenig, wenn die von Entwicklern zugewiesenen Aufgaben bereits innerhalb der Fähigkeiten älterer Modelle liegen.
Es ist sehr schwierig, genau zu beurteilen, ob neue KI-Modelle ihre Leistung gegenüber ihren Vorgängern verbessert haben – oder auch nur zu definieren, was genau eine Produktivitätssteigerung ausmacht. Neue Versionen können sich in einem Bereich verbessern, während ihre Leistung in einem anderen nachlässt – ähnlich wie bei herkömmlicher Software und Frameworks. Manchmal handelt es sich um bewusste, von Menschen gewählte Kompromisse, manchmal um „Kollateralschäden“.
Dabei wird vorausgesetzt, dass fair gespielt wird. Es gibt zahlreiche Fälle, in denen Entwickler Software so manipuliert haben, dass sie in Benchmarks besser abschneidet – mitunter so, dass sie erkennt, wann sie getestet wird, und ihr Verhalten vorübergehend ändert, um eine bessere Punktzahl zu erzielen. Auch KI-Modelle können erkennen, wann sie bewertet werden, und sich anders verhalten, selbst wenn sie nicht gezielt dafür entwickelt wurden.
Auf der Suche nach aussagekräftigeren und ehrlicheren Messgrößen entwickeln Entwickler oft eigene, informelle Richtwerte, etwa Simon Wilsons qualitative Herausforderung, einen Pelikan auf einem Fahrrad darzustellen. Dabei sollen Vision-Language-Modelle (VLMs) etwas erzeugen, das in den Trainingsdaten nicht vorkommt*, und schneiden dabei oft schlecht ab – auch wenn sich im Laufe des Jahres 2026 gewisse Fortschritte gezeigt haben:

Simon Wilsons Messgröße fordert ein VLM auf, sich einen Pelikan auf einem Fahrrad vorzustellen. In letzter Zeit ist KI darin deutlich besser geworden als noch vor etwa 18 Monaten, als die Ergebnisse geradezu lächerlich waren. Manche vermuten jedoch, dass dies daran liegen könnte, dass die Herausforderung inzwischen fest in den Trainingsdaten verankert ist. Quelle
Ein Benchmark kann jedoch nur die konkreten Fähigkeiten messen, für deren Prüfung er entwickelt wurde. Und selbst wenn die Ergebnisse zuverlässig sind, bleibt unklar, wie sehr diese Fähigkeiten im Alltag von Bedeutung sind oder ob eine höhere Punktzahl tatsächlich dazu führt, dass mehr Arbeit erledigt wird.
Bei Codiermodellen lässt sich das untersuchen, indem man betrachtet, was mit der Leistung von Entwicklern geschieht, wenn sie von einem Modell zu einem anderen wechseln.
Leisten [the Same] mit weniger
Im Juni dieses Jahres bot das 19-tägige Verbot des Weißen Hauses zur Nutzung von Claude Fable Forschern eine ungewöhnlich klare Testumgebung: Entwickler, die Pull Requests (PRs) auf GitHub einreichten, wechselten zu weniger leistungsfähigen Claude-Versionen. Da alle Claude-Versionen PRs mitunterzeichnen und diese Information über die GitHub-API recherchierbar ist, sind die Daten frei verfügbar.
Diese Gelegenheit nutzte eine neue Studie der Harvard University. Darin wurde die Arbeit von 297 Fable-5-Nutzern vor, während und nach dem Verbot erfasst und mit der von 8.908 Entwicklern verglichen, die weiterhin das ältere Modell Opus 4.8 verwendeten.
Fable 5 hatte beim Programmier-Benchmark SWE-Bench Pro zuvor eine Bewertung erzielt, die fast 11 Punkte höher lag als die von Opus 4.8. In der Harvard-Studie war der Zugang zu Fable 5 jedoch mit einem Anstieg um lediglich 1,4 Prozentpunkte beim Anteil der eingereichten Codeänderungen verbunden, die innerhalb von sieben Tagen in GitHub-Projekte übernommen wurden. Laut der Studie ist dieser Unterschied praktisch nicht mehr als ein Rundungsfehler. Eine umfassendere Analyse ergab außerdem, dass auch der Wechsel zu anderen neueren KI-Modellen keine signifikanten Produktivitätssteigerungen brachte:
„Die Ergebnisse zeigen, dass der Zugang zu Fable 5 die Zusammenführungsquote lediglich um 1,4 Prozentpunkte verändert hat und diese Veränderung statistisch nicht [significant] war. Außerdem haben wir fünf der acht Modell-Upgrades im Jahr 2026 analysiert und festgestellt, dass die Zusammenführungsquote nach diesen Upgrades [either] nicht gestiegen ist.“
„Ebenso wurden pro Woche nicht mehr Pull Requests von Entwicklern übernommen. Diese Ergebnisse zeigen, dass sich die Verbesserungen bei den aktuellen Programmier-Benchmarks nicht wirklich in mehr fertiggestellter Arbeit niederschlugen.“
Bei fünf Modell-Upgrades im Jahr 2026, an denen 1.208 Entwickler beteiligt waren und die mehr als 15.000 vorgeschlagene Codeänderungen umfassten, zeigte sich weder bei der Übernahmequote eingereichten Codes noch bei der Zahl der pro Woche erfolgreich abgeschlossenen Änderungen eine statistisch signifikante Verbesserung.
Die Studie räumt zwar ein, dass Zusammenführungen auf GitHub ein unvollkommenes Maß für Produktivität sind. Das Verbot bot jedoch eine äußerst seltene Gelegenheit, die Auswirkungen eines Modellwechsels unter realen Arbeitsbedingungen zu untersuchen – in einer Branche, die weltweit auf enormes Interesse stößt, zugleich aber mit maximal möglicher unternehmerischer Intransparenz arbeitet.
Die neue Arbeit† erkennt an, wie schwierig es ist, in solchen Fällen empirische Kriterien festzulegen, und stellt fest:
„Wer neue Modelle als Erster nutzt, ist möglicherweise erfahrener. Wenn wir daher die Produktivität verschiedener Entwickler vergleichen, können wir nicht erkennen, ob der Unterschied auf das Modell oder auf die Personen zurückzuführen ist, die es verwenden. Selbst wenn wir dieselben Personen beobachten, wissen wir nicht, ob sie verschiedenen Modellen dieselben Aufgaben zuweisen.
„Manche könnten Fable 5 beispielsweise für die schwierigsten Aufgaben verwenden und bei leichteren Aufgaben auf Modelle einer niedrigeren Leistungsklasse umsteigen. Wenn sie die schwierigeren Aufgaben dem leistungsstärksten Modell zuweisen, kann dieses bei nahezu jedem gewählten Maßstab weniger produktiv erscheinen, da schwierigere Aufgaben mehr Zeit in Anspruch nehmen und seltener zusammengeführt werden.“
Die Studie argumentiert außerdem, dass frühere Untersuchungen dadurch verzerrt waren, dass die meisten Codeänderungen aus einer kleinen Zahl von Projekten stammten, für die jeweils eigene Regeln zur Annahme von Beiträgen galten. Diese Unterschiede hätten es erschwert festzustellen, ob Produktivitätssteigerungen tatsächlich auf den Umstieg auf neuere Modelle zurückzuführen waren.
Methode
Für das Hauptexperiment†† wurden die GitHub-Pull-Requests von 297 Entwicklern, die in der Studie als Nutzer von Fable 5 identifiziert wurden, in vier Zeiträume unterteilt: vor der Veröffentlichung des Modells am 9. Juni, während der drei Tage, in denen es verfügbar war, während der 19-tägigen Sperrung und nach der Wiederherstellung des Zugriffs am 1. Juli.
Ihre Zusammenführungsraten wurden mit denen von 8.908 Entwicklern verglichen, die nachweislich das ältere Modell Opus 4.8 verwendeten. So ließen sich Veränderungen im Zusammenhang mit der Sperrung von allgemeineren Schwankungen der GitHub-Aktivität unterscheiden.
Der Vergleich ging davon aus, dass beide Gruppen ohne die Sperrung ähnliche Veränderungen ihrer Zusammenführungsraten erlebt hätten. Die Veränderungen der Zusammenführungsraten wurden zwischen den beiden Gruppen verglichen; Unterschiede zwischen einzelnen Entwicklern und tägliche Schwankungen wurden in der statistischen Analyse berücksichtigt:

Zeitlicher Überblick über die Claude-Modellupdates und die Sperrung von Fable 5. Das obere Diagramm zeigt acht Updates von Opus und Sonnet; ausgefüllte Kreise markieren die fünf, die in der umfassenderen Studie untersucht wurden. Das untere Diagramm zeigt die vier Zeiträume, anhand derer untersucht wurde, wie sich die Sperrungsphase auf die Zusammenführungsraten von PRs auswirkte; als Referenzzeitraum dient die Sperrung. Violette Linien zeigen, wann Fable 5 verfügbar oder gesperrt war; graue Schattierungen kennzeichnen die Sperrung, und schraffierte Bereiche markieren Tage, die unmittelbar nach der Sperrung oder Wiederherstellung des Zugriffs ausgeschlossen wurden. Quelle
Für die Datenerhebung wurden öffentliche GitHub-PRs, die mit Claude Code erstellt worden waren, mithilfe der GitHub Search API identifiziert. Dafür diente der Hinweis „Generated with Claude Code“, der automatisch in ihre Beschreibungen aufgenommen wird. Wenn der konkrete Modellname außerdem aus dem Commit-Verlauf des Codes in die PR-Beschreibung kopiert worden war, ließ sich die verwendete Claude-Version ermitteln.
PRs, die im Umfeld der Sperrung von Fable 5 und der anschließenden Claude-Updates eingereicht wurden, wurden zwischen November 2025 und Oktober 2026 erfasst. Für die jüngsten Einreichungen wurde eine Zusammenführungsfrist von mindestens vier Wochen eingeräumt.
Die 297 Entwickler, die Fable 5 während der kurzen Verfügbarkeitsphase nutzten, bildeten die Hauptstudiengruppe. Als Kontrollgruppe dienten 8.908 Entwickler, die Opus 4.8 verwendeten und für die keine Nutzung von Fable 5 verzeichnet war.
Als zentrales Produktivitätsmaß diente der Anteil der eingereichten Codeänderungen, die innerhalb von sieben Tagen in GitHub-Projekte übernommen wurden. Damit ließ sich die Erfolgsquote der Einreichungen in den Zeiträumen vor, während und nach der Sperrung vergleichen. Zusätzliche Prüfungen umfassten PRs, die innerhalb einer Stunde zusammengeführt wurden; PRs, die ohne Zusammenführung geschlossen wurden; die Zahl der erhaltenen Kommentare; später rückgängig gemachte Änderungen sowie Fehler bei den automatisierten GitHub-Prüfungen.
Ergebnisse
Der Verlust und die spätere Wiederherstellung des Zugriffs auf Fable 5 hatten kaum messbare Auswirkungen auf die Produktivität der Entwickler. Der Zugriff auf das neuere Modell ging mit einem Anstieg des Anteils der innerhalb von sieben Tagen zusammengeführten PRs um lediglich 1,4 Prozentpunkte einher – ein Unterschied, der als „statistisch nicht signifikant“ eingestuft wurde:

Vergleich der Nutzung von Fable 5 und der Zusammenführungsraten von PRs vor, während und nach der Sperrung. Links: Anteil der mit Fable 5 erstellten PRs. Rechts: Veränderung der Sieben-Tage-Zusammenführungsrate gegenüber dem Zeitraum vom 22. bis 28. Juni; Punkte zeigen die Schätzwerte, horizontale Linien die 95-%-Konfidenzintervalle. Schattierte Zeilen kennzeichnen Zeiträume, in denen Fable 5 verfügbar war. Trotz großer Veränderungen bei der Modellnutzung waren kaum Veränderungen bei den Zusammenführungsraten zu beobachten.
Auch bei fünf Claude-Modellupdates, an denen 1.208 Entwickler und mehr als 15.000 Codeeinreichungen beteiligt waren, ließ sich keine Verbesserung des Anteils der in GitHub-Projekte übernommenen Codeänderungen feststellen. Die Rate sank sogar leicht, und zwar schätzungsweise um 0,9 Prozentpunkte.
Entwickler, die neuere Modelle nutzten, reichten pro Woche auch nur 2,4 % mehr akzeptierte Beiträge ein – ein zu geringer Unterschied, um eine verlässliche Verbesserung festzustellen. Selbst wenn die Benchmark-Ergebnisse um 5 bis 18 Punkte gestiegen waren, wurden keine signifikanten Produktivitätszuwächse beobachtet.
Außerdem schnitten die neueren Modelle bei den automatisierten Codeprüfungen von GitHub nicht besser ab; die Fehlerraten blieben im Wesentlichen unverändert.
Die Studie kommt zu folgendem Schluss:
„Wir vermuten, dass der Hauptgrund dafür, dass sich die Verbesserungen von Fable 5 bei Benchmarks nicht in der Produktivität bei der tatsächlichen Arbeit niederschlugen, darin liegt, dass die Aufgaben, die Entwickler den Agenten übertragen, bereits zu den Fähigkeiten des älteren Modells gehören.“
Weiter heißt es:
„Unsere Ergebnisse aus der Praxis ergänzen die Erkenntnisse früherer Arbeiten, die vor Folgendem gewarnt haben: Ein Benchmarkwert sagt für diejenigen, die ein Modell auswählen, wenig aus, solange nicht belegt ist, dass er die Arbeit misst, für die es eingesetzt wird[describe].“
„Wenn Aufsichtsbehörden und Käufer anhand des Benchmarkwerts[score] beurteilen, wie viel leistungsfähiger ein Modell ist, wird sich der Unterschied, auf den sie sich stützen, wahrscheinlich nicht in der Produktivität der Nutzer niederschlagen.“
Fazit
Jahr für Jahr vergleichbare Kennzahlen sind für den wirtschaftlichen Bereich industrieller Systeme seit Langem eine Voraussetzung; im KI-Bereich lassen sie sich jedoch nur besonders schwer unter realen und präzisen Bedingungen reproduzieren. Ein Grund dafür ist, wie schnell die „Testdaten“, die einen Benchmark definieren, in die Trainingsdaten des nächsten Modells gelangen und dadurch für Testzwecke unbrauchbar werden. Das allein stellt das Konzept des Benchmarkings in Unternehmen und konsistenter wissenschaftlicher Tests weitgehend infrage, bei denen Forschende darauf angewiesen sind, zuvor etablierte Kennzahlen aufzubrechen, die inzwischen bedeutungslos sein könnten.
Tatsächlich war es in den vergangenen zehn Jahren erstaunlich zu beobachten, wie viele Forschungsarbeiten im Bereich Computer Vision weiterhin längst überholten Standards wie ImageNet folgen – schlicht, weil deren Ursprung so weit zurückliegt.
Die Ergebnisse dieser Studie lassen Entwickler in einem recht guten Licht erscheinen: Sie erweisen sich als anpassungsfähige und flexible Nutzer des jeweils verfügbaren und einsatzbereiten Systems. Dass sie mit der neuesten wie auch mit der vorherigen KI ungefähr gleich schnell arbeiten, deutet darauf hin, dass sie ihre Arbeit auf Zeiträume und Fristen ausrichten – unabhängig davon, welche Werkzeuge ihnen zur Verfügung stehen.
* Wie ein kürzlich auf Hacker News kommentierender Nutzer anmerkte, trifft dies wahrscheinlich nicht mehr zu, da die „Pelican on Bicycle“-Daten nun in den Trainingsdaten enthalten sind und der Test deshalb kompromittiert ist.
† Mit dem Titel „Programmiermodelle mit höheren Punktzahlen erledigten nicht mehr Arbeit“.
††In der Studie werden zwei weitere Fragen gestellt, aber ich halte sie weder für besonders relevant für das Thema noch für hinsichtlich ihrer Bedeutung mit der Hauptfrage vergleichbar und habe daher hier nicht über sie berichtet. Weitere Einzelheiten finden Sie im Original-PDF.
Erstmals veröffentlicht am Mittwoch, 18. November 2026












