Andersonův úhel
Přechod na méně výkonný model Claude Fable během zákazu téměř neovlivnil produktivitu vývojářů

Klíčové bodyPřístup k výkonnějšímu modelu Claude Fable 5 zvýšil míru sloučení pouze o 1,4…
Zobrazit více
- Přístup k výkonnějšímu modelu Claude Fable 5 zvýšil míru sloučení pouze o 1,4 procentního bodu.
- Pět vylepšení Claude nepřineslo žádný významný zisk ve sloučených pull requestech ani v týdenních dokončených změnách.
- Skóre v benchmarkech znamená málo, když úkoly, které vývojáři zadávají, již spadají do schopností starších modelů.
Je velmi obtížné přesně posoudit, zda nové modely AI dosahují lepších výsledků než jejich předchůdci, nebo dokonce určit, co vlastně představuje zvýšení produktivity. Nová vydání totiž mohou v jedné oblasti přinést zlepšení, ale v jiné zhoršení výkonu, podobně jako tradiční software a frameworky. Někdy jde o dobrovolné kompromisy, které lidé vědomě přijímají, jindy o „vedlejší škody“.
To ovšem předpokládá „čestnou hru“. Existuje mnoho případů, kdy vývojáři upravili software tak, aby dosahoval lepších výsledků v benchmarcích, a někdy dokonce zařídili, aby poznal, že je testován, a dočasně změnil své fungování, čímž dosáhl lepšího skóre. Také modely AI mohou poznat, že jsou hodnoceny, a chovat se jinak, i když k tomu nebyly záměrně navrženy.
Ve snaze najít smysluplnější a poctivější měřítka si vývojáři často vytvářejí vlastní neformální testy, například kvalitativní úkol Simona Wilsona, v němž má pelikán jet na kole. Modely vidění a jazyka (VLM) mají vytvořit něco, co v trénovacích datech chybí*, a často si vedou špatně – i když se situace během roku 2026 poněkud zlepšila:

Metrika Simona Wilsona spočívá v tom, že má VLM představit pelikána jedoucího na kole. V poslední době si s tím AI vede mnohem lépe než při komických pokusech zhruba před 18 měsíci. Někteří však naznačují, že je to možná proto, že se tento úkol už stal součástí trénovacích dat. Zdroj
Benchmark však může měřit pouze konkrétní dovednosti, k jejichž testování byl navržen. A i když jsou výsledky spolehlivé, není jasné, nakolik jsou důležité při každodenním používání ani zda vyšší skóre povede k dokončení většího množství práce.
U modelů pro programování lze tuto otázku zkoumat sledováním toho, jak se změní výstupy vývojářů, když přejdou od jednoho modelu k jinému.
Práce [the Same] s méně
V červnu letošního roku poskytl 19denní zákaz Bílého domu týkající se používání Claude Fable výzkumníkům neobvykle vhodné podmínky k testování. Vývojáři, kteří posílali na GitHub požadavky na začlenění změn (PR), totiž přešli na méně výkonné verze Claude. Protože všechny verze Claude spolupodepisují PR a tyto informace lze vyhledat prostřednictvím rozhraní GitHub API, jsou data volně dostupná.
Této příležitosti využila nová studie z Harvard University, která sledovala práci 297 uživatelů Fable 5 před zákazem, během něj i po něm a porovnala ji s prací 8 908 vývojářů, kteří nadále používali starší model Opus 4.8.
Model Fable 5 předtím získal v programátorském benchmarku SWE-Bench Pro skóre téměř o 11 bodů vyšší než Opus 4.8. Studie Harvard University však zjistila, že přístup k Fable 5 souvisel s nárůstem pouze o 1,4 procentního bodu v podílu odeslaných změn kódu, které byly do sedmi dnů přijaty do projektů na GitHubu. Studie uvádí, že tento rozdíl je prakticky zanedbatelný; rozsáhlejší analýza navíc nezjistila významné zvýšení produktivity ani po přechodu na jiné novější modely AI:
„Výsledky ukazují, že přístup k Fable 5 změnil míru začleňování změn pouze o 1,4 procentního bodu a tato změna nebyla statisticky [significant]. Analyzovali jsme také pět z osmi přechodů na novější modely v roce 2026 a zjistili, že po těchto změnách se míra začleňování nezvýšila[either].“
„Podobně se vývojářům nepodařilo začlenit více požadavků na změny týdně. Tyto výsledky ukazují, že zlepšení v současných programátorských benchmarcích se ve skutečnosti nepromítla do většího množství dokončené práce.“
Při pěti přechodech na novější modely v roce 2026, kterých se účastnilo 1 208 vývojářů a zahrnovaly více než 15 000 navržených změn kódu, nebylo zjištěno statisticky významné zlepšení ani v míře začleňování odeslaného kódu, ani v počtu změn úspěšně dokončených každý týden.
Studie sice uznává, že začlenění změn na GitHubu je nedokonalým měřítkem produktivity, zákaz však poskytl mimořádně vzácnou příležitost posoudit dopady přechodu mezi modely v reálných pracovních podmínkách. Šlo o odvětví, které přitahuje obrovský celosvětový zájem, ale funguje za maximální možné míry firemní neprůhlednosti.
Nová studie† uznává, že v takových případech je obtížné stanovit empirická kritéria, a uvádí:
„Lidé, kteří začnou nové modely používat jako první, mohou být zkušenější. Když tedy porovnáváme produktivitu různých vývojářů, nedokážeme určit, zda rozdíl způsobuje model, nebo lidé, kteří ho používají. Ani když sledujeme stejné lidi, nevíme, zda různým modelům zadávají stejné úkoly.“
„Někteří lidé mohou například používat Fable 5 na nejobtížnější úkoly a na jednodušší přecházet k modelům nižší úrovně. Pokud ty náročnější svěří nejsilnějšímu modelu, může se tento model jevit jako méně produktivní téměř podle jakéhokoli zvoleného měřítka, protože obtížnější úkoly trvají déle a je méně pravděpodobné, že budou začleněny.“
Studie také tvrdí, že předchozí výzkumy byly zkreslené tím, že většina změn kódu pocházela z malého počtu projektů, z nichž každý měl vlastní pravidla pro přijímání příspěvků. Kvůli těmto rozdílům bylo obtížné určit, zda zlepšení produktivity skutečně způsobilo přecházení na novější modely.
Metodika
V hlavním experimentu†† byly pull requesty na GitHubu od 297 vývojářů, které studie označila za uživatele Fable 5, rozděleny do čtyř období: před vydáním modelu 9. června, během tří dnů, kdy byl dostupný, po celých 19 dní jeho pozastavení a po obnovení přístupu 1. července.
Míra jejich začlenění byla porovnána s mírou u 8 908 vývojářů, kteří podle zjištění používali starší model Opus 4.8. Díky tomu bylo možné odlišit změny související s pozastavením přístupu od širších výkyvů aktivity na GitHubu.
Srovnání vycházelo z předpokladu, že bez zákazu by se míra začlenění u obou skupin měnila podobně. Změny míry začlenění se porovnávaly mezi oběma skupinami a statistická analýza zohledňovala rozdíly mezi jednotlivými vývojáři i každodenní výkyvy:

Časová osa aktualizací modelů Claude a pozastavení přístupu k Fable 5. Horní panel zachycuje osm aktualizací modelů Opus a Sonnet; plné kruhy označují pět aktualizací zkoumaných v širší studii. Dolní panel znázorňuje čtyři období použitá k posouzení vlivu pozastavení na míru slučování PR, přičemž období zákazu slouží jako referenční. Fialové čáry ukazují, kdy byl Fable 5 dostupný nebo jeho používání pozastaveno; šedé podbarvení označuje zákaz a šrafované úseky dny vyřazené z analýzy bezprostředně po pozastavení nebo obnovení přístupu. Zdroj
Veřejné PR na GitHubu vytvořené pomocí Claude Code byly v rámci práce s daty vyhledány prostřednictvím rozhraní GitHub Search API. K jejich popisům se automaticky přidávalo oznámení „Generated with Claude Code“. Pokud byl konkrétní název modelu zkopírován z historie potvrzení změn v kódu také do popisu PR, bylo možné určit použitou verzi Claude.
PR vytvořené v období kolem pozastavení přístupu k Fable 5 a následných aktualizací Claude byly shromažďovány od listopadu 2025 do října 2026. Nejnovějším příspěvkům byly ponechány alespoň čtyři týdny na začlenění.
Do hlavní studované skupiny bylo zařazeno 297 vývojářů, kteří Fable 5 používali během krátkého období jeho dostupnosti. Kontrolní skupinu tvořilo 8 908 vývojářů, kteří používali Opus 4.8 a u nichž nebylo zaznamenáno používání Fable 5.
Hlavním ukazatelem produktivity byl podíl odevzdaných změn kódu přijatých do projektů na GitHubu během sedmi dnů, který umožnil porovnat míru úspěšně přijatých příspěvků v obdobích před pozastavením, během něj a po něm. Další kontroly zahrnovaly PR začleněné do hodiny; PR uzavřené bez začlenění; počet obdržených komentářů; změny, které byly později vráceny; a neúspěšné automatizované kontroly na GitHubu.
Testy
Ztráta přístupu k Fable 5 a jeho následné obnovení měly na produktivitu vývojářů jen malý měřitelný vliv. Přístup k novějšímu modelu souvisel se zvýšením podílu PR začleněných do sedmi dnů pouze o 1,4 procentního bodu; tento rozdíl byl vyhodnocen jako „statisticky nevýznamný“:

Srovnání používání Fable 5 a míry slučování PR před zákazem, během něj a po něm. Vlevo: procento PR vytvořených pomocí Fable 5. Vpravo: změny sedmidenní míry začlenění ve srovnání s obdobím 22.–28. června; body znázorňují odhady a vodorovné čáry 95% intervaly spolehlivosti. Podbarvené řádky označují období, kdy byl Fable 5 dostupný. Navzdory velkým změnám v používání modelu se míra začlenění změnila jen nepatrně.
Ani při pěti aktualizacích modelů Claude, do nichž bylo zapojeno 1 208 vývojářů a více než 15 000 změn kódu, nebylo zjištěno zvýšení podílu kódu přijatého do projektů na GitHubu. Míra naopak mírně klesla, podle odhadu o 0,9 procentního bodu.
Zjistilo se také, že vývojáři používající novější modely dokončí týdně jen o 2,4 % více přijatých příspěvků do kódu — rozdíl příliš malý na to, aby bylo možné spolehlivě doložit zlepšení. Ani v případech, kdy se výsledky v benchmarcích zvýšily o 5 až 18 bodů, nebyly pozorovány žádné významné přínosy pro produktivitu.
Zjistilo se také, že novější modely si nevedly lépe v automatizovaných kontrolách kódu na GitHubu; míra neúspěšnosti zůstala v podstatě beze změny.
Studie dochází k závěru:
„Domníváme se, že hlavním důvodem, proč se lepší výsledky Fable 5 v benchmarcích nepromítly do vyšší produktivity při skutečné práci, je to, že úkoly, které vývojáři zadávají agentům, už zvládá i starší model.“
A pokračuje:
„Naše zjištění doplňují poznatky z reálné práce k dřívějším varováním: skóre v benchmarku pro lidi vybírající model mnoho neznamená, pokud nemají důkaz, že měří práci, k níž se má model používat [describe].
„Pokud budou regulační orgány a kupující posuzovat, o kolik je model výkonnější, podle jeho výsledku v benchmarku[score], rozdíl, o který se opírají, se pravděpodobně neprojeví v produktivitě uživatelů.“
Závěr
Srovnatelné meziroční ukazatele jsou už dlouho nezbytným předpokladem obchodní stránky průmyslových systémů. V oblasti umělé inteligence se však obzvlášť obtížně napodobují v reálných podmínkách a s potřebnou přesností. Jedním z důvodů je rychlost, s jakou se „testovací data“ určující benchmark dostávají do trénovacích dat dalšího modelu a přestávají být použitelná pro testování. Už to samo o sobě zásadně narušuje zavedený způsob firemního srovnávání i konzistentního vědeckého testování, při němž výzkumníci spoléhají na prolomení dříve zavedených metrik, které už mohou být bezvýznamné.
Za posledních deset let bylo skutečně pozoruhodné sledovat, kolik výzkumných prací v oblasti počítačového vidění se stále drží dávno zastaralých standardů, jako je ImageNet, jednoduše proto, že jejich původ sahá tak daleko do minulosti.
Výsledky této práce vykreslují vývojáře v poměrně příznivém světle: jako přizpůsobivé a flexibilní uživatele jakéhokoli dostupného a funkčního systému. Skutečnost, že pracují přibližně stejně rychle s nejnovější i předchozí umělou inteligencí, naznačuje, že optimalizují svou práci s ohledem na časové rámce a termíny bez ohledu na to, jaké nástroje mají k dispozici.
* Jak nedávno upozornil jeden z komentujících na Hacker News, to už nejspíš neplatí, protože data „Pelikán na kole“ jsou nyní součástí trénovacích dat, a test je proto kompromitovaný.
† Název: „Výkonnější modely pro programování neodvedly více práce“.
††Studie klade ještě dvě další otázky, ale nepovažuji je za zvlášť relevantní k tématu ani za významově srovnatelné s hlavní otázkou, a proto jsem se jim zde nevěnoval. Další podrobnosti najdete v původním souboru PDF.
Poprvé zveřejněno ve středu 18. listopadu 2026












