Kąt Andersona
Obniżenie wersji Claude Fable niemal nie wpłynęło na produktywność programistów podczas zakazu

Kluczowe punktyDostęp do uzyskującego wyższe wyniki Claude Fable 5 podniósł wskaźnik scalania jedynie…
Zobacz więcej
- Dostęp do uzyskującego wyższe wyniki Claude Fable 5 podniósł wskaźnik scalania jedynie o 1,4 punktu procentowego.
- Pięć ulepszeń Claude nie przyniosło istotnego wzrostu liczby scalonych pull requestów ani cotygodniowo ukończonych zmian.
- Wyniki benchmarków niewiele znaczą, gdy zadania przypisywane przez deweloperów mieszczą się już w możliwościach starszych modeli.
Bardzo trudno dokładnie ocenić, czy nowe modele AI osiągają lepsze wyniki niż ich poprzednicy — a nawet zdefiniować, na czym właściwie polega wzrost produktywności. Nowe wersje mogą bowiem przynosić poprawę w jednej dziedzinie, a pogorszenie wyników w innej, podobnie jak dzieje się to w przypadku tradycyjnego oprogramowania i platform. Czasem są to dobrowolne kompromisy podejmowane przez ludzi, a czasem „straty uboczne”.
Zakładając oczywiście, że zasady są uczciwe. Zdarzało się wiele razy, że twórcy modyfikowali oprogramowanie tak, by osiągało lepsze wyniki w testach porównawczych, czasem sprawiając, że potrafiło ono rozpoznać, kiedy jest testowane, i tymczasowo zmieniało sposób działania, by uzyskać lepszy wynik. Modele AI również mogą rozpoznawać, kiedy są poddawane ocenie, i zachowywać się inaczej, nawet jeśli nie zostały celowo zaprojektowane w taki sposób.
Szukając bardziej miarodajnych i rzetelnych wskaźników, programiści często tworzą własne, nieformalne miary, takie jak jakościowe wyzwanie z pelikanem jadącym na rowerze Simona Wilsona. Polega ono na zleceniu modelom wizji i języka (VLM) stworzenia czegoś, czego nie ma w danych treningowych*, a modele często słabo sobie z tym radzą — choć w 2026 roku nastąpiła pewna poprawa:

Wskaźnik Simona Wilsona polega na tym, że modelowi VLM każe się wyobrazić pelikana jadącego na rowerze. Ostatnio AI radzi sobie z tym znacznie lepiej niż około 18 miesięcy temu, gdy efekty były przezabawne. Niektórzy sugerują jednak, że może to wynikać z tego, iż wyzwanie zostało już uwzględnione w danych treningowych. Źródło
Benchmark może jednak mierzyć tylko te konkretne umiejętności, których sprawdzeniu ma służyć. Nawet jeśli wyniki są wiarygodne, nie wiadomo, w jakim stopniu umiejętności te mają znaczenie w codziennym użytkowaniu ani czy wyższy wynik przełoży się na wykonanie większej ilości pracy.
W przypadku modeli do programowania można to zbadać, analizując, jak zmienia się wydajność programistów po przejściu z jednego modelu na inny.
Osiągać [the Same] więcej mniejszymi środkami
W czerwcu tego roku 19-dniowy zakaz Białego Domu dotyczący korzystania z Claude Fable stworzył badaczom wyjątkowo przejrzyste warunki do przeprowadzenia testu: programiści przesyłający do GitHuba prośby o włączenie zmian (PR-y) przeszli na słabsze wersje Claude. Ponieważ wszystkie wersje Claude współpodpisują PR-y, a informacje te można wyszukać za pośrednictwem API GitHuba, dane są ogólnodostępne.
Możliwość tę wykorzystano w nowym badaniu przeprowadzonym przez Harvard University. Objęto nim 297 użytkowników Fable 5, śledząc ich pracę przed zakazem, w jego trakcie i po jego zakończeniu, a następnie porównano ją z pracą 8908 programistów, którzy nadal korzystali ze starszego modelu Opus 4.8.
Wcześniej Fable 5 uzyskał w benchmarku programistycznym SWE-Bench Pro wynik wyższy o niemal 11 punktów niż Opus 4.8. Badanie Harvardu wykazało jednak, że dostęp do Fable 5 wiązał się ze wzrostem zaledwie o 1,4 punktu procentowego odsetka przesłanych zmian w kodzie, które w ciągu siedmiu dni zostały zaakceptowane w projektach GitHub. Autorzy artykułu uznali tę różnicę za praktycznie równą błędowi zaokrąglenia. Szersza analiza również nie wykazała istotnego wzrostu produktywności po przejściu na inne, nowsze modele AI:
„Wyniki pokazują, że dostęp do Fable 5 zmienił odsetek scalonych zmian zaledwie o 1,4 punktu procentowego, a zmiana ta nie była statystycznie [significant]. Przeanalizowaliśmy także pięć z ośmiu aktualizacji modeli w 2026 roku i stwierdziliśmy, że po tych aktualizacjach odsetek scalonych zmian nie wzrósł[either].
„Podobnie programiści nie doprowadzili do scalenia większej liczby próśb o włączenie zmian w każdym tygodniu. Wyniki te pokazują, że lepsze wyniki we współczesnych benchmarkach programistycznych nie przełożyły się w istotny sposób na większą ilość ukończonej pracy”.
W pięciu aktualizacjach modeli w 2026 roku, obejmujących 1208 programistów i ponad 15 000 proponowanych zmian w kodzie, nie stwierdzono statystycznie istotnej poprawy ani odsetka przesłanego kodu, który został scalony, ani liczby zmian pomyślnie ukończonych w ciągu tygodnia.
Autorzy artykułu przyznają, że scalenia w GitHubie nie są doskonałą miarą produktywności, jednak zakaz stworzył niezwykle rzadką okazję do oceny skutków zmiany modelu w rzeczywistych warunkach pracy — w sektorze, który budzi ogromne zainteresowanie na całym świecie, a jednocześnie działa przy maksymalnym możliwym poziomie korporacyjnej nieprzejrzystości.
Przyznając, że w takich przypadkach trudno ustalić kryteria empiryczne, autorzy nowej pracy† zauważają:
„Osoby, które jako pierwsze korzystają z nowych modeli, mogą być bardziej doświadczone, dlatego porównując produktywność poszczególnych programistów, nie możemy stwierdzić, czy różnica wynika z modelu, czy z osób, które go używają. Nawet jeśli obserwujemy te same osoby, nie wiemy, czy przydzielają one różnym modelom takie same zadania.
„Na przykład niektórzy mogą używać Fable 5 do najtrudniejszych zadań, a do łatwiejszych wybierać modele niższej klasy. Jeśli najtrudniejsze zadania powierzają najmocniejszemu modelowi, może on sprawiać wrażenie mniej produktywnego według niemal każdej wybranej przez nas miary, ponieważ trudniejsze zadania zajmują więcej czasu i rzadziej kończą się scaleniem”.
W artykule podniesiono również, że wcześniejsze badania były zniekształcone przez fakt, iż większość zmian w kodzie pochodziła z niewielkiej liczby projektów, z których każdy miał własne zasady przyjmowania wkładu; różnice te utrudniały ustalenie, czy wzrost produktywności rzeczywiście wynikał z przejścia na nowsze modele.
Metoda
W głównym eksperymencie†† podzielono pull requesty na GitHubie 297 deweloperów wskazanych w badaniu jako użytkownicy Fable 5 na cztery okresy: przed premierą modelu 9 czerwca; w ciągu trzech dni, gdy był dostępny; podczas 19-dniowego zawieszenia; oraz po przywróceniu dostępu 1 lipca.
Wskaźniki scalania porównano z wynikami 8 908 deweloperów wskazanych jako użytkownicy starszego modelu Opus 4.8, co pozwoliło odróżnić zmiany związane z zawieszeniem od szerszych wahań aktywności na GitHubie.
W porównaniu założono, że bez zakazu wskaźniki scalania w obu grupach zmieniałyby się podobnie. Zmiany tych wskaźników porównano między grupami, a w analizie statystycznej uwzględniono różnice między poszczególnymi deweloperami oraz wahania z dnia na dzień:

Oś czasu aktualizacji modeli Claude i zawieszenia Fable 5. Górny panel przedstawia osiem aktualizacji Opus i Sonnet; wypełnione kółka oznaczają pięć aktualizacji uwzględnionych w szerszym badaniu. Dolny panel pokazuje cztery okresy wykorzystane do oceny wpływu zawieszenia na wskaźniki scalania PR-ów, przy czym okres zakazu służy jako punkt odniesienia. Fioletowe linie pokazują, kiedy Fable 5 było dostępne lub zawieszone; szare tło oznacza okres zakazu, a zakreskowane fragmenty wskazują dni wyłączone z analizy bezpośrednio po zawieszeniu lub przywróceniu dostępu. Źródło
Dane dotyczące publicznych PR-ów utworzonych przy użyciu Claude Code zebrano za pośrednictwem interfejsu GitHub Search API, wyszukując automatycznie dodawaną do ich opisów informację „Generated with Claude Code”. Jeśli nazwa konkretnego modelu była również kopiowana z historii commitów kodu do opisu PR-a, można było ustalić, z której wersji Claude korzystano.
PR-y zgłoszone w okresie zawieszenia Fable 5 i późniejszych aktualizacji Claude zebrano między listopadem 2025 a październikiem 2026, pozostawiając co najmniej cztery tygodnie na scalenie najnowszych zgłoszeń.
Do głównej grupy badanej włączono 297 deweloperów, którzy korzystali z Fable 5 w krótkim okresie jego dostępności. Grupę kontrolną stanowiło 8 908 deweloperów używających Opus 4.8, u których nie odnotowano korzystania z Fable 5.
Główną miarą produktywności był odsetek przesłanych zmian w kodzie zaakceptowanych w projektach na GitHubie w ciągu siedmiu dni, co pozwoliło porównać odsetek pomyślnie przyjętych zgłoszeń w okresach przed zawieszeniem, w jego trakcie i po nim. Dodatkowe kontrole obejmowały PR-y scalone w ciągu godziny; PR-y zamknięte bez scalenia; liczbę otrzymanych komentarzy; zmiany później wycofane; oraz niepowodzenia w automatycznych kontrolach GitHuba.
Wyniki testów
Utrata dostępu do Fable 5, a następnie jego przywrócenie, miały niewielki mierzalny wpływ na produktywność deweloperów. Dostęp do nowszego modelu wiązał się ze wzrostem o zaledwie 1,4 punktu procentowego odsetka PR-ów scalonych w ciągu siedmiu dni — różnicę tę uznano za „nieistotną statystycznie”:

Porównanie korzystania z Fable 5 i wskaźników scalania PR-ów przed zakazem, w jego trakcie i po nim. Po lewej: odsetek PR-ów utworzonych przy użyciu Fable 5. Po prawej: zmiany siedmiodniowego wskaźnika scalania względem okresu 22–28 czerwca; kropki przedstawiają szacunki, a poziome linie — 95-procentowe przedziały ufności. Zacieniowane wiersze oznaczają okresy, w których Fable 5 było dostępne. Mimo dużych zmian w korzystaniu z modelu zaobserwowano niewielkie zmiany wskaźników scalania.
Ponadto w przypadku pięciu aktualizacji modeli Claude, obejmujących 1 208 deweloperów i ponad 15 000 zgłoszeń zmian w kodzie, nie stwierdzono wzrostu odsetka kodu akceptowanego w projektach na GitHubie. Wskaźnik ten nieznacznie spadł — szacunkowo o 0,9 punktu procentowego.
Stwierdzono również, że programiści korzystający z nowszych modeli kończyli tygodniowo zaledwie o 2,4% więcej zgłoszeń zaakceptowanych przez system niż użytkownicy starszych modeli — różnica ta była zbyt mała, by potwierdzić wiarygodną poprawę. Nawet gdy wyniki testów porównawczych wzrosły o 5–18 punktów, nie zaobserwowano istotnego wzrostu produktywności.
Stwierdzono również, że nowsze modele nie radziły sobie lepiej w zautomatyzowanych kontrolach kodu GitHub, a odsetek niepowodzeń pozostał zasadniczo bez zmian.
Autorzy artykułu podsumowują:
„Stawiamy hipotezę, że głównym powodem, dla którego lepsze wyniki Fable 5 w testach porównawczych nie przełożyły się na większą produktywność w rzeczywistej pracy, jest to, że zadania powierzane agentom przez programistów mieszczą się już w zakresie możliwości starszego modelu”.
Autorzy dodają:
„Nasze ustalenia dostarczają dowodów z rzeczywistej pracy na poparcie ostrzeżeń formułowanych we wcześniejszych badaniach: wynik testu porównawczego niewiele znaczy dla osób wybierających model, jeśli nie ma dowodów, że mierzy on pracę, do której model jest wykorzystywany[describe].
„Jeśli organy regulacyjne i nabywcy oceniają, o ile lepszy jest model, na podstawie jego wyniku w teście porównawczym[score], różnica, na której polegają, prawdopodobnie nie przełoży się na produktywność użytkowników”.
Wnioski
Spójne wskaźniki porównywane rok do roku od dawna stanowią warunek wstępny biznesowego wymiaru systemów przemysłowych, ale w dziedzinie AI szczególnie trudno odtworzyć je w rzeczywistych i dokładnych warunkach. Jednym z powodów jest tempo, w jakim „dane testowe” definiujące test porównawczy trafiają do danych treningowych kolejnego modelu i stają się bezużyteczne do celów testowania. Już to w dużej mierze podważa schemat korporacyjnych testów porównawczych i rzetelnych badań naukowych, w których badacze polegają na obalaniu wcześniej przyjętych wskaźników, które mogą być już pozbawione znaczenia.
W ciągu ostatnich dziesięciu lat zadziwiające było obserwowanie, jak wiele prac badawczych z zakresu widzenia komputerowego wciąż opiera się na dawno przestarzałych standardach, takich jak ImageNet, wyłącznie dlatego, że ich rodowód sięga tak odległej przeszłości.
Wyniki tego artykułu stawiają programistów w dość dobrym świetle: jako elastycznych i potrafiących się dostosować użytkowników każdego dostępnego i działającego systemu. Fakt, że pracują w niemal takim samym tempie niezależnie od tego, czy mają do dyspozycji najnowszą, czy poprzednią wersję AI, wskazuje, że dostosowują tempo pracy do dostępnego czasu i terminów, bez względu na używane narzędzia.
* Jak zauważył niedawno jeden z komentujących w Hacker News, prawdopodobnie nie jest to już prawdą, ponieważ dane „Pelikan na rowerze” znajdują się teraz w danych treningowych, a test jest przez to obciążony.
† Pod tytułem „Modele kodujące osiągające wyższe wyniki nie wykonały więcej pracy”.
††W badaniu postawiono dwa inne pytania, ale nie uważam, by były szczególnie związane z tematem ani równie istotne jak główne pytanie, dlatego ich tutaj nie omówiłem. Więcej informacji można znaleźć w źródłowym pliku PDF.
Po raz pierwszy opublikowano w środę, 18 listopada 2026 r.












