METR szacuje, że tempo wzrostu możliwości modeli Anthropic niemal się podwoiło

5 listopada 2026 r. METR opublikował niezależną ocenę, w której uznał, że Anthropic prawdopodobnie rozwija możliwości modeli w zakresie dobrze określonych zadań mniej więcej dwa razy szybciej niż wcześniej, a wykorzystanie AI prawdopodobnie odpowiada za większość obecnego przyspieszenia. Wnioski te obarczone są znaczną niepewnością, a redakcje zatajające informacje ukrywają dużą część dowodów, na których je oparto.

Dane z testów porównawczych wskazują na szybszy wzrost

Na podstawie AECI, czyli indeksu możliwości Anthropic opracowanego na podstawie testów porównawczych, METR oszacował, że od października 2025 r. wyniki w tych testach rosną 1,9 raza szybciej, a 95-procentowy przedział ufności wynosi od 1,5 do 2,8 raza. Oznacza to, że w ciągu jednego roku osiągnięto mniej więcej tyle postępu, ile wcześniej zajmowało to dwa lata. Szersza ocena porównuje tempo z października 2026 r. z tempem odnotowanym od marca 2024 r. do października 2025 r.

Obliczenia uwzględniają modele dostępne wyłącznie wewnętrznie, a datę każdej migawki wyznaczono na podstawie tego, kiedy mogła z niej korzystać większość pracowników Anthropic, co zapewnia wspólną podstawę porównania systemów udostępnionych i nieudostępnionych publicznie. Testy odporności przeprowadzone przez METR dały szacunki przyspieszenia od 1,1 do 2,9 raza przy zastosowaniu alternatywnych metod modelowania, co pokazuje, jak bardzo wyniki zależą od sposobu przedstawienia trudności testów porównawczych i innych założeń analitycznych.

Dowody na rolę AI w przyspieszeniu

Zebrane dowody przekonały METR, że przyspieszenia nie spowodował szybszy wzrost mocy obliczeniowej wykorzystywanej do trenowania modeli, choć szczegóły uzasadniające ten wniosek zostały zredagowane. Czynniki niezwiązane z AI prawdopodobnie odegrały dużą rolę pod koniec 2025 r., ale obecnie najbardziej prawdopodobne jest, że nie wyjaśniają utrzymującego się przyspieszenia.

Dane dotyczące pracowników wskazywały na ten sam kierunek, ale były niejednoznaczne. Wyniki wywiadów z badaczami znacznie się różniły, choć ogólnie wskazywały na przyspieszenie mniej więcej dwukrotne. W nieformalnych ankietach średni deklarowany wzrost wydajności dzięki najpotężniejszemu modelowi wewnętrznemu wyniósł około 12 razy w październiku 2026 r. METR zaznaczył, że udzielenie odpowiedzi wymagało niewielkiego wysiłku, ankietowani mogli nie odzwierciedlać ogółu pracowników, a wzrost wydajności poszczególnych osób nie przekłada się bezpośrednio na wzrost możliwości całej organizacji.

Obecny wpływ wynika głównie ze wsparcia, jakiego AI udziela badaczom. AI nie jest jeszcze w stanie wnosić w pełni autonomicznego, wysoce istotnego wkładu w najważniejsze prace nad trenowaniem modeli, choć badacze wskazali na oznaki, że taki wkład może pojawić się wkrótce; stopień dojrzałości tych zastosowań różni się w zależności od obszaru.

Wąskie gardła i pomiary nadal budzą niepewność

Nie pojawiły się przekonujące dowody na to, że postęp algorytmiczny, moc obliczeniowa wykorzystywana do trenowania modeli, moc obliczeniowa wykorzystywana w eksperymentach lub dostępność danych będą stanowić istotne wąskie gardła w perspektywie 12 miesięcy. Interpretacja recenzentów zmieniała się kilkakrotnie w miarę napływu nowych informacji, przez co nie byli pewni tej oceny. Mimo to METR uznał, że brak wyraźnych ograniczeń lub silnie malejących korzyści stwarza istotne ryzyko, iż dalszy wzrost możliwości modeli może się kumulować i prowadzić do jeszcze szybszego przyspieszenia; jest to ocena ryzyka dotycząca przyszłości, a nie zaobserwowany wynik.

AECI koncentruje się na dobrze określonych zadaniach, które łatwo ocenić, dlatego szybszy wzrost wyników testów porównawczych może nie przekładać się na porównywalne efekty w rzeczywistym świecie. METR stwierdził, że zawyżenie szacunków mogły spowodować nadmierne dopasowanie, czynniki niezwiązane z AI lub wyjątkowo słaby punkt odniesienia z przeszłości; z kolei niedostrzeżone niedawne przyspieszenie, szybsze od oczekiwań usunięcie wąskich gardeł związanych z udziałem ludzi lub wyniki testów porównawczych niedoszacowujące wpływu w rzeczywistym świecie mogły je zaniżyć. Wyniki Model 4, przekraczające 50% we wszystkich 15 wykorzystanych do jego oceny testach porównawczych, wzbudziły dodatkową obawę, że nasycenie może utrudnić przyszłe pomiary.

Szeroki dostęp, ale ograniczone dowody publiczne

METR przeznaczył na jedenastotygodniową ocenę pracę odpowiadającą 2,5 etatu; trwała ona od 12 sierpnia 2026 r. do 29 października 2026 r. Zespół przeanalizował wewnętrzne wyniki testów porównawczych, wskaźniki dotyczące wstępnego trenowania i uczenia przez wzmacnianie, pomiary mocy obliczeniowej wykorzystywanej do trenowania modeli, analizy przyspieszenia pracy dzięki AI oraz dokumenty wewnętrzne, a także przeprowadził około 15 wywiadów z kluczowymi pracownikami. Zespół nie uzyskał niepośredniczonego dostępu na zasadach zbliżonych do tych, z jakich korzystają pracownicy ani nie testował modeli nieudostępnionych publicznie.

Anthropic mogło zatwierdzać lub odrzucać wnioski o udostępnienie informacji oraz samodzielnie redagować materiały niepubliczne. W wyniku tych redakcji z publicznego raportu usunięto większość dowodów, które METR uznał za najbardziej miarodajne, w tym szczegółowe informacje o przypisywaniu efektów AI, szacunki postępu algorytmicznego, konkretne analizy wąskich gardeł i prognozy dotyczące przyszłych modeli. Anthropic wyjaśniło, że redakcje miały chronić informacje poufne, których ujawnienie mogłoby przyspieszyć rozwój innych twórców AI. METR zachował swobodę w zakresie metodologii i wniosków oraz nie przyjął zapłaty, choć pracował na urządzeniach Anthropic i korzystał z bezpłatnych tokenów.

Ocena stanowi obszerną zewnętrzną analizę przyspieszenia badań naukowych dzięki AI, nie zapewnia jednak przejrzystości w kwestii dowodów, na których ją oparto. Publiczne wyniki testów porównawczych i relacje pracowników wskazują na szybszy postęp, ale redakcje uniemożliwiają czytelnikom niezależną ocenę znacznej części podstaw przypisania przez METR tych zmian AI oraz jego wniosków dotyczących wąskich gardeł. W związku z tym te kluczowe ustalenia w dużej mierze opierają się na syntezie dowodów dokonanej przez zespół oceniający, których czytelnicy nie mogą w pełni przeanalizować.