METR odhaduje, že růst schopností modelů Anthropic se téměř zdvojnásobil

METR zveřejnila nezávislé hodnocení 5. listopadu 2026. Podle něj Anthropic pravděpodobně zvyšuje schopnosti modelů při řešení přesně vymezených úloh přibližně dvojnásobným tempem oproti dřívějšku a používání AI nejspíš vysvětluje většinu současného zrychlení. Závěry jsou značně nejisté a začernění skrývají velkou část podkladových důkazů.

Výsledky benchmarků ukazují strmější trend

Na základě AECI, benchmarkového indexu schopností Anthropic, odhadla METR, že skóre benchmarků od října 2025 rostlo 1,9krát rychleji, s 95% intervalem spolehlivosti 1,5–2,8násobku. Toto tempo odpovídá přibližně dvěma letům pokroku při dřívějším tempu během jediného roku. Širší hodnocení srovnává říjen 2026 s tempem pozorovaným od března 2024 do října 2025.

Výpočet zahrnuje i modely určené pouze pro interní použití a každý snímek dat časově zařazuje podle toho, kdy jej mohlo používat největší množství zaměstnanců Anthropic. Vytváří tak společný základ pro vydané i nevydané systémy. Testy robustnosti METR přinesly odhady zrychlení v rozmezí 1,1 až 2,9násobku podle alternativních způsobů modelování, což ukazuje, jak citlivé jsou výsledky na způsob, jakým se zohledňuje obtížnost benchmarků a další analytické předpoklady.

Důkazy o úloze AI při zrychlení

Důkazy METR přesvědčily, že zrychlení nezpůsobil rychlejší růst výpočetního výkonu využívaného k trénování, podrobnosti na podporu tohoto závěru však byly začerněny. Faktory nesouvisející s AI pravděpodobně sehrály koncem roku 2025 významnou roli, současný nejlepší odhad ale je, že nevysvětlují přetrvávající zrychlení.

Důkazy od zaměstnanců ukazovaly stejným směrem, nebyly však jednoznačné. Rozhovory s výzkumníky se v odhadech přibližně dvojnásobného zrychlení značně lišily. Neformální ankety ukázaly, že zaměstnanci v říjnu 2026 sami uváděli v průměru přibližně dvanáctinásobné zvýšení produktivity při používání nejvýkonnějšího interního modelu. METR upozornila, že vyplnění ankety vyžadovalo jen malé úsilí, odpovědi nemusí reprezentovat zaměstnance jako celek a individuální zvýšení produktivity se nerovná přímému růstu schopností celé organizace.

Současný přínos spočívá především v tom, že AI pomáhá výzkumníkům. AI zatím nedokáže plně autonomně významně přispívat k nejdůležitější práci na trénování modelů, výzkumníci však popsali náznaky, že takové příspěvky by se mohly brzy objevit; míra pokročilosti se přitom v jednotlivých oblastech liší.

Úzká místa a měření zůstávají nejisté

Neobjevily se přesvědčivé důkazy, že by pokrok algoritmů, výpočetní výkon pro trénování či experimenty nebo dostupnost dat představovaly v horizontu 12 měsíců významná úzká místa. Názory hodnotitelů se s příchodem nových informací několikrát změnily, takže si tímto hodnocením nebyli jistí. METR přesto dospěla k závěru, že absence jasných omezení či výrazně klesajících výnosů představuje významné riziko: další zlepšování schopností by se mohlo kumulovat a vést k ještě rychlejšímu zrychlování. Jde o hodnocení budoucího rizika, nikoli o pozorovaný výsledek.

AECI klade důraz na přesně vymezené úlohy, jejichž výsledky lze snadno hodnotit, takže rychlejší zlepšování výsledků benchmarků se nemusí promítnout do odpovídajících dopadů v reálném světě. METR uvedla, že její odhad může být příliš vysoký kvůli přeučení, faktorům nesouvisejícím s AI nebo mimořádně slabé historické základně. Naopak jej mohla podhodnotit, pokud nezachytila nedávné zrychlení, pokud se lidská úzká místa odstraní rychleji, než se očekávalo, nebo pokud skóre benchmarků nedostatečně odrážejí dopad v reálném světě. Skóre modelu 4, které přesáhlo 50 % ve všech 15 použitých benchmarcích, přidalo další obavu: saturace by mohla ztížit budoucí měření.

Rozsáhlý přístup k podkladům, ale omezené množství veřejně dostupných důkazů

METR vyčlenila na jedenáctitýdenní hodnocení 2,5 úvazku; práce probíhala od 12. srpna 2026 do 29. října 2026. Tým prověřil interní výsledky benchmarků, ukazatele předtrénování a posilovacího učení, měření výpočetního výkonu při trénování, analýzy zrychlení díky AI a interní dokumenty. Vycházel také z přibližně 15 rozhovorů s klíčovými zaměstnanci. Tým neměl neomezený přístup na úrovni zaměstnanců ani možnost testovat neveřejné modely.

Anthropic mohla žádosti o informace schválit nebo zamítnout a neveřejné materiály jednostranně začernit. Její zásahy odstranily z veřejné zprávy většinu důkazů, které METR považovala za nejvýmluvnější, včetně podrobného určení podílu AI, odhadů pokroku algoritmů, konkrétních analýz úzkých míst a předpovědí budoucích modelů. Anthropic uvedla, že začernění chrání důvěrné informace, které by mohly urychlit vývoj ostatních společností v oblasti AI. METR si ponechala volnost při volbě metodiky i formulaci závěrů a nepřijala žádnou platbu, pracovala však na zařízeních Anthropic a používala bezplatné tokeny.

Hodnocení nabízí rozsáhlý nezávislý pohled na zrychlování výzkumu díky AI, neposkytuje však transparentní přístup k podkladovým důkazům. Veřejné výsledky benchmarků a výpovědi zaměstnanců podporují závěr, že pokrok zrychluje, začernění však čtenářům brání v nezávislém posouzení velké části podkladů, z nichž METR vycházela při určování příčin i hodnocení úzkých míst. Tyto klíčové závěry proto do značné míry závisejí na syntéze důkazů, kterou hodnotitel vytvořil, ale čtenáři si ji nemohou plně ověřit.