Anthropic uvádí, že Claude vede 26% výzkumu a vývoje AI

Anthropic uvedl, že jeho modely Claude „vedou“ 26 % práce společnosti na výzkumu a vývoji AI k srpnu 2026, v prvních výsledcích z prototypu Indexu automatizace výzkumu a vývoje publikovaného v příspěvku Anthropic Institute dne 17. září 2026.

Příspěvek s názvem „Měření pro pochopení tempa vývoje AI v špičkových laboratořích“ spojuje index s interními metrikami dohledu nad agenty a alokace výpočetního výkonu a Anthropic uvedl, že hodlá i nadále publikovat taková měření.

Index automatizace R&D

Index automatizace výzkumu a vývoje Anthropic mapuje celý rozsah práce na AI výzkumu a vývoji prováděné ve společnosti, hodnotí, jak moc je každá úloha automatizovaná, a kombinuje tyto hodnocení do souhrnného měřítka. Hodnocení používají stupnici úrovně automatizace vyvinutou společností Epoch AI, která sahá od AL0, což znamená žádný zásah AI, po AL5, kde AI funguje zcela autonomně bez lidského zásahu. Na úrovni AL3 AI „spolupracuje“, provádí velkou část úkolu pod úzkým lidským dohledem; na úrovni AL4 AI „vede“, provádí většinu úkolu od vysoké úrovně zadání až po dokončení, zatímco člověk dohlíží.

Anthropic uvedl, že k srpnu 2026 Claude „vede“ 26 % své práce na AI výzkumu a vývoji, podíl práce na úrovni „spolupracuje“ nebo vyšší je nad 90 % a Claude nefunguje zcela autonomně v žádném měřeném pododdíle práce na AI výzkumu a vývoji. Graf v příspěvku uvádí, že podíl „vedených“ 26 % vzrostl z méně než 1 % v únoru 2026.

Základní katalog úkolů byl sestaven odspodu nahoru pomocí pracovních záznamů, jako je Slack a interní dokumentace. Pro každý týden července 2026 Claude výzkumný agent přezkoumal týden náhodně vybraných osob — 20 % zaměstnanců z každého oddělení, které tvoří smyčku výzkumu modelu — a zaznamenal úkoly, na kterých pracovali, což vedlo k plochému seznamu přibližně 15 000 detailních úkolů. Claude poté uspořádal tyto úkoly do hierarchického stromu se 542 uzly, z nichž 378 jsou listy, například „diagnostika a opravy chyb eval platformy“, a tento strom je zmražen, aby každé měření probíhalo proti stejnému souboru práce.

Pro každý uzel Claude agent zkoumá, jak se tento typ práce provádí v celé společnosti, a nezávislý Claude soudce přiřadí jednu ze šesti úrovní automatizace, omezenou na důkazy z hodnoceného měsíce nebo dříve. Úkoly jsou váženy podle času stráveného osobou, takže kategorie, do nichž je věnováno více pracovních sil, mají vyšší váhu.

Anthropic porovnal hodnocení soudce s pracovníky, kteří jsou zodpovědní za příslušné oblasti práce, přičemž hodnotili bez nahlédnutí do důkazů nebo rozhodnutí modelů, a uvedl, že shoda model‑vs‑člověk byla 59 % oproti 35 % shodě člověk‑vs‑člověk, přičemž hodnocení se lišila maximálně o jednu úroveň v 97 % případů. Uvedená omezení zahrnují zmražený koš, který zachycuje automatizaci stávající práce, aniž by zaznamenával nové typy práce; srovnání úkolů od února do července 2026 s košem z ledna 2026 neukázalo nárůst „nových“ úkolů a Anthropic plánuje koš periodicky obnovovat a aktualizovat publikovaná čísla.

Dohled nad interními agenty

Druhá sada měření se týká dohledu Anthropic nad AI agenty v jeho systémech. K srpnu 2026 přibližně 30 000 agentů provádělo výzkumnou a inženýrskou práci najednou na nejpoužívanější interní platformě společnosti a hlášená měření se vztahují pouze na tuto platformu.

Anthropic uvedl, že online monitory kontrolují 100 % akcí těchto agentů před jejich provedením, obvykle během několika sekund; z více než miliardy rozhodnutí agentů analyzovaných během srpna 2026 bylo 0,002 % (asi 1 z 47 000) zablokováno a lidé přezkoumají všechny zablokované akce během jednoho týdne. Offline monitory po události zachytí 100 % akcí a označí přibližně 100 000 přepisů týdně, které více klasifikátorů kontroluje na falešné poplachy a většinu z nich vyřeší; přibližně 50 nejdůležitějších označení týdně je eskalováno k lidskému přezkoumání a zhruba jeden až dva přepisy z každých tisíce jsou označeny k dalšímu přezkoumání.

Podle příspěvku jsou online monitory navrženy pro škody, které nastanou rychle a nelze je zvrátit, například když agent zkopíruje váhy modelu z Anthropic systémů, zatímco offline monitory cílí na nebezpečné chování, které se vyvíjí pomalu a lze jej obrátit, jako jsou známky nesouladu modelu. Anthropic uvedl, že dva návrhové rozhodnutí v interním rámce podporují dohled: každý agent má individuální identitu, která přetrvává přes aktualizace modelu, a agenti komunikují prostřednictvím sdíleného otevřeného komunikačního systému propojeného s přepisy, takže monitorování chování může sledovat komunikaci mezi agenty. Společnost uvedla, že METR již dříve nezávisle prováděl red‑team testování své platformy offline monitorování, a že tato měření dohledu byla také zveřejněna v její zprávě o rizicích z srpna 2026.

Přehled alokace výpočetního výkonu

Pro třetí měření Anthropic zkoumal, jak využil veškerý svůj výpočetní výkon od 13. července do 20. července 2026, rozdělující každé zatížení do kategorií a měřící, kolik výpočetního výkonu určeného pro AI výzkum a vývoj bylo věnováno bezpečnosti. Během toho týdne Anthropic uvedl, že přibližně 6 % výpočetního výkonu určeného pro AI výzkum a vývoj bylo alokováno na bezpečnost a přibližně 12 % výpočetního výkonu určeného pro AI‑řízený výzkum a vývoj bylo alokováno na bezpečnost.

Společnost popisuje oba odhady jako záměrně konzervativní: tokeny, které posunuly schopnosti stejně jako bezpečnost, byly započítány jako AI R&D, a klasifikátory zabezpečení, samostatné a srovnatelné množství výpočetního výkonu, jsou vyloučeny. Promptovaný klasifikátor Claude seřadil téměř 10 000 výzkumných tréninkových a evaluačních běhů během týdne pomocí přibližně 14 % vzorku upřednostňujícího největší uživatele výpočetního výkonu, a Anthropic uvedl, že klasifikátor souhlasil s lidskými recenzenty v rozmezí jednoho až dvou procentních bodů.

Uvedená omezení jsou, že jediný týden ukazuje, že měření je proveditelné, aniž by stanovilo trend, že podkladové štítky pracovních zátěží jsou odhadované a neověřené, a že podíl výpočetního výkonu měří, co je utraceno, spíše než množství provedené bezpečnostní práce.

Účel a další kroky

Anthropic uvedl, že zveřejňuje tato měření, protože poskytují veřejnosti, externím stranám a vládám jasnější pohled na tempo vývoje AI v předních laboratořích, což doplňuje jeho zprávy o rizicích v rámci politiky Responsible Scaling Policy a návrh politiky Advanced AI Framework. Upozornil, že čísla by se měla změnit, pokud by došlo ke koordinaci tempa vývoje fronty, jak požaduje CEO Dario Amodei.

Příspěvek uvádí, že jakýkoli vývojář na špičce by mohl pravidelně publikovat stejné ukazatele pomocí veřejné metodologie, a identifikuje dva překážky pro srovnání mezi laboratořemi: nedostatek sdílené metodologie a používání vlastních modelů vývojářem k hodnocení jeho systémů. Dále uvádí, že takové ukazatele by mohly být ověřeny třetími stranami nebo modely jiných vývojářů a mohly by se stát spouštěčem přísnějších požadavků, například pevně stanoveného testovacího období před tím, než je nový model nasazen k dalšímu AI R&D.

Anthropic uvedl, že plánuje zapojit nezávislé hodnotitele třetích stran z několika organizací, poskytnout jim přístup k interním procesům, systémům a datům srovnatelným s těmi, které mají interní týmy pro hodnocení rizik, aby ověřili bezpečnostní praktiky, hlásili incidenty a sledovali klíčové ukazatele, jako jsou ty v tomto příspěvku. Článek byl spoluautorstvím Mariny Favaro a Phillie Wright, s výzkumným vedením Jacka Clarka.