Anthropic säger att Claude leder 26% av företagets AI-forskning och -utveckling

Anthropic uppgav att dess Claude-modeller “leder” 26 % av företagets AI-forskning och -utvecklingsarbete från och med augusti 2026, i de första resultaten från ett prototypiskt R&D Automation Index som publicerades i ett Anthropic Institute‑inlägg den 17 september 2026.

Inlägget, med titeln “Mätningar för att förstå takten i AI‑utveckling inom frontallaboratorier”, kombinerar indexet med interna mått på agentövervakning och beräkningsallokering, och Anthropic uppgav att de avser att fortsätta publicera sådana mätningar.

Index för R&D‑automation

Anthropic R&D Automation Index kartlägger hela spektrumet av AI‑R&D‑arbete som utförs på företaget, bedömer hur automatiserad varje uppgift för närvarande är och kombinerar dessa poäng till ett samlat mått. Poängen använder en automatiseringsnivåskala utvecklad av Epoch AI, som sträcker sig från AL0, vilket betyder ingen AI‑inblandning, till AL5, där AI opererar helt autonomt utan någon människa i loopen. Vid AL3 “samarbetar” AI och utför stora delar av en uppgift under nära mänsklig styrning; vid AL4 “leder” AI och utför mest av en uppgift från en hög‑nivå‑prompt till slutförande medan en människa övervakar.

Anthropic rapporterade att från och med augusti 2026, Claude “leder” 26 % av deras AI‑R&D‑arbete, andelen arbete på eller över “samarbetar”‑nivån är över 90 %, och Claude opererar inte fullt autonomt för någon uppmätt delmängd av AI‑R&D‑arbetet. Ett diagram i inlägget beskriver 26 % “leder”‑andelen som en ökning från under 1 % i februari 2026.

Den underliggande uppgiftskatalogen sammanställdes uppifrån och ner med hjälp av arbetsregister som Slack och intern dokumentation. För varje vecka i juli 2026 granskade en Claude‑forskningsagent varje slumpmässigt utvald persons vecka — 20 % av personalen från varje avdelning som utgör modell‑R&D‑loopen — och listade de uppgifter de arbetade med, vilket resulterade i en platt lista med ungefär 15 000 detaljerade uppgifter. Claude organiserade sedan dessa uppgifter i ett hierarkiskt träd med 542 noder, varav 378 är löv, såsom “eval platform defect diagnosis and fixes”, och trädet är fryst så att varje mätning körs mot samma arbetskorg.

För varje nod undersöker en Claude‑agent hur den typen av arbete utförs i hela företaget, och en oberoende Claude‑domare tilldelar en av sex automatiseringsnivåer, begränsat till bevis från den månad som bedöms eller tidigare. Uppgifter viktas efter person‑tid, så kategorier där mer personalinsats läggs får större vikt.

Anthropic jämförde domarens betyg med personal som ansvarar för de relevanta arbetsområdena, som betygsatte utan att se modellernas bevis eller domar, och rapporterade ett exakt modell‑mot‑människa‑avtal på 59 % kontra 35 % människa‑mot‑människa, med betyg inom en nivå från varandra 97 % av tiden. Angivna begränsningar inkluderar den frysta korgen, som fångar automatisering av befintligt arbete utan att registrera nya typer av arbete; en jämförelse av uppgifter som anlände från februari till juli 2026 mot en korg från januari 2026 fann ingen ökning av “novel”‑uppgifter, och Anthropic planerar att återuppbygga korgen periodiskt och återpublicera de publicerade siffrorna.

Övervakning av interna agenter

En andra uppsättning mätningar omfattar Anthropics övervakning av AI‑agenter på deras system. Från och med augusti 2026 var ungefär 30 000 agenter involverade i forsknings‑ och ingenjörsarbete samtidigt på företagets mest använda interna plattform, och de rapporterade mätningarna gäller endast den plattformen.

Anthropic rapporterade att online‑övervakare kontrollerar 100 % av dessa agenters handlingar innan de utförs, vanligtvis inom sekunder; av mer än en miljard agentbeslut som analyserades under augusti 2026, blockerades 0,002 % (ungefär 1 på 47 000), och människor granskar blockerade handlingar inom en vecka. Offline‑övervakare tar emot 100 % av handlingarna i efterhand och flaggar ungefär 100 000 transkript per vecka, vilka flera klassificerare granskar för falska positiva, vilket löser de flesta flaggor; cirka 50 högst prioriterade flaggor per vecka eskaleras till mänsklig granskning, och ungefär en till två transkript per tusen flaggas för vidare granskning.

Enligt inlägget är online‑övervakare konstruerade för skador som inträffar snabbt och inte kan återgöras, såsom en agent som kopierar modellviktar ur Anthropics system, medan offline‑övervakare riktar in sig på farliga beteenden som utvecklas långsamt och kan reverseras, som tecken på modell‑missanpassning. Anthropic uppgav att två designval i den interna strukturen stödjer övervakning: varje agent har en individuell identitet som kvarstår över modelluppgraderingar, och agenter kommunicerar via ett gemensamt, öppet meddelandesystem som korsrefereras med transkript, så beteendeövervakning kan spänna över kommunikation mellan agenter. Företaget sade att METR tidigare oberoende har testat sin offline‑övervakningsplattform, och att dessa övervakningsmätningar också publicerades i deras riskrapport för augusti 2026.

Översikt över beräkningsallokering

För den tredje mätningen undersökte Anthropic hur de använde all sin beräkningskapacitet från 13 juli till 20 juli 2026, sorterade varje arbetsbelastning i kategorier och mätte hur stor del av beräkningarna som gick till AI‑R&D som var säkerhetsarbete. Under den veckan rapporterade Anthropic att cirka 6 % av beräkningarna som gick till AI‑R&D allokerades till säkerhet, och cirka 12 % av beräkningarna som gick till AI‑driven AI‑R&D allokerades till säkerhet.

Företaget beskriver båda uppskattningarna som avsiktligt konservativa: token som avancerade kapabiliteter lika mycket som säkerhet räknades som AI R&D, och skyddsklassificerare, en separat och jämförbar mängd beräkningskraft, exkluderas. En uppmanad Claude‑klassificer sorterade veckans nästan 10 000 forsknings‑träning‑ och utvärderingskörningar med ett ungefärligt urval på cirka 14 % viktat mot de största beräkningsanvändarna, och Anthropic rapporterade att klassificeraren överensstämde med mänskliga granskare inom en till två procentenheter.

Angivna begränsningar är att en enskild vecka visar att mätningen är genomförbar utan att fastställa en trend, att de underliggande arbetsbelastningsetiketterna är bästa ansträngning och overifierade, samt att andelen beräkningskraft mäter vad som spenderas snarare än mängden utfört säkerhetsarbete.

Syfte och nästa steg

Anthropic säger att de rapporterar mätningarna eftersom de ger allmänheten, externa aktörer och regeringar en tydligare bild av takten i AI‑utvecklingen inom frontallaboratorier, vilket kompletterar deras riskrapporter enligt Responsible Scaling Policy och deras policyförslag Advanced AI Framework. De påpekade att siffrorna förväntas förändras om det finns samordning kring taktnormering av fronten, som efterfrågas av VD Dario Amodei.

Inlägget säger att vilken frontutvecklare som helst kan publicera samma mått regelbundet med en offentlig metodik, och identifierar två hinder för jämförelser mellan laboratorier: avsaknaden av en gemensam metodik och att en utvecklare använder sina egna modeller för att bedöma sina system. Det påstår att sådana mått kan verifieras av tredje part eller av andra utvecklares modeller, och kan bli en utlösare för striktare krav, såsom ett fast testfönster innan en ny modell sätts i arbete för vidare AI R&D.

Anthropic säger att de planerar att integrera oberoende tredjepartsutvärderare från flera organisationer, ge dem tillgång till interna processer, system och data som är jämförbara med vad interna riskbedömningsteam har, för att verifiera säkerhetspraxis, rapportera incidenter och följa nyckeltal såsom de i inlägget. Artikeln skrevs gemensamt av Marina Favaro och Phillie Wright, med forskningsledning av Jack Clark.