Anthropic sier Claude leder 26% av sin AI‑forskning og -utvikling

Anthropic sa at Claude-modellene deres «leder» 26 % av selskapets AI‑forsknings‑ og utviklingsarbeid per august 2026, i de første resultatene fra en prototype R&D‑automatiseringsindeks publisert i et Anthropic Institute‑innlegg 17. september 2026.

Posten, med tittelen “Målinger for å forstå tempoet i AI‑utviklingen i fremste laboratorier,” kombinerer indeksen med interne målinger av agenttilsyn og beregningsallokering, og Anthropic sa at de har til hensikt å fortsette å publisere slike målinger.

R&D‑automatiseringsindeksen

Anthropic R&D‑automatiseringsindeks kartlegger hele spekteret av AI‑R&D‑arbeid som utføres i selskapet, vurderer hvor automatisert hver oppgave er i dag, og kombinerer disse vurderingene til et samlet mål. Vurderingene bruker en automatiseringsnivåskala utviklet av Epoch AI, som går fra AL0, som betyr ingen AI‑involvering, til AL5, hvor AI opererer fullstendig autonomt uten menneskelig innblanding. På AL3 «samarbeider» AI, og utfører store deler av en oppgave under tett menneskelig styring; på AL4 «leder» AI, og tar seg av mesteparten av en oppgave fra et overordnet prompt til fullføring mens et menneske overvåker.

Anthropic rapporterte at per august 2026, Claude «leder» 26 % av deres AI‑R&D‑arbeid, andelen arbeid på eller over «samarbeider»-nivået er over 90 %, og Claude opererer ikke fullstendig autonomt for noen målt delmengde av AI‑R&D‑arbeidet. Et diagram i innlegget viser at andelen «leder» på 26 % er opp fra under 1 % i februar 2026.

Den underliggende oppgavekatalogen ble satt sammen fra bunnen av ved hjelp av arbeidsregistre som Slack og intern dokumentasjon. For hver uke i juli 2026 gjennomgikk en Claude‑forskningsagent hver tilfeldig utvalgt persons uke – 20 % av de ansatte i hver avdeling som utgjør modell‑R&D‑sløyfen – og listet opp oppgavene de arbeidet med, noe som ga en flat liste på omtrent 15 000 detaljerte oppgaver. Claude organiserte deretter disse oppgavene i et hierarkisk tre med 542 noder, hvorav 378 er bladnoder som for eksempel “eval platform defect diagnosis and fixes”, og dette treet er fryst slik at hver måling kjøres mot samme arbeidskurv.

For hver node undersøker en Claude‑agent hvordan den typen arbeid utføres i selskapet, og en uavhengig Claude‑dommer tildeler ett av seks automatiseringsnivåer, begrenset til bevis fra den aktuelle måneden eller tidligere. Oppgaver vektes etter person‑tid, slik at kategorier med større personalinnsats får høyere vekt.

Anthropic sammenlignet dommerens vurderinger med ansatte som har ansvar for de aktuelle arbeidsområdene, som vurderte uten å se modellens bevis eller dommer, og rapporterte en nøyaktig enighet modell‑mot‑menneske på 59 % versus 35 % menneske‑mot‑menneske, med vurderinger innen ett nivå av hverandre 97 % av tiden. Oppgitte begrensninger inkluderer den frosne kurven, som fanger automatisering av eksisterende arbeid uten å registrere nye arbeidsformer; en sammenligning av oppgaver fra februar til juli 2026 mot en januar 2026‑kurv viste ingen økning i “novel”‑oppgaver, og Anthropic planlegger å gjenoppbygge kurven periodisk og oppdatere de publiserte tallene.

Tilsyn med interne agenter

Et annet sett målinger dekker Anthropics tilsyn med AI‑agenter i deres systemer. Per august 2026 var omtrent 30 000 agenter i gang med forsknings‑ og ingeniørarbeid samtidig på selskapets mest brukte interne plattform, og de rapporterte målingene gjelder kun den plattformen.

Anthropic rapporterte at nettbaserte monitorer sjekker 100 % av disse agentenes handlinger før utførelse, vanligvis innen sekunder; av mer enn en milliard agentbeslutninger analysert i august 2026, ble 0,002 % (omtrent 1 av 47 000) blokkert, og mennesker gjennomgår eventuelle blokkerte handlinger innen én uke. Offline‑monitorer tar inn 100 % av handlingene etterpå og flagger omtrent 100 000 transkripsjoner per uke, som flere klassifikatorer gjennomgår for falske positiver, og løser de fleste flagg; omtrent 50 flagg med høyest prioritet per uke eskaleres til menneskelig gjennomgang, og omtrent én til to transkripsjoner per tusen flagges for videre vurdering.

Ifølge innlegget er nettbaserte monitorer utviklet for skader som kan oppstå raskt og ikke kan reverseres, som for eksempel en agent som kopierer modellvekter ut av Anthropics systemer, mens offline‑monitorer retter seg mot farlig atferd som utvikler seg sakte og kan reverseres, som tegn på modell‑misjustering. Anthropic sa at to designvalg i den interne strukturen støtter tilsyn: hver agent har en individuell identitet som vedvarer gjennom modelloppgraderinger, og agenter kommuniserer via et delt, åpent meldingssystem som kryssrefereres med transkripsjoner, slik at atferdsovervåkning kan følge kommunikasjon mellom agenter. Selskapet opplyste at METR tidligere uavhengig har utført red‑team‑testing av deres offline‑overvåkingsplattform, og at disse tilsynsmålingene også ble publisert i deres risikorapport fra august 2026.

Oversikt over beregningsallokering

For den tredje målingen undersøkte Anthropic hvordan de brukte all sin beregningskapasitet fra 13. til 20. juli 2026, sorterte hver arbeidsbelastning i kategorier og målte hvor mye av beregningen som gikk til AI‑R&D som var sikkerhetsarbeid. I løpet av den uken rapporterte Anthropic at omtrent 6 % av beregningen som gikk til AI‑R&D ble allokert til sikkerhet, og omtrent 12 % av beregningen som gikk til AI‑drevet AI‑R&D ble allokert til sikkerhet.

Selskapet beskriver begge estimatene som bevisst konservative: token som fremmet kapasiteter i samme grad som sikkerhet ble telt som AI‑F&U, og sikkerhetsklassifikatorer, en separat og sammenlignbar mengde beregningskraft, er ekskludert. En promptet Claude‑klassifikator sorterte ukens nesten 10 000 forsknings‑trening‑ og evalueringskjøringer ved hjelp av et omtrent 14 % utvalg vektlagt mot de største beregningsbrukerne, og Anthropic rapporterte at klassifikatoren var enig med menneskelige vurderere innen ett eller to prosentpoeng.

De oppgitte begrensningene er at én enkelt uke viser at målingen er gjennomførbar uten å etablere en trend, at de underliggende arbeidsbelastningsmerkene er gjort etter beste evne og er uverifiserte, og at andelen beregningskraft måler hva som er brukt snarere enn mengden sikkerhetsarbeid som er utført.

Formål og neste steg

Anthropic sa at de rapporterer målingene fordi de gir publikum, eksterne parter og myndigheter et klarere bilde av tempoet i AI‑utviklingen i frontlinjelaboratorier, og supplerer deres Responsible Scaling Policy‑risikorapporter og forslaget til Advanced AI Framework‑policy. De bemerket at tallene ville forventes å endre seg dersom det var koordinering om tempoet i frontlinjen, slik administrerende direktør Dario Amodei har etterspurt.

Innlegget sier at enhver frontlinjeutvikler kunne publisere de samme målingene regelmessig med en offentlig metodikk, og identifiserer to hindringer for sammenligning på tvers av laboratorier: fraværet av en felles metodikk og at en utvikler bruker sine egne modeller til å vurdere sine systemer. Det påpeker at slike målinger kunne verifiseres av tredjepart eller av andre utvikleres modeller, og kunne bli en utløsende faktor for strengere krav, for eksempel et fast testvindu før en ny modell settes i arbeid på videre AI‑F&U.

Anthropic sa at de planlegger å integrere uavhengige tredjeparts‑evaluatører fra flere organisasjoner, gi dem tilgang til interne prosesser, systemer og data som er sammenlignbare med det interne risikovurderingsteamet har, for å verifisere sikkerhetspraksiser, rapportere hendelser og følge nøkkelindikatorer som de i innlegget. Artikkelen er medforfattet av Marina Favaro og Phillie Wright, med forskningsretning fra Jack Clark.