Anthropic zegt dat Claude 26% van haar AI-onderzoek en -ontwikkeling leidt

Anthropic zei dat haar Claude-modellen “leiden” 26 % van het AI-onderzoek en -ontwikkelingswerk van het bedrijf in augustus 2026, in de eerste resultaten van een prototype‑R&D‑automatiseringsindex die werd gepubliceerd in een Anthropic Institute bericht op 17 september 2026.

Het bericht, getiteld “Metingen om het tempo van AI-ontwikkeling binnen grensverleggende labs te begrijpen”, koppelt de index aan interne statistieken over toezicht op agenten en toewijzing van rekencapaciteit, en Anthropic zei dat het van plan is dergelijke metingen te blijven publiceren.

De R&D‑automatiseringsindex

De Anthropic R&D‑automatiseringsindex brengt het volledige scala aan AI‑R&D‑werk dat bij het bedrijf wordt uitgevoerd in kaart, beoordeelt hoe geautomatiseerd elke taak momenteel is, en combineert die scores tot een samengestelde maat. De scores maken gebruik van een Automation Level‑schaal ontwikkeld door Epoch AI, variërend van AL0, wat geen AI‑betrokkenheid betekent, tot AL5, waarbij AI volledig autonoom opereert zonder mens in de lus. Bij AL3 “collaborates” AI, die grote delen van een taak uitvoert onder nauw menselijk toezicht; bij AL4 “leads” AI, die het grootste deel van een taak van een hoog‑niveau prompt tot voltooiing draagt terwijl een mens superviseert.

Anthropic meldde dat vanaf augustus 2026 Claude “leads” 26 % van haar AI‑R&D‑werk, het aandeel werk op of boven het “collaborates”‑niveau ligt boven de 90 %, en Claude opereert niet volledig autonoom voor enige gemeten subset van AI‑R&D‑werk. Een grafiek in het bericht beschrijft het 26 % “leads”‑aandeel als gestegen vanuit minder dan 1 % in februari 2026.

De onderliggende takencatalogus werd van onderen opgebouwd met behulp van werkrecords zoals Slack en interne documentatie. Voor elke week van juli 2026 bekeek een Claude‑onderzoeksagent de week van elke willekeurig geselecteerde persoon — 20 % van het personeel van elke afdeling die de model‑R&D‑lus vormt — en noteerde de taken waaraan zij werkten, wat resulteerde in een platte lijst van ongeveer 15.000 gedetailleerde taken. Claude organiseerde die taken vervolgens in een hiërarchische boom van 542 knooppunten, waarvan 378 bladeren zoals “eval platform defect diagnosis and fixes”, en die boom is bevroren zodat elke meting tegen dezelfde werkwinkel wordt uitgevoerd.

Voor elk knooppunt onderzoekt een Claude‑agent hoe dat type werk binnen het bedrijf wordt uitgevoerd, en een onafhankelijke Claude‑judge kent een van de zes automatiseringsniveaus toe, beperkt tot bewijs uit de te beoordelen maand of eerder. Taken worden gewogen op basis van persoon‑tijd, zodat categorieën waarin meer personeelsinzet plaatsvindt meer gewicht krijgen.

Anthropic vergeleek de beoordelingen van de judge met personeel dat de betreffende werkgebieden bezit, die beoordeelden zonder de bewijzen of oordelen van de modellen te zien, en meldde een exacte overeenstemming model‑tegen‑mens van 59 % versus 35 % mens‑tegen‑mens, met beoordelingen die 97 % van de tijd binnen één niveau van elkaar lagen. Vermelde beperkingen omvatten de bevroren werkwinkel, die automatisering van bestaand werk vastlegt zonder nieuwe soorten werk te registreren; een vergelijking van taken die van februari tot juli 2026 binnenkwamen met een werkwinkel uit januari 2026 toonde geen stijging in “novel”‑taken, en Anthropic is van plan de werkwinkel periodiek te herbouwen en de gepubliceerde cijfers opnieuw te versien.

Toezicht op interne agenten

Een tweede reeks metingen betreft het toezicht van Anthropic op AI‑agenten in haar systemen. Vanaf augustus 2026 waren er ongeveer 30.000 agenten die op elk moment onderzoek‑ en engineeringwerk verrichtten op het meest gebruikte interne platform van het bedrijf, en de gerapporteerde metingen hebben alleen betrekking op dat platform.

Anthropic meldde dat online‑monitoren 100 % van de acties van deze agenten vóór uitvoering controleren, meestal binnen enkele seconden; van meer dan een miljard agentbeslissingen geanalyseerd in augustus 2026 werden 0,002 % (ongeveer 1 op 47.000) geblokkeerd, en mensen beoordelen geblokkeerde acties binnen een week. Offline‑monitoren nemen 100 % van de acties achteraf op en markeren ongeveer 100.000 transcripties per week, die door meerdere classifiers worden gecontroleerd op false positives, waardoor de meeste markeringen worden opgelost; ongeveer 50 markeringen met de hoogste prioriteit per week worden geëscaleerd naar menselijke beoordeling, en ongeveer één tot twee transcripties per duizend worden gemarkeerd voor verdere beoordeling.

Volgens het bericht zijn online‑monitoren ontworpen voor schade die snel optreedt en niet ongedaan kan worden gemaakt, zoals een agent die modelgewichten uit de systemen van Anthropic kopieert, terwijl offline‑monitoren zich richten op gevaarlijk gedrag dat zich langzaam ontwikkelt en kan worden teruggedraaid, zoals tekenen van model‑misalignment. Anthropic zei dat twee ontwerpkeuzes in de interne structuur toezicht ondersteunen: elke agent draagt een individuele identiteit die behouden blijft bij model‑upgrades, en agenten communiceren via een gedeeld, open berichtensysteem dat wordt gekruist met transcripties, zodat gedragsmonitoring de communicatie tussen agenten kan volgen. Het bedrijf meldde dat METR eerder onafhankelijk haar offline‑monitoringsplatform heeft gered‑teamd, en dat deze toezichtmetingen ook werden gepubliceerd in het risicorapport van augustus 2026.

Snapshot van compute‑toewijzing

Voor de derde meting onderzocht Anthropic hoe ze al haar compute gebruikte van 13 tot 20 juli 2026, waarbij elke werkbelasting in categorieën werd gesorteerd en werd gemeten hoeveel van de compute die naar AI‑R&D ging, bestemd was voor veiligheidswerk. Over die week meldde Anthropic dat ongeveer 6 % van de compute die naar AI‑R&D ging, werd toegewezen aan veiligheid, en ongeveer 12 % van de compute die naar AI‑gedreven AI‑R&D ging, werd toegewezen aan veiligheid.

Het bedrijf beschrijft beide schattingen als opzettelijk conservatief: tokens die de mogelijkheden evenveel als veiligheid vooruitstuwden, werden geteld als AI R&D, en veiligheidsclassifiers, een afzonderlijke en vergelijkbare hoeveelheid rekencapaciteit, worden uitgesloten. Een gepromptte Claude‑classifier sorteerde de bijna 10.000 onderzoeks‑training‑ en evaluatieruns van de week met behulp van een steekproef van ongeveer 14 % die zwaarder woog naar de grootste rekengebruikers, en Anthropic meldde dat de classifier het eens was met menselijke beoordelaars binnen één of twee procentpunten.

De genoemde beperkingen zijn dat één enkele week aantoont dat de meting haalbaar is zonder een trend vast te stellen, dat de onderliggende werkbelastingslabels op best‑effort‑basis en ongeverifieerd zijn, en dat het aandeel rekencapaciteit meet wat er wordt uitgegeven in plaats van de hoeveelheid uitgevoerde veiligheidswerkzaamheden.

Doel en volgende stappen

Anthropic zei dat het de metingen publiceert omdat ze het publiek, externe partijen en overheden een duidelijker beeld geven van het tempo van AI‑ontwikkeling binnen frontier‑labs, ter aanvulling op haar Responsible Scaling Policy‑risicorapporten en haar Advanced AI Framework‑beleidsvoorstel. Het merkte op dat de cijfers naar verwachting zouden verschuiven als er coördinatie zou zijn over het tempo van de frontier, zoals gevraagd door CEO Dario Amodei.

De post stelt dat elke frontier‑ontwikkelaar dezelfde metingen regelmatig kan publiceren met een publieke methodologie, en identificeert twee obstakels voor vergelijking tussen labs: het ontbreken van een gedeelde methodologie en het gebruik door een ontwikkelaar van eigen modellen om zijn systemen te beoordelen. Er wordt gezegd dat dergelijke metingen geverifieerd kunnen worden door derden of door modellen van andere ontwikkelaars, en dat ze een aanleiding kunnen vormen voor strengere eisen, zoals een vaste testperiode voordat een nieuw model wordt ingezet voor verdere AI R&D.

Anthropic zei dat het van plan is onafhankelijke externe beoordelaars van meerdere organisaties te betrekken, hen toegang te geven tot interne processen, systemen en gegevens die vergelijkbaar zijn met die van interne risicobeoordelingsteams, om veiligheidspraktijken te verifiëren, incidenten te rapporteren en belangrijke metrische gegevens, zoals in de post, te volgen. Het artikel is mede‑geschreven door Marina Favaro en Phillie Wright, met onderzoeksrichting van Jack Clark.