Anthropic affirme que Claude dirige 26% de ses travaux de recherche et développement en IA

Anthropic a indiqué que ses modèles Claude « lead » 26 % du travail de recherche et développement en IA de l’entreprise à compter d’août 2026, dans les premiers résultats d’un prototype d’Index d’automatisation de la R&D publié dans un article de l’Anthropic Institute le 17 septembre 2026.

Le post, intitulé “Mesures pour comprendre le rythme du développement de l’IA au sein des laboratoires de pointe”, associe l’indice aux métriques internes sur la supervision des agents et l’allocation de calcul, et Anthropic a déclaré qu’il prévoit de continuer à publier ces mesures.

L’Index d’automatisation de la R&D

L’Index d’automatisation de la R&D d’Anthropic cartographie l’ensemble des travaux de R&D en IA réalisés par l’entreprise, évalue le degré d’automatisation actuel de chaque tâche et combine ces scores en une mesure agrégée. Les scores utilisent une échelle de Niveau d’automatisation développée par Epoch AI, allant de AL0, signifiant aucune implication de l’IA, à AL5, où l’IA fonctionne entièrement de manière autonome sans intervention humaine. À AL3, l’IA « collaborates » réalise de grandes parties d’une tâche sous une direction humaine étroite ; à AL4, l’IA « leads » prend en charge la majeure partie d’une tâche, du prompt de haut niveau à son achèvement, tandis qu’un humain supervise.

Anthropic a indiqué qu’à compter d’août 2026, Claude « leads » 26 % de ses travaux de R&D en IA, que la part du travail au niveau « collaborates » ou supérieur dépasse 90 % et que Claude ne fonctionne pas de manière entièrement autonome pour aucun sous-ensemble mesuré des travaux de R&D en IA. Un graphique dans l’article décrit la part de 26 % « leads » comme étant passée de moins de 1 % en février 2026.

Le catalogue de tâches sous-jacent a été assemblé de bas en haut à partir de dossiers de travail tels que Slack et la documentation interne. Pour chaque semaine de juillet 2026, un agent de recherche Claude a examiné la semaine de chaque personne sélectionnée aléatoirement — 20 % du personnel de chaque département composant la boucle de R&D du modèle — et a répertorié les tâches réalisées, produisant une liste plate d’environ 15 000 tâches granulaire. Claude a ensuite organisé ces tâches dans un arbre hiérarchique de 542 nœuds, dont 378 feuilles telles que « diagnostic et correction de défauts de la plateforme d’évaluation », et cet arbre est figé afin que chaque mesure s’applique au même ensemble de travail.

Pour chaque nœud, un agent Claude étudie la manière dont ce type de travail est réalisé dans l’entreprise, et un juge Claude indépendant attribue l’un des six niveaux d’automatisation, limité aux preuves du mois évalué ou antérieur. Les tâches sont pondérées en fonction du temps-personne, de sorte que les catégories où l’effort du personnel est plus important portent plus de poids.

Anthropic a comparé les évaluations du juge avec celles du personnel responsable des domaines de travail concernés, qui ont noté sans voir les preuves ou jugements des modèles, et a rapporté un accord exact modèle‑vs‑humain de 59 % contre 35 % humain‑vs‑humain, les évaluations étant à un niveau d’écart l’une de l’autre 97 % du temps. Les limites indiquées comprennent le panier figé, qui capture l’automatisation du travail existant sans enregistrer de nouveaux types de travail ; une comparaison des tâches arrivées de février à juillet 2026 avec un panier de janvier 2026 n’a révélé aucune augmentation des tâches « novel », et Anthropic prévoit de reconstruire le panier périodiquement et de re‑versionner les chiffres publiés.

Supervision des agents internes

Un second ensemble de mesures porte sur la supervision par Anthropic des agents IA sur ses systèmes. À compter d’août 2026, environ 30 000 agents effectuaient simultanément des travaux de recherche et d’ingénierie sur la plateforme interne la plus utilisée de l’entreprise, et les mesures rapportées concernent uniquement cette plateforme.

Anthropic a indiqué que les moniteurs en ligne vérifient 100 % des actions de ces agents avant leur exécution, généralement en quelques secondes ; sur plus d’un milliard de décisions d’agents analysées en août 2026, 0,002 % (environ 1 sur 47 000) ont été bloquées, et les humains examinent toute action bloquée dans la semaine qui suit. Les moniteurs hors ligne ingèrent 100 % des actions a posteriori et signalent environ 100 000 transcriptions par semaine, que plusieurs classificateurs examinent pour détecter les faux positifs, résolvant la plupart des signalements ; environ 50 signalements prioritaires par semaine sont escaladés vers une révision humaine, et environ un à deux transcriptions sur mille sont signalées pour un examen supplémentaire.

Selon l’article, les moniteurs en ligne sont conçus pour prévenir des préjudices qui surviendraient rapidement et ne pourraient pas être annulés, comme un agent copiant les poids d’un modèle hors des systèmes d’Anthropic, tandis que les moniteurs hors ligne ciblent des comportements dangereux qui se développent lentement et peuvent être inversés, comme des signes de désalignement du modèle. Anthropic a déclaré que deux choix de conception dans l’infrastructure interne soutiennent la supervision : chaque agent possède une identité individuelle qui persiste à travers les mises à jour du modèle, et les agents communiquent via un système de messagerie ouvert et partagé, croisé avec les transcriptions, de sorte que la surveillance comportementale peut traverser les communications entre agents. L’entreprise a indiqué que METR a précédemment soumis de manière indépendante son plateforme de surveillance hors ligne à des tests d’intrusion, et que ces mesures de supervision ont également été publiées dans son rapport de risques d’août 2026.

Instantané de l’allocation de calcul

Pour la troisième mesure, Anthropic a examiné comment il a utilisé l’intégralité de son calcul du 13 au 20 juillet 2026, en classant chaque charge de travail par catégories et en mesurant la part du calcul dédié à la R&D en IA qui était consacrée à la sécurité. Au cours de cette semaine, Anthropic a indiqué qu’environ 6 % du calcul dédié à la R&D en IA était alloué à la sécurité, et qu’environ 12 % du calcul dédié à la R&D pilotée par l’IA était alloué à la sécurité.

L’entreprise décrit les deux estimations comme délibérément conservatrices : les jetons dont les capacités avancées étaient aussi importantes que la sécurité ont été comptés comme R&D IA, et les classificateurs de sauvegarde, une quantité distincte et comparable de calcul, sont exclus. Un classificateur Claude sollicité a trié les près de 10 000 exécutions de formation et d’évaluation de recherche de la semaine en utilisant un échantillon d’environ 14 % pondéré en faveur des plus gros utilisateurs de calcul, et Anthropic a indiqué que le classificateur était d’accord avec les évaluateurs humains à un ou deux points de pourcentage près.

Les limites indiquées sont qu’une seule semaine montre que la mesure est réalisable sans établir de tendance, que les libellés de charge de travail sous-jacents sont fournis au mieux des efforts et non vérifiés, et que la part de calcul mesure ce qui est dépensé plutôt que la quantité de travail de sécurité effectuée.

Objectif et prochaines étapes

Anthropic a déclaré publier ces mesures parce qu’elles offrent au public, aux parties externes et aux gouvernements une vision plus claire du rythme de développement de l’IA au sein des laboratoires de pointe, complétant ainsi ses rapports de risque « Responsible Scaling Policy » et sa proposition de politique « Advanced AI Framework ». Elle a noté que les chiffres devraient évoluer s’il y avait une coordination sur le rythme de la frontière, comme le réclame le PDG Dario Amodei.

Le billet indique que tout développeur de pointe pourrait publier régulièrement les mêmes mesures avec une méthodologie publique, et identifie deux obstacles à la comparaison inter‑laboratoires : l’absence d’une méthodologie partagée et le recours du développeur à ses propres modèles pour juger ses systèmes. Il précise que ces mesures pourraient être vérifiées par des tiers ou par les modèles d’autres développeurs, et pourraient devenir un déclencheur d’exigences plus strictes, comme une fenêtre de test fixe avant qu’un nouveau modèle ne soit utilisé pour de nouvelles R&D IA.

Anthropic a indiqué qu’elle prévoit d’intégrer des évaluateurs indépendants tiers provenant de plusieurs organisations, leur donnant accès aux processus internes, aux systèmes et aux données comparables à ceux dont disposent les équipes d’évaluation des risques internes, afin de vérifier les pratiques de sécurité, de signaler les incidents et de suivre les indicateurs clés tels que ceux présentés dans le billet. L’article a été co‑rédigé par Marina Favaro et Phillie Wright, sous la direction de recherche de Jack Clark.