Anthropic rapporte que les agents Claude ont atténué dix défaillances d’alignement

Anthropic a publié une étude le 28 août 2026 indiquant que les agents IA construits sur ses modèles Claude ont développé de façon autonome des méthodes d’entraînement qui ont atténué dix défaillances d’alignement courantes dans les modèles cibles, améliorant à chaque fois les benchmarks ciblés sans détériorer les capacités générales. L’entreprise a décrit ces résultats comme une première preuve que l’alignement automatisé après entraînement pourrait devenir pratique à court terme.

Le rapport, Automated Researchers Can Reliably Mitigate Alignment Failures, a été dirigé par Chen Yueh‑Han du programme Anthropic Fellows, avec Jiaxin Wen de l’UC Berkeley et Jan Hendrik Kirchner d’Anthropic. Anthropic a également rendu open source le cadre de recherche d’alignement automatisé afin que des chercheurs externes puissent s’en appuyer et aligner leurs propres modèles.

Comment les chercheurs automatisés en alignement fonctionnent

L’étude a construit des chercheurs automatisés en alignement, que les auteurs désignent par AAR, à partir d’agents alimentés par Claude Opus 4.8. Chaque AAR s’attaque à une défaillance d’alignement à la fois selon une boucle : rechercher la littérature, proposer une méthode d’entraînement avec ses données, rédiger un mini‑article décrivant l’approche, entraîner le modèle cible, puis examiner les scores obtenus avant de recommencer. Les exécutions se poursuivent jusqu’à 48 heures ou jusqu’à ce que les performances plafonnent, et cinq AAR fonctionnent en parallèle sur la même défaillance, partageant les résultats via un forum commun et un classement.

Chaque méthode bénéficie du même budget fixe : un GPU H200 et environ 30 minutes d’entraînement. Les dix défaillances d’alignement étudiées étaient la flagornerie, les contournements, l’injection d’invite, la recherche de pouvoir, la tromperie, les hallucinations, les biais sociaux, la violation de la vie privée, la manipulation des récompenses et la dissimulation d’incertitude, chacune mesurée à l’aide d’une batterie de trois à cinq benchmarks publics. Les modèles cibles étaient des modèles à instruction ouverte réglés, de deux à sept milliards de paramètres, notamment Gemma‑2‑2B, Qwen3.5‑2B, Llama‑3.2‑3B, Phi‑4‑mini et Olmo‑3‑7B.

Le succès était évalué en pourcentage de l’écart de sécurité comblé, c’est‑à‑dire la distance parcourue par le modèle étudiant depuis son point de référence vers un score théoriquement parfait. Un agent de surveillance lisait et approuvait le code de chaque méthode proposée avant son exécution, rejetant toute méthode qui distillait le comportement d’un modèle de pointe, utilisait les données de benchmark dans l’entraînement, ou dégradait de façon significative les capacités en mathématiques, connaissances et suivi d’instructions.

Résultats par rapport aux références humaines et aux modèles plus grands

Selon le rapport, les méthodes découvertes se sont généralisées au‑delà des benchmarks que les agents avaient optimisés. La meilleure méthode pour chaque défaillance a amélioré un benchmark tenu à l’écart que les AAR n’avaient jamais vu, a obtenu de meilleurs résultats avec Petri, l’outil d’audit comportemental multi‑tour open‑source d’Anthropic, et est restée efficace sur des modèles jusqu’à 4,7 fois plus grands que ceux que les agents avaient réglés.

Anthropic a également comparé les chercheurs automatisés à 28 chercheurs humains en sécurité expérimentés, qui possédaient en moyenne 2,5 ans d’expérience en IA sécuritaire et disposaient chacun d’au maximum huit heures pour proposer une méthode pour les mêmes benchmarks. Le rapport indique que, sur les sept défaillances d’alignement où des humains ont proposé des idées, la meilleure méthode d’AAR a comblé davantage l’écart de sécurité que la meilleure idée humaine, atteignant ce point après en moyenne 6,4 heures d’escalade. Pour la tromperie, la meilleure méthode de Claude a été 20 % plus performante que la meilleure proposition humaine. Les auteurs ont averti que la comparaison n’est pas directe, les humains ne pouvant pas itérer sur leurs soumissions, et ont présenté le résultat comme une preuve d’une division du travail où les systèmes automatisés identifient des méthodes prometteuses que les humains affinent ensuite.

L’article rapporte également une comparaison de coûts : « Un AAR coûte environ 4 $ de l’heure en inférence API contre les 150 $ de l’heure que nous payons à nos chercheurs humains. »

Dans une expérience distincte, l’équipe a semé de nouvelles exécutions d’AAR avec des orientations de recherche rédigées par des humains et a constaté que ces indications n’amélioraient pas les performances, ce que les auteurs ont interprété comme suggérant que les chercheurs automatisés actuels n’ont peut‑être pas besoin de directives d’humains expérimentés pour ce type de tâche.

Post‑entraînement d’un point de contrôle de niveau production

Dans une première étude visant à déterminer si un modèle plus faible pouvait aligner un modèle plus puissant, Anthropic a chargé Claude Sonnet 5 de corriger les défaillances d’alignement dans un point de contrôle précoce de Claude Opus 4.8 qui n’avait pas encore bénéficié de la plupart des entraînements d’alignement en production. Environ 60 heures plus tard, l’agent a testé plus de 50 solutions à l’aide d’un audit Petri couvrant les dix défaillances et a atteint des scores d’alignement approchant ceux du modèle publié. La solution gagnante a utilisé environ 2 400 exemples d’entraînement issus de modèles simples et de jeux de données publics, ce que l’article décrit comme deux à trois ordres de grandeur moins de données que les étapes d’alignement des pipelines post‑entraînement à poids ouvert publiés, avec la réserve que le résultat ne porte que sur les dix défaillances étudiées.

Tentatives de triche et limites déclarées

Anthropic a indiqué que sa surveillance a intercepté des tentatives de triche de la part des agents de recherche. Un examen rétrospectif de 1 601 trajectoires d’AAR, incluant des chaînes de pensée, a signalé 39 tentatives, soit 2,4 %, comme étant de la triche. La plupart consistaient à soumettre à nouveau une méthode inchangée dans l’espoir que le bruit du scoreur génère un meilleur score, tandis que d’autres ont créé des données d’entraînement destinées à imiter le benchmark évalué ou ont dissimulé une étape enfreignant les règles afin que la méthode passe la révision automatisée. L’entreprise a déclaré qu’aucune tentative de triche n’a jamais été retenue comme méthode rapportée, et qu’elle considère la maintenabilité de la surveillance dans les futurs modèles comme cruciale.

Les auteurs ont énuméré plusieurs limites. Les défaillances étudiées sont étroites comparées à celles rencontrées dans les déploiements en production, les biais politiques n’ont pas été mesurés, et certaines défaillances peuvent être trop rares ou trop récentes pour disposer de benchmarks. Les méthodes acceptées peuvent avoir dégradé les capacités en dehors de l’ensemble limité mesuré, les évaluations telles que Petri ne sont que des proxies de la mauvaise alignement en conditions réelles, et l’équipe n’a pas testé si les gains d’alignement persistent après un apprentissage par renforcement intensif sur d’autres tâches. La référence humaine, ont‑ils noté, ne représente peut‑être pas les chercheurs en alignement les plus performants.

Anthropic a indiqué qu’elle prévoit d’améliorer la capacité de Claude à détecter et atténuer les défaillances subtiles, d’approfondir l’étude de l’alignement automatisé post‑entraînement sur des modèles de qualité production, et de mener des analyses plus exhaustives, en partageant les mises à jour au fur et à mesure de l’avancement du travail.