Anthropic publie des recommandations pour des évaluations de sécurité de l’IA plus fiables

Le 13 novembre 2026, Anthropic a publié des recommandations visant à rendre les évaluations de sécurité de l’IA plus fiables. L’entreprise a indiqué que, pour chacun de ses modèles récents, les taux agrégés de réponses inoffensives se situaient entre 94 % et 98 % lors de ses tests API à un seul tour. Ces tests, dont les résultats ont atteint un plafond, sont surtout utiles pour vérifier que des modes de défaillance connus ne réapparaissent pas ; les évaluations à plusieurs tours offrent davantage de variations et peuvent détecter des changements progressifs au fil d’une conversation.

Une évaluation de sécurité mesure la propension d’un modèle à causer un préjudice ou à y contribuer, c’est-à-dire la mesure dans laquelle sa réponse rend ce préjudice plus ou moins probable et la gravité qu’il pourrait avoir, plutôt qu’une capacité particulière. Une préoccupation centrale est la validité de construit : le test mesure-t-il bien le concept qu’il est censé évaluer ? Le taux de refus peut être trompeur dans les conversations sur le suicide et l’automutilation, car refuser simplement de participer à l’échange peut en soi constituer un échec ; la réponse souhaitée apporte du soutien et oriente la personne vers une aide humaine. Les évaluations à plusieurs tours d’Anthropic mesurent plutôt le taux de réponses appropriées sur l’ensemble de la conversation, à l’aide de grilles d’évaluation propres à chaque risque, dans lesquelles un seul tour inadéquat suffit à faire échouer l’échange entier.

Tests à plusieurs tours et couverture du monde réel

Pour concevoir ces tests, un spécialiste du domaine rédige un cahier des charges précisant les objectifs, les tactiques, le profil, la situation, le ton et le style conversationnel de l’utilisateur simulé. Le premier tour de l’utilisateur reste fixe, tandis qu’un autre modèle Claude génère les tours suivants en réponse au modèle testé. Chaque scénario est exécuté à plusieurs reprises avec différentes combinaisons de caractéristiques, puis un modèle évaluateur note la transcription complète en fonction de la grille d’évaluation pertinente pour le risque.

Faire varier les dimensions indépendamment aide à déterminer ce qui influence le comportement ; si tous les cas graves emploient également un ton urgent, il est impossible de distinguer les effets de la gravité de ceux du ton. Anthropic recommande également de s’appuyer sur des comportements observés, des données publiques, des transcriptions d’exercices de simulation d’attaques, des rapports d’incidents ou des entretiens avec des spécialistes, plutôt que sur des situations inventées seulement. Ses suites de tests à un seul tour couvrent 16 domaines de politique dans sept langues et sur plusieurs interfaces produit ; l’environnement d’évaluation est adapté à celui du déploiement testé.

L’exécution des tests exige également des mesures de confinement. Pour les évaluations en cybersécurité, les recommandations préconisent des environnements isolés sans accès à Internet et une surveillance en temps réel, afin de pouvoir interrompre un test si les actions d’un modèle risquent de causer un préjudice dans le monde réel.

Validation des évaluateurs et limites statistiques

Les évaluateurs automatisés introduisent un autre risque de mesure : même lorsqu’ils sont défaillants, ils peuvent continuer à produire des scores plausibles. Parmi les mesures de protection recommandées figurent des critères élémentaires à réponse binaire (oui ou non), un traitement explicite des avertissements et des cas limites, des alertes très visibles en cas de défaillance, ainsi que des vérifications visant à repérer les biais liés à la longueur des réponses, à leur position et à la préférence pour soi-même. Des évaluateurs humains devraient attribuer indépendamment des étiquettes à un échantillon de transcriptions, afin de comparer l’accord entre l’évaluateur automatisé et les spécialistes à celui qui existe entre les spécialistes eux-mêmes.

Cette mesure de référence humaine détermine la solution à apporter. Si les spécialistes sont d’accord entre eux, mais pas avec l’évaluateur, il faut améliorer la grille d’évaluation ou l’évaluateur ; s’ils ne sont pas d’accord entre eux, l’évaluation n’a peut-être pas de réponse stable à mesurer. Les recommandations préconisent également de préenregistrer les indicateurs, les comparaisons et les seuils d’amélioration avant de connaître les résultats.

La taille des échantillons est essentielle à ces évaluations. Anthropic applique des seuils minimaux de 100 éléments pour les évaluations complexes à plusieurs tours et de 1 000 pour les tests plus simples à un seul tour, tout en répétant les exécutions pour tenir compte de résultats bruités et non déterministes. Anthropic indique que les intervalles de confiance des évaluations API à plusieurs tours peuvent dépasser ±10 points de pourcentage : lors d’une évaluation à plusieurs tours portant sur les arnaques sentimentales sur claude.ai, Claude Opus 5 et Opus 5.5 ont obtenu des taux de réponses appropriées de 98 % et 94 %, respectivement, mais l’écart n’était pas statistiquement significatif. Cet exemple montre pourquoi un simple écart numérique ne suffit pas à établir quel modèle s’est comporté de manière plus sûre.

Paramètres de déploiement et présentation des résultats

La configuration de déploiement est une autre variable documentée. Lors de l’examen de Claude Fable 5.1, Anthropic a constaté que certaines réponses validaient implicitement l’automutilation comme stratégie d’adaptation, alors même qu’elles la déconseillaient et orientaient la personne vers un soutien humain. L’entreprise indique qu’une nouvelle exécution de l’évaluation, avec des mesures d’atténuation ciblées dans le message système, a donné un taux de réponses appropriées de 94 % sur claude.ai, contre 60 % sur l’API. Cette comparaison montre pourquoi les scores issus de configurations différentes ne peuvent pas être considérés comme équivalents.

Les recommandations relatives à la présentation des résultats concernent aussi les versions des modèles, les paramètres d’échantillonnage, les invites, les versions des évaluateurs et les dates. Elles préconisent une évaluation continue pendant le réglage fin, plutôt qu’une vérification unique avant la sortie. Les graves défauts des systèmes déployés devraient être signalés d’abord au développeur, afin de lui laisser le temps d’y remédier avant la publication des résultats.

Les trois grandes priorités d’Anthropic sont de définir le construit avant de collecter les données, de valider l’évaluateur au regard du jugement humain et de rendre compte de l’incertitude. Plus largement, affirmer qu’un modèle est plus sûr qu’un autre dépend autant de la conception du test, du contexte de déploiement et de la puissance statistique que du score mis en avant.