Modèles et plateformes d’IA
METR estime que la croissance des capacités des modèles d’Anthropic a presque doublé
Ajouter Unite.AI à vos sources préférées sur Google
Le 5 novembre 2026, METR a publié une évaluation indépendante, concluant qu’Anthropic améliore probablement les capacités de ses modèles sur des tâches clairement définies à un rythme environ deux fois supérieur à celui d’avant, et que l’utilisation de l’IA explique probablement la majeure partie de l’accélération actuelle. Ces conclusions sont entourées d’une incertitude considérable, et les caviardages dissimulent une grande partie des éléments de preuve qui les étayent.
Les données de référence révèlent une tendance plus marquée
À partir de l’AECI, l’indice des capacités d’Anthropic mesurées sur des tests de référence, METR a estimé que les scores à ces tests progressaient 1,9 fois plus vite depuis octobre 2025, avec un intervalle de confiance à 95 % de 1,5 à 2,8 fois. À ce rythme, une année équivaut à environ deux années de progrès au rythme antérieur. Cette évaluation générale compare le rythme observé en octobre 2026 à celui de la période allant de mars 2024 à octobre 2025.
Le calcul inclut des modèles réservés à un usage interne et date chaque instantané selon le moment où la plupart des employés d’Anthropic pouvaient l’utiliser, ce qui fournit une base commune pour les systèmes commercialisés et non commercialisés. Les vérifications de robustesse de METR ont donné des estimations de l’accélération allant de 1,1 à 2,9 fois selon les choix de modélisation, montrant à quel point les résultats dépendent de la manière de représenter la difficulté des tests de référence et d’autres hypothèses analytiques.
Les éléments qui étayent le rôle de l’IA dans l’accélération
Les éléments examinés ont convaincu METR que l’accélération n’était pas due à une croissance plus rapide des ressources de calcul consacrées à l’entraînement, même si les détails à l’appui de cette conclusion ont été caviardés. Des facteurs non liés à l’IA ont probablement joué un rôle important à la fin de 2025, mais l’hypothèse la plus plausible à ce jour est qu’ils n’expliquent pas l’accélération soutenue.
Les témoignages du personnel allaient dans le même sens, mais les résultats étaient inégaux. Les entretiens avec les chercheurs faisaient état d’une accélération d’environ deux fois, avec de fortes variations. Des sondages informels situaient à environ 12 fois, en octobre 2026, le gain moyen d’efficacité autodéclaré grâce au modèle interne le plus performant. METR a toutefois averti que répondre demandait peu d’efforts, que les réponses ne représentaient peut-être pas l’ensemble du personnel et que les gains de productivité individuels ne correspondent pas directement à une hausse des capacités de l’organisation dans son ensemble.
L’effet actuel tient principalement à l’aide que l’IA apporte aux chercheurs. L’IA n’est pas encore capable de fournir, en toute autonomie, des contributions majeures aux travaux d’entraînement les plus importants, même si des chercheurs ont évoqué des signes laissant penser que cela pourrait bientôt devenir possible, avec des niveaux de maturité variables selon les domaines.
Les limites et les méthodes de mesure restent incertaines
Aucun élément convaincant ne permettait de conclure que les progrès algorithmiques, les ressources de calcul consacrées à l’entraînement ou aux expériences, ou encore les données constitueraient des obstacles importants à l’horizon de 12 mois. L’interprétation des évaluateurs a changé à plusieurs reprises à mesure que de nouvelles informations leur parvenaient, si bien qu’ils n’étaient pas sûrs de cette conclusion. METR a néanmoins estimé que l’absence de contraintes claires ou de rendements fortement décroissants faisait peser un risque important : de nouveaux gains de capacités pourraient s’accumuler et entraîner une accélération encore plus rapide. Il s’agit d’une évaluation prospective du risque, et non d’un résultat observé.
L’AECI privilégie les tâches clairement définies et faciles à évaluer ; les gains plus rapides aux tests de référence ne se traduisent donc pas nécessairement par des effets équivalents dans le monde réel. Selon METR, le surajustement, des facteurs non liés à l’IA ou une base de référence historique exceptionnellement faible pourraient conduire à surestimer les résultats. À l’inverse, une accélération récente passée inaperçue, une élimination des obstacles liés aux humains plus rapide que prévu ou des scores aux tests qui sous-estiment l’impact dans le monde réel pourraient conduire à les sous-estimer. Les scores du Modèle 4, supérieurs à 50 % sur chacun des 15 tests de référence utilisés pour l’évaluer, ont soulevé une autre préoccupation : la saturation pourrait compliquer les mesures à venir.
Un accès étendu, mais peu d’éléments accessibles au public
METR a consacré 2,5 équivalents temps plein à cette évaluation de onze semaines, menée du 12 août 2026 au 29 octobre 2026. L’équipe a examiné les résultats de tests internes, les indicateurs du préentraînement et de l’apprentissage par renforcement, les mesures des ressources de calcul consacrées à l’entraînement, les analyses de l’accélération attribuable à l’IA et des documents internes. Elle s’est également appuyée sur une quinzaine d’entretiens avec des membres clés du personnel. L’équipe n’a pas bénéficié d’un accès sans intermédiaire, comparable à celui des employés, ni testé de modèles non publics.
Anthropic pouvait approuver ou rejeter les demandes d’information et caviarder unilatéralement les documents non publics. Ses caviardages ont retiré du rapport public la majorité des éléments de preuve que METR jugeait les plus instructifs, notamment les détails de l’attribution à l’IA, les estimations des progrès algorithmiques, les analyses précises des obstacles et les prévisions concernant les futurs modèles. Anthropic a expliqué que ces caviardages visaient à protéger des informations confidentielles susceptibles d’accélérer les travaux d’autres développeurs d’IA. METR a conservé la maîtrise de sa méthodologie et de ses conclusions et n’a reçu aucun paiement, même si l’équipe a travaillé sur des appareils Anthropic et utilisé des jetons gratuits.
Cette évaluation constitue un examen externe approfondi de l’accélération de la recherche par l’IA, sans toutefois rendre transparents les éléments de preuve sous-jacents. Les résultats publics des tests de référence et les témoignages du personnel étayent l’hypothèse d’une progression plus rapide, mais les caviardages empêchent les lecteurs d’évaluer indépendamment une grande partie des fondements des conclusions de METR sur l’attribution à l’IA et les obstacles. Ces conclusions centrales reposent donc largement sur la synthèse, par l’évaluateur, d’éléments que les lecteurs ne peuvent pas examiner dans leur intégralité.
