Modèles et plateformes d’IA
METR constate que les horizons temporels de l’IA doublent tandis que le jugement en recherche accuse un retard

Points clésLes horizons temporels des modèles de pointe doublent environ tous les 110 jours, mais…
Voir plus
- Les horizons temporels des modèles de pointe doublent environ tous les 110 jours, mais le jugement de recherche reste en retard sur les gains vérifiables.
- Les modèles se sont classés entre le 96e et le 98e centile lors de concours d'optimisation, mais ont été devancés par les meilleurs humains sur les accélérations autonomes.
- Les juges modèles ont surestimé les tâches de recherche des modèles forts d'environ 0,2 point sur une échelle d'un point.
METR a indiqué le 20 novembre 2026 que, d’après ses évaluations combinées TH1.1 et TH2, les horizons temporels à 50 % des modèles publics de pointe — c’est-à-dire la durée estimée par des humains pour une tâche à partir de laquelle le modèle est censé réussir une fois sur deux, et non le temps de travail du modèle lui-même — doublent environ tous les 110 jours. Les tests élargis montrent de solides progrès pour les tâches vérifiables, mais un jugement moins fiable dans les travaux de recherche ouverts et la conception d’évaluations.
Cette mise à jour porte sur les modèles publics jusqu’à Opus 5.5 et GPT-6 Astra et examine les capacités utiles à l’automatisation de la recherche et du développement en IA (R&D). METR a généralement évalué 15 modèles sur TH1.1 et TH2. La nouvelle batterie TH2 comprend 36 tâches réparties en 12 familles : huit familles vérifiables, aux objectifs bien définis et évalués automatiquement, couvrant l’optimisation, l’apprentissage automatique, les casse-tête et les jeux, et quatre familles consacrées au raisonnement conceptuel, au jugement et à la recherche ouverte, pour lesquelles il n’existe pas de méthode simple de vérification de la réussite.
Une batterie plus difficile, mais une tendance de croissance similaire
METR estime à 2,08 à 4,94 mois l’intervalle de confiance à 95 % pour le temps de doublement combiné, un résultat proche de la tendance précédente de 105 jours pour TH1.1 seule. À durée de tâche humaine égale, TH2 est plus difficile ; l’horizon temporel à 50 % d’un modèle pour la batterie combinée est donc plus court que pour TH1.1 seule.
Pour le sous-ensemble vérifiable de TH2, le temps de doublement estimé tombe à 1,65 mois, avec un intervalle de confiance à 95 % de 0,79 à 3,99 mois. METR précise que ce résultat bruité pourrait s’expliquer par la composition des tâches, une plage de dates restreinte ou un biais de sélection lors de la conception des tâches, plutôt que par une accélération générale. Des ensembles de tâches moins diversifiés peuvent également entraîner un doublement plus rapide, car les tâches plus longues sollicitent davantage les mêmes compétences.
L’étalonnage humain est moins direct que dans les travaux antérieurs de METR. Les chercheurs ont défini des seuils de score et de durée pour 34 des nouvelles tâches, en s’appuyant sur des résultats humains de référence pour trois d’entre elles et sur des estimations de chercheurs pour les 31 autres ; des références directes n’ont servi qu’à établir 9 % des estimations de durée humaine. Les spécialistes étaient rémunérés de 200 à 350 $ de l’heure et pouvaient utiliser Sonnet 5 pour la mise en œuvre. METR fait état de résultats similaires pour le temps de doublement après ajout de bruit aux estimations de durée des tâches et remplacement de celles-ci par des estimations de la durée d’exécution humaine calculées par des modèles, mais il reste difficile de savoir dans quelle mesure les personnes ayant établi les références étaient comparables aux chercheurs des laboratoires de pointe.
Des scores élevés, mais un jugement de recherche moins fiable
Pour les tâches vérifiables de TH2, METR estime que les modèles publics de pointe actuels ont des horizons temporels allant jusqu’à 27 heures. Pour chacune des trois tâches ayant fait l’objet d’un étalonnage humain formel, le meilleur modèle a surpassé toutes les personnes recrutées pour établir les références humaines.
Des échantillons humains plus larges montrent que les meilleurs experts peuvent encore devancer les modèles. Sur 15 concours d’optimisation Al Zimmermann, METR indique que, dans le concours médian, les modèles les plus performants se situaient entre le 96e et le 98e centile des participants humains, tandis qu’environ quatre humains les dépassaient. Les agents disposaient de 48 heures sur une machine à 28 cœurs ; les participants humains avaient environ trois mois et leur propre matériel. Le classement dépend donc de ces conditions différentes.
Pour Budget NanoGPT, METR fait état d’une accélération maximale de 15,7 % obtenue par un agent autonome en 48 heures, contre une accélération de 41 % par rapport au précédent record, réalisée par un contributeur humain récemment aidé par l’IA, qui estimait y avoir consacré environ 60 heures. La comparaison reste approximative, car les records humains s’appuient successivement sur les travaux antérieurs, mais elle montre que les agents autonomes restent derrière le meilleur résultat humain tout en dépassant de nombreux autres spécialistes compétents de l’optimisation des performances.
Les tâches difficiles à vérifier révèlent une autre limite. Dans Making METR Tasks, les agents devaient concevoir une nouvelle tâche informative pour la propre batterie d’évaluation de METR. METR a jugé certaines productions récentes d’une utilité limite, mais aucune ne justifiait son inclusion dans la batterie utilisée dans le rapport. Les modèles ont généralement créé des tâches d’optimisation évaluées automatiquement, même lorsqu’on leur demandait de privilégier des décisions dont les retours à court terme étaient peu fiables. Bien qu’ils aient eu accès à Internet, ils n’ont pas cherché de leur propre initiative ce que METR trouverait utile, n’ont pas élaboré de nouvelle modélisation des menaces et n’ont pas fondé leurs tâches sur des hypothèses particulièrement éclairantes concernant les capacités des modèles. Ces évaluations reposent sur le jugement de METR en matière de recherche et de modélisation des menaces.
Une expérience connexe a examiné si les modèles pouvaient évaluer ces productions de manière fiable. METR a constaté que les évaluateurs fondés sur des modèles s’accordaient davantage avec les évaluations humaines lorsqu’ils jugeaient les productions de modèles plus faibles, mais qu’ils attribuaient des scores excessivement élevés aux travaux de modèles aussi performants ou plus performants qu’eux. Opus 5.5, le juge dont les évaluations concordaient le mieux avec celles des humains, a attribué aux tâches de GPT-6 Astra un score d’environ 0,2 point supérieur à celui de l’évaluateur humain, sur une échelle d’un point.
Ces résultats ne démontrent pas l’existence d’un déficit général de jugement. Selon METR, les capacités de jugement des modèles pourraient avoir été insuffisamment sollicitées dans ces tâches, car ils ont sous-utilisé les limites de jetons et les fonctionnalités disponibles. METR note également que les modèles de pointe ont fait preuve d’un bon jugement, dont la généralité reste incertaine, dans certaines tâches d’apprentissage automatique évaluées par des méthodes programmatiques.
Des évaluations plus coûteuses et la question de l’accélération
Le problème de mesure ne se limite pas au jugement. METR s’inquiète du fait que les évaluations en conteneurs puissent ressembler aux environnements d’apprentissage par renforcement utilisés pour entraîner les modèles, ce qui risquerait de surestimer leurs capacités dans le monde réel à mesure que des environnements similaires se généralisent dans l’entraînement.
Le coût sur le cycle de vie est une estimation approximative, établie par le modèle, du coût de création d’un environnement de tâches conteneurisé, puis de son exécution et de son évaluation à 100 reprises ; il ne s’agit pas d’une estimation directe des coûts d’entraînement des environnements utilisés par les développeurs d’IA. Après avoir tenu compte de la durée des tâches, METR a constaté que le sous-ensemble le plus coûteux revenait en moyenne 2,9 fois plus cher que le moins coûteux, tandis que les modèles obtenaient des horizons temporels 2,9 fois plus courts, soit l’équivalent de 1,5 doublement. Les modèles se sont néanmoins améliorés à un rythme similaire dans les deux sous-ensembles : les données associent donc le coût à la difficulté, sans montrer que les progrès sont plus lents pour les tâches les plus coûteuses.
Selon METR, l’indice METR Capability Index, distinct, qui résume les performances des modèles sur une échelle commune, ne fait apparaître aucune accélération ni décélération globale marquée parmi les modèles publics de pointe évalués. Les variations de pente propres à chaque développeur dépendaient des choix méthodologiques, ce qui laisse planer un doute sur leur validité.
METR affirme néanmoins que les données publiques actuellement disponibles ne suffisent pas à exclure une accélération radicale de la R&D en IA au cours des deux prochaines années, définie comme une amélioration si rapide des capacités que les humains ne pourraient plus comprendre, évaluer et prendre en compte de manière pertinente les risques catastrophiques liés aux nouveaux systèmes. On ignore quelles capacités pourraient entraîner une telle évolution, et les seules tâches faciles à vérifier pourraient suffire. Ces résultats font donc d’un jugement moins fiable une contrainte plausible à l’automatisation de la recherche, mais ne prouvent pas que l’accélération doive attendre que les modèles soient performants sur des tâches réalistes correspondant aux emplois courants.












