SemiAnalysis lance GDPx, un benchmark couvrant 11 domaines professionnels faisant appel à des agents IA

Le 2 novembre 2026, SemiAnalysis a publié GDPx, un benchmark des capacités générales des agents IA couvrant 11 domaines professionnels, dans une annonce rédigée par Max Kan, Andrew Megalaa et Dylan Patel. Claude Opus 5.5 d’Anthropic arrive en tête du premier classement avec un score de 12,0 %.

Le classement de la version 1.0

Le site officiel de GDPx indique que la première version comprend 206 tâches conçues avec 14 partenaires spécialisés dans les données, et son classement évalue 13 modèles. Claude Opus 5.5 arrive en tête, avec un coût moyen de 51,41 $ par tâche et 548 000 jetons en sortie. Gemini 4 Carbon de Google se classe deuxième, avec 10,9 % et un coût de 16,29 $ par tâche, tandis que GPT-6 Astra d’OpenAI arrive troisième, avec 9,6 % et un coût de 53,99 $ par tâche. Muse Wonder Full de Meta se classe quatrième avec 9,0 %, sans prix public indiqué, et GLM 5.3 de Z.ai arrive treizième avec 2,7 %.

Selon SemiAnalysis, GDPx constitue un véritable benchmark de pointe, précisément parce que le score le plus élevé reste aussi bas. Le score global de GDPx correspond à la moyenne du résultat pass@1 de chaque modèle sur trois tentatives, accorde le même poids à chaque domaine et applique la méthode de notation prévue pour chaque tâche, binaire ou continue.

Conception, partenaires et méthodologie

Les domaines couverts sont la conception de puces, la cybersécurité, la biologie, la finance, le droit, le trading quantitatif, l’auto-amélioration récursive (RSI), la conception matérielle, la science des matériaux, l’alignement et le génie logiciel. SemiAnalysis précise avoir délibérément écarté des secteurs comme l’administration publique, l’immobilier et l’assurance. Les auteurs estiment que le premier billion de dollars de revenus liés à l’IA se concentrera dans les secteurs capables de déployer une intelligence de pointe avec un rendement élevé sur investissement, et qu’il est erroné de bâtir un benchmark général autour de la part du PIB ou de la classification des professions SOC/O*NET.

Chaque domaine a été développé avec des partenaires spécialisés : Aria, Arcverex et Ergodex pour la conception de puces ; Arithmetic pour la cybersécurité ; Latch Bio pour la biologie ; Living Context pour la finance ; Chakra pour le droit ; Third Moment pour le trading quantitatif ; Extrapolate pour le RSI ; Beautiful Machines pour la conception matérielle ; ValenceForge et Emulated pour la science des matériaux ; Fleet pour l’alignement ; et Datacurve pour le génie logiciel.

Les tâches sont assorties d’une limite de temps par défaut de huit heures, et les modèles s’exécutent dans leur environnement natif lorsqu’il est disponible — Claude Code pour Opus 5.5, Codex pour GPT-6 Astra et Antigravity pour Gemini 4 Carbon —, OpenCode servant de solution de repli. SemiAnalysis a exigé de chaque partenaire qu’il réussisse son contrôle qualité automatisé dès le premier essai, avec tout au plus des erreurs mineures, et indique que le même processus signale comme défectueuses près de 50 % des tâches du benchmark Terminal Bench 4.0.

La critique de GDPval

L’annonce présente GDPx comme le successeur de GDPval, publié par OpenAI le 25 septembre 2025, qui, selon les auteurs, reste le benchmark généraliste le plus populaire sur les fiches de présentation des principaux modèles. Ils reprochent aux tâches de GDPval de ne pas être interactives et de fournir d’emblée, dans le prompt, tout le contexte nécessaire ; ils citent également un taux d’accord de 71 % entre évaluateurs experts humains pour son sous-ensemble de référence. À l’inverse, chaque tâche GDPx se déroule dans un environnement réaliste : les 24 tâches financières, par exemple, reproduisent une véritable opération de capital-investissement dans laquelle un fonds acquiert environ 62 % d’un fabricant de snacks pour 880 millions de dollars, auxquels s’ajoute un complément de prix conditionnel, le tout reconstitué à partir d’environ 4 000 fichiers anonymisés.

Résultats par domaine et limites déclarées

SemiAnalysis présente Claude Opus 5.5 comme le meilleur modèle polyvalent, vainqueur en trading quantitatif, en conception matérielle et en conception de puces ; Gemini 4 Carbon comme le meilleur modèle en biologie, avec une courte avance en génie logiciel ; et GPT-6 Astra comme le vainqueur en RSI et en science des matériaux. L’entreprise avertit que les scores globaux d’Opus 5.5 et de GPT-6 Astra sont pénalisés par leurs classificateurs de sécurité dans les domaines de la cybersécurité, de la biologie et de l’alignement, et décrit Muse Wonder Full de Meta comme le meilleur modèle de cybersécurité disponible, avec une avance notable.

Les tâches de finance et de droit sont si difficiles que tous les modèles obtiennent un score nul avec la notation binaire prévue ; SemiAnalysis publie donc des scores partiels moyens pour ces domaines. En trading quantitatif, 70 des 111 exécutions évaluées ont fait moins bien que la stratégie de référence que l’agent devait surpasser, et aucun modèle n’a réussi la tâche publique aapl-target-winsorization. Dans les tâches de cybersécurité liées à l’alignement de Fleet, 196 exécutions sur 200 ont enfreint au moins une règle de comportement et 173 ont enfreint une règle jugée gravement contraire à l’alignement ; dans les tâches de santé, 19 exécutions sur 100 ont obtenu un score supérieur à zéro. Pour ce qui est du coût, SemiAnalysis situe GPT-6 Luna et DeepSeek à l’extrémité la moins coûteuse du compromis entre coût et performances, Opus à l’extrémité la plus coûteuse et OpenAI au milieu.

SemiAnalysis indique que GDPx est conçu comme un benchmark évolutif, dont de nouvelles versions sont prévues tous les 3 à 6 mois, et répertorie gdpx@semianalysis.com à l’intention des entreprises de données intéressées par une participation et des laboratoires souhaitant faire évaluer leurs prochaines versions.