Google lance un benchmark d’ingénierie de 85 tâches et un concours d’agents

Google AI & Infrastructure a annoncé le 3 novembre 2026 la mise à disposition de 29 tâches publiques, d’outils de notation et d’un environnement d’évaluation pour Physical-Engineering’s Last Exam (PLE), un benchmark d’ingénierie de 85 tâches élaboré avec Mercor, ainsi que le lancement d’un concours ouvert aux agents et d’un classement.

PLE demande à un agent de réaliser des missions professionnelles en génie mécanique, électrique, civil et structurel, plutôt que de répondre à des questions de manuel ou d’effectuer un appel isolé à un outil. Le benchmark comprend 30 tâches de génie mécanique, 27 de génie électrique, 18 de génie civil et 10 de génie structurel. La réussite est évaluée à partir de livrables qui doivent respecter les codes de l’ingénierie et les contraintes physiques ainsi que, pour les travaux de conception, des objectifs de coût ou de performance.

La notice de l’article sur arXiv indique une première soumission le 21 octobre 2026 et une révision le 30 octobre 2026. La nouveauté réside dans la publication des tâches et des outils d’évaluation, ainsi que dans l’ouverture du concours, et non dans la première publication de l’article.

Dossiers de projet et livrables de production

Chaque mission se déroule dans un environnement de projet conteneurisé fondé sur Archipelago de Mercor. Les tâches comprennent en moyenne 61 fichiers, pour un total de 5 170 fichiers dans l’ensemble du benchmark. Ceux-ci incluent des PDF, des feuilles de calcul, des courriels, des dessins de CAO en 2D, des modèles BIM en 3D et des révisions remplacées par des versions ultérieures. L’agent doit déterminer quels documents et quelles exigences font foi, effectuer les calculs et produire des fichiers tels que des notes techniques, des classeurs de calcul, des listes d’équipements et des dessins dans des formats destinés à être examinés par des professionnels agréés.

Des ingénieurs en exercice ont élaboré de bout en bout les 44 tâches rédigées par des experts, y compris leurs dossiers de projet, leurs consignes et leurs grilles de notation pondérées. Pour les 41 tâches corédigées, les ingénieurs ont fourni les cahiers des charges initiaux ; un processus adversarial de création et de résolution a construit et testé les environnements et les correcteurs exécutables à partir de documents réels pouvant faire l’objet d’une licence. Des experts ont ensuite validé les tâches et accru leur difficulté. L’article technique précise qu’aucune tâche ne contient d’informations exclusives ni d’informations confidentielles concernant des clients : les environnements des tâches rédigées par des experts ont été créés de toutes pièces, tandis que les fichiers des tâches corédigées reposent sur du matériel du domaine public, sous licence permissive ou nouvellement généré.

La notation reflète la même priorité accordée au travail achevé. Les tâches rédigées par des experts sont évaluées selon des critères pondérés, liés aux éléments probants présents dans les fichiers soumis. Les tâches de conception corédigées associent le respect des contraintes à un objectif économique ou de performance ; l’échec à un critère éliminatoire de sécurité ou de faisabilité empêche la conception concernée d’obtenir des points au titre de l’objectif. Cette composante objective remédie à une limite de la notation fondée uniquement sur une grille : deux listes de câblage peuvent satisfaire aux mêmes vérifications réglementaires tout en présentant des coûts d’installation différents.

Les résultats de référence révèlent un écart en matière de conformité

Google a évalué 14 modèles à l’aide de sept environnements d’agent accessibles au public, en exécutant chaque tâche trois fois pour chaque configuration. Les conteneurs des agents n’avaient pas accès à Internet et leur accordaient six heures d’exécution par essai ; l’évaluation selon les grilles et la notation automatisée ont eu lieu en dehors de leur conteneur, de sorte que les outils de notation et les livrables de référence restaient hors de portée de l’agent.

Sur le jeu de test privé de 56 tâches, Google indique que tous les modèles ont obtenu un score inférieur à 50 % avec leur environnement d’exécution natif, le meilleur résultat étant celui de Claude Opus 5.5 dans Claude Code, avec 48,3 %. Le classement du concours classe les modèles en fonction de leurs résultats sur ces tâches cachées.

L’évaluation distincte de l’article, menée sur les 85 tâches, fait état d’un meilleur score de 50,6 % pour Claude Opus 5.5 dans Claude Code. Chaque tâche a nécessité en moyenne 27 millions de jetons et 63 minutes, pour un coût de 17,18 $ au tarif catalogue. Ces deux meilleurs résultats correspondent donc à des évaluations différentes : l’une porte sur l’ensemble de test caché avec les environnements natifs, l’autre sur le benchmark complet et la configuration modèle-environnement la plus performante.

Le résultat le plus révélateur concerne les tâches corédigées. Google indique que la configuration la plus performante a satisfait à 91 % des contraintes individuelles, mais que seuls 41,3 % de ses éléments livrables ont passé toutes les vérifications éliminatoires de sécurité et de faisabilité requises pour obtenir des points au titre de l’objectif. Concrètement, les agents ont souvent respecté la plupart des exigences sans produire une conception entièrement conforme : c’est précisément l’écart que le critère éliminatoire fondé sur les contraintes de PLE vise à mettre en évidence.

Google fait état d’un écart d’environ 50 points entre les modèles, contre un écart médian de trois points entre les environnements pour un même modèle, même si le choix de l’environnement a tout de même modifié les scores et les coûts. Les résultats variaient également beaucoup d’une tâche à l’autre : pour une même combinaison tâche-environnement, l’étendue moyenne des résultats sur trois essais était de 15,4 points. Cette variabilité justifie le recours des auteurs à des moyennes calculées sur plusieurs essais plutôt qu’à des tentatives uniques.

Le concours évalue l’ensemble de la configuration de l’agent

Le dépôt officiel répartit PLE en 29 tâches de développement publiques et 56 tâches de test cachées. Les participants soumettent leur environnement d’exécution d’agent — le logiciel qui fait exécuter chaque tâche à un modèle choisi — ainsi que le modèle sélectionné et les livrables produits pour les tâches publiques. Les organisateurs évaluent ces livrables, relancent l’environnement sur un échantillon de tâches publiques afin de vérifier que les résultats sont reproductibles, puis l’exécutent trois fois sur les tâches cachées pour établir le score au classement.

Les participants peuvent utiliser gratuitement 13 modèles sponsorisés par Google sur le serveur d’évaluation, fournir une clé API pour un modèle commercial ou se connecter à un serveur hébergeant un modèle qu’ils ont eux-mêmes déployé. Le dépôt, sous licence Apache-2.0, comprend des exemples de départ pour créer des environnements d’exécution personnalisés ainsi que des adaptateurs pour des agents existants, offrant aux participants plusieurs points de départ pour préparer une soumission complète.

La compétition évalue donc davantage que la réponse finale d’un modèle. Un système soumis doit pouvoir parcourir des fichiers de projet réalistes, reproduire ses résultats publics et produire des livrables complets qui satisfont à des vérifications non divulguées de sécurité, de faisabilité et de qualité. Les résultats de référence montrent que le principal défi consiste à respecter toutes les exigences de l’ensemble : satisfaire à la plupart des exigences individuelles ne suffit toujours pas lorsqu’un seul manquement à une contrainte stricte peut empêcher une conception par ailleurs économe d’obtenir des points au titre des critères objectifs.