Google opent engineeringbenchmark met 85 taken en agentencompetitie

Google AI & Infrastructure kondigde op 3 november 2026 aan dat het 29 openbare taken, beoordelingshulpmiddelen en een evaluatiecontainer beschikbaar zou stellen voor Physical-Engineering’s Last Exam (PLE), een engineeringbenchmark met 85 taken die samen met Mercor is ontwikkeld, en tegelijk een open agentencompetitie en ranglijst zou lanceren.

Bij PLE moet een agent professionele opdrachten uitvoeren op het gebied van werktuigbouwkunde, elektrotechniek, civiele techniek en constructietechniek, in plaats van vragen in de stijl van een leerboek te beantwoorden of één geïsoleerde toolaanroep te doen. De benchmark omvat 30 werktuigbouwkundige, 27 elektrotechnische, 18 civieltechnische en 10 constructietechnische taken. Succes wordt gemeten aan de hand van opleveringen die moeten voldoen aan technische normen en fysieke randvoorwaarden en, bij ontwerpwerk, aan kosten- of prestatiedoelstellingen.

In het arXiv-record van het artikel staat dat het artikel op 21 oktober 2026 voor het eerst is ingediend en op 30 oktober 2026 is herzien. De nieuwe ontwikkeling is dat de taken en evaluatietools openbaar zijn gemaakt en de competitie is geopend, niet dat het artikel voor het eerst is gepubliceerd.

Projectbestanden en productiegereed opleverwerk

Elke opdracht wordt uitgevoerd in een gecontaineriseerde projectomgeving die is gebouwd op Archipelago van Mercor. Taken omvatten gemiddeld 61 bestanden; over de hele benchmark zijn dat er 5.170. Het gaat om pdf’s, spreadsheets, e-mails, 2D-CAD-tekeningen, 3D-BIM-modellen en verouderde revisies. Een agent moet bepalen welke documenten en vereisten van toepassing zijn, berekeningen uitvoeren en bestanden opleveren, zoals technische memo’s, rekenbladen, apparatuurstaten en tekeningen in bestandsformaten die bedoeld zijn voor beoordeling door bevoegde professionals.

Praktiserende ingenieurs hebben de 44 door experts opgestelde taken van begin tot eind ontwikkeld, inclusief de projectmappen, opdrachten en gewogen beoordelingsrubrieken. Voor de 41 gezamenlijk opgestelde taken leverden ingenieurs de eerste opdrachtbeschrijvingen aan. Vervolgens bouwde en testte een adversariële Creator–Solver-pijplijn de omgevingen en uitvoerbare beoordelingsprogramma’s op basis van materiaal waarvoor een licentie kon worden verkregen. Daarna valideerden experts de taken en verhoogden ze de moeilijkheidsgraad. In het technische artikel staat dat geen enkele taak bedrijfseigen of vertrouwelijke klantinformatie bevat: de door experts opgestelde omgevingen zijn vanaf nul geschreven, terwijl voor de gezamenlijk opgestelde taken materiaal uit het publieke domein, materiaal met een ruime licentie of nieuw gegenereerd materiaal is gebruikt.

Ook bij de beoordeling ligt de nadruk op voltooid werk. Voor taken die door experts zijn opgesteld, gelden gewogen criteria die zijn gekoppeld aan bewijs in de ingediende bestanden. Bij gezamenlijk opgestelde ontwerptaken worden naleving van randvoorwaarden en een economische of prestatiedoelstelling gecombineerd. Als een harde veiligheids- of haalbaarheidstoets niet wordt doorstaan, kan het betreffende ontwerp geen punten voor de doelstelling verdienen. Het doelstellingsonderdeel ondervangt een beperking van beoordelingen die alleen op rubrieken zijn gebaseerd: twee kabelschema’s kunnen aan dezelfde normcontroles voldoen, maar verschillen in installatiekosten.

Basisresultaten tonen een nalevingskloof

Google evalueerde 14 modellen met zeven openbaar beschikbare agentframeworks en voerde elke taak per configuratie drie keer uit. De solvercontainers hadden geen internettoegang en boden per uitvoering zes uur agenttijd. De beoordeling aan de hand van rubrieken en de uitvoerbare beoordeling vonden buiten de solvercontainer plaats, zodat beoordelaars en referentieopleveringen buiten het bereik van de agent bleven.

Voor de besloten testset van 56 taken meldt Google dat elk model op zijn eigen agentomgeving minder dan 50% scoorde. Claude Opus 5.5 in Claude Code scoorde het hoogst, met 48,3%. De ranglijst van de competitie rangschikt modellen op basis van die resultaten voor de verborgen taken.

In een afzonderlijke evaluatie van alle 85 taken rapporteert het artikel een topscore van 50,6% voor Claude Opus 5.5 in Claude Code. Gemiddeld gebruikte het model 27 miljoen tokens en 63 minuten per taak, tegen een lijstprijs van $17,18 per taak. De twee topscores hebben dus betrekking op verschillende evaluaties: de ene omvat de verborgen testset met standaardagentframeworks, terwijl de andere de volledige benchmark en de sterkste model-frameworkconfiguratie betreft.

Het meest veelzeggende resultaat komt naar voren bij de gezamenlijk opgestelde taken. Google meldt dat de sterkste configuratie aan 91% van de afzonderlijke randvoorwaarden voldeed, maar dat slechts 41,3% van de op te leveren onderdelen slaagde voor alle harde veiligheids- en haalbaarheidstoetsen die nodig waren om punten voor de doelstelling te verdienen. In de praktijk kregen de agents vaak de meeste vereisten goed, maar leverden ze geen volledig conform ontwerp op: precies de kloof die de harde-randvoorwaardentoets van PLE zichtbaar moet maken.

Volgens Google is het verschil tussen modellen ongeveer 50 procentpunt, tegenover een mediaan verschil van drie procentpunt tussen frameworks voor hetzelfde model, al had de keuze van het framework nog steeds invloed op de scores en kosten. Ook de resultaten per taak liepen sterk uiteen: voor een taak-frameworkcombinatie bedroeg het gemiddelde bereik over drie uitvoeringen 15,4 procentpunt. Die variabiliteit ondersteunt de keuze van de auteurs om gemiddelden van meerdere uitvoeringen te gebruiken in plaats van resultaten van één enkele poging.

Competitie toetst de volledige agentopstelling

De officiële repository verdeelt PLE in 29 openbare ontwikkelingstaken en 56 verborgen testtaken. Een deelnemer dient zijn agentframework in — de software die een geselecteerd model door elke taak leidt — samen met de modelkeuze en de artefacten die voor de openbare taken zijn geproduceerd. De organisatoren beoordelen die artefacten, voeren het framework opnieuw uit op een steekproef van openbare taken om de reproduceerbaarheid te controleren en laten het vervolgens drie keer draaien op de verborgen taken om de score op de ranglijst te bepalen.

Deelnemers kunnen gratis gebruikmaken van 13 door Google gesponsorde modellen op de evaluatieserver, een API-sleutel voor een commercieel model opgeven of verbinding maken met een zelf gehoste modelserver. De repository, die onder de Apache-2.0-licentie is uitgebracht, bevat startbestanden voor aangepaste harnesses en adapters voor bestaande agents. Zo hebben deelnemers verschillende uitgangspunten om een volledige inzending samen te stellen.

De competitie beoordeelt dus meer dan alleen het uiteindelijke antwoord van een model. Een ingediend systeem moet realistische projectbestanden kunnen verwerken, de openbare resultaten kunnen reproduceren en volledige resultaten kunnen opleveren die de verborgen controles op veiligheid, haalbaarheid en kwaliteit doorstaan. Uit de basisresultaten blijkt dat naleving van alle vereisten de grootste uitdaging is: aan de meeste afzonderlijke vereisten voldoen is nog steeds niet genoeg als één overtreding van een harde beperking ertoe kan leiden dat een verder zuinig ontwerp geen punten voor de doelstelling krijgt.