Google åpner ingeniørbenchmark med 85 oppgaver og agentkonkurranse

Google AI & Infrastructure kunngjorde 3. november 2026 at selskapet ville offentliggjøre 29 oppgaver, vurderingsverktøy og en evalueringscontainer for Physical-Engineering’s Last Exam (PLE), en ingeniørbenchmark med 85 oppgaver utviklet sammen med Mercor, samt en åpen agentkonkurranse og resultatliste.

PLE setter agenten til å utføre profesjonelle oppgaver innen mekanikk, elektroteknikk, byggteknikk og konstruksjonsteknikk, i stedet for å svare på lærebokspørsmål eller utføre enkeltstående verktøykall. Benchmarken består av 30 mekanikkoppgaver, 27 elektroteknikkoppgaver, 18 byggteknikkoppgaver og 10 konstruksjonsteknikkoppgaver. Resultatene måles ut fra leveranser som skal oppfylle ingeniørstandarder og fysiske begrensninger, og som i designoppgaver også må innfri kostnads- eller ytelsesmål.

Artikkelens oppføring i arXiv viser en første innsending 21. oktober 2026 og en revidert versjon 30. oktober 2026. Nyheten er at oppgavene og evalueringsverktøyene gjøres offentlig tilgjengelige, og at konkurransen åpnes – ikke at artikkelen publiseres for første gang.

Prosjektfiler og leveranser for produksjon

Hver oppgave kjøres i et containerbasert prosjektmiljø bygget på Mercors Archipelago. Oppgavene inneholder i gjennomsnitt 61 filer, og benchmarken omfatter totalt 5 170 filer, blant annet PDF-er, regneark, e-poster, 2D-CAD-tegninger, 3D BIM-modeller og erstattede revisjoner. Agenten må avgjøre hvilke dokumenter og krav som gjelder, utføre beregninger og levere filer som tekniske notater, beregningsregneark, utstyrslister og tegninger i formater beregnet på kontroll av autoriserte fagfolk.

Praktiserende ingeniører utviklet de 44 oppgavene skrevet av eksperter fra start til slutt, inkludert prosjektmappene, instruksjonene og de vektede vurderingskriteriene. For de 41 oppgavene som ble utviklet i fellesskap, leverte ingeniørene de første oppdragsbeskrivelsene. Deretter konstruerte og testet en motspillende oppretter–løser-prosess miljøene og de kjørbare vurderingssystemene med utgangspunkt i reelle materialer som kan lisensieres. Etterpå validerte eksperter oppgavene og økte vanskelighetsgraden. Den tekniske artikkelen opplyser at ingen av oppgavene inneholder proprietær informasjon eller informasjon som er konfidensiell for klienter: Miljøene for ekspertutviklede oppgaver ble skrevet fra grunnen av, mens filene for oppgavene utviklet i fellesskap bruker materiale som er offentlig tilgjengelig, har en tillatende lisens eller er nyprodusert.

Vurderingen legger på samme måte vekt på fullført arbeid. Oppgaver skrevet av eksperter vurderes etter vektede kriterier knyttet til dokumentasjon i de innsendte filene. Designoppgaver utviklet i fellesskap kombinerer oppfyllelse av krav med et økonomisk mål eller et ytelsesmål. Hvis et absolutt krav til sikkerhet eller gjennomførbarhet ikke oppfylles, får det aktuelle designet ikke uttelling for målfunksjonen. Denne måldelen bøter på en svakhet ved vurdering som bare bygger på kriterier: To ledningslister kan oppfylle de samme kravene i regelverket, men likevel ha ulik installasjonskostnad.

Grunnresultatene avdekker et gap i kravoppfyllelsen

Google evaluerte 14 modeller med sju offentlig tilgjengelige agentrammeverk og kjørte hver oppgave tre ganger per konfigurasjon. Løsningscontainerne hadde ikke internettilgang, og agenten fikk bruke opptil seks timer per kjøring. Kriterievurderingen og den kjørbare graderingen foregikk utenfor løsningscontaineren, slik at graderingssystemene og referanseleveransene ble holdt unna agenten.

På den private testmengden med 56 oppgaver fikk alle modellene under 50 % med sitt tilhørende agentrammeverk, ifølge Google. Høyest score fikk Claude Opus 5.5 i Claude Code, med 48,3 %. Resultatlisten for konkurransen rangerer modellene ut fra resultatene på disse skjulte oppgavene.

Artikkelens separate evaluering av alle 85 oppgavene rapporterer en toppscore på 50,6 % for Claude Opus 5.5 i Claude Code. Modellen brukte i gjennomsnitt 27 millioner token og 63 minutter per oppgave, og kostnaden var 17,18 dollar per oppgave beregnet etter listeprisene. De to ledende resultatene gjelder altså ulike evalueringer: Den ene omfatter den skjulte testmengden med de tilhørende agentrammeverkene, mens den andre dekker hele benchmarken og den sterkeste modell- og agentrammeverkskonfigurasjonen.

Det mest avslørende resultatet finner vi blant oppgavene utviklet i fellesskap. Google rapporterer at den sterkeste konfigurasjonen oppfylte 91 % av enkeltkravene, men at bare 41,3 % av leveransene besto alle de absolutte sikkerhets- og gjennomførbarhetskontrollene som kreves for å få uttelling for målfunksjonen. I praksis oppfylte agentene ofte de fleste kravene, men klarte ikke å lage et fullt ut kravsamsvarende design – nettopp dette gapet skal PLEs kontroll av absolutte krav avdekke.

Google rapporterer et spenn på omtrent 50 poeng mellom modellene, mot et median spenn på tre poeng mellom agentrammeverk for samme modell, selv om valget av rammeverk fortsatt påvirket både resultatene og kostnadene. Resultatene varierte også betydelig fra oppgave til oppgave. Gjennomsnittlig spenn mellom de tre kjøringene for en oppgave- og rammeverkskombinasjon var 15,4 poeng. Denne variasjonen underbygger forfatternes bruk av gjennomsnitt fra gjentatte kjøringer i stedet for enkeltforsøk.

Konkurransen setter hele agentoppsettet på prøve

Det offisielle kodearkivet deler PLE inn i 29 offentlige utviklingsoppgaver og 56 skjulte testoppgaver. Deltakerne sender inn agentrammeverket sitt – programvaren som styrer en valgt modell gjennom hver oppgave – sammen med modellvalget og filene som er produsert for de offentlige oppgavene. Arrangørene vurderer filene, kjører deretter rammeverket på nytt på et utvalg av de offentlige oppgavene for å kontrollere at resultatene kan gjenskapes, og kjører det så tre ganger på de skjulte oppgavene for å fastsette resultatet på resultatlisten.

Deltakerne kan bruke 13 Google-sponsede modeller gratis på evalueringsserveren, oppgi en API-nøkkel til en kommersiell modell eller koble til en selvdriftet modellserver. Det Apache-2.0-lisensierte repositoriet inneholder startmaler for egendefinerte agentrammeverk og adaptere for eksisterende agenter, slik at deltakerne har flere utgangspunkter når de skal sette sammen en komplett innlevering.

Konkurransen vurderer derfor mer enn bare modellens endelige svar. Et innsendt system må kunne navigere i realistiske prosjektfiler, gjenskape resultatene sine på de offentlige oppgavene og levere komplette resultater som består skjulte kontroller av sikkerhet, gjennomførbarhet og kvalitet. Referanseresultatene viser at det er avgjørende å oppfylle kravene til hele pakken: Det er fortsatt ikke nok å oppfylle de fleste enkeltkravene dersom ett brudd på et absolutt krav kan føre til at et ellers kostnadseffektivt design ikke får uttelling for objektive kriterier.