Google åbner ingeniørbenchmark med 85 opgaver og agentkonkurrence

Google AI & Infrastructure meddelte den 3. november 2026, at virksomheden offentliggjorde 29 opgaver, bedømmelsesværktøjer og en evalueringscontainer til Physical-Engineering’s Last Exam (PLE), et ingeniørbenchmark med 85 opgaver udviklet sammen med Mercor, samt en åben agentkonkurrence med rangliste.

PLE beder en agent om at udføre professionelle opgaver inden for maskinteknik, elektroteknik, civilingeniørarbejde og konstruktionsteknik i stedet for at besvare lærebogsspørgsmål eller foretage et enkeltstående værktøjskald. Benchmarken indeholder 30 opgaver inden for maskinteknik, 27 inden for elektroteknik, 18 inden for civilingeniørarbejde og 10 inden for konstruktionsteknik. Resultatet måles på leverancer, der skal overholde ingeniørstandarder og fysiske begrænsninger og, når det gælder designarbejde, mål for omkostninger eller ydeevne.

Artiklens arXiv-post angiver en første indsendelse den 21. oktober 2026 og en revision den 30. oktober 2026. Det nye er den offentlige frigivelse af opgaver og evalueringsværktøjer samt åbningen af konkurrencen – ikke artiklens første offentliggørelse.

Projektfiler og produktionsklare leverancer

Hver opgave afvikles i et containerbaseret projektmiljø bygget på Mercors Archipelago. Opgaverne omfatter i gennemsnit 61 filer og i alt 5.170 filer på tværs af benchmarken, herunder PDF-filer, regneark, e-mails, 2D-CAD-tegninger, 3D-BIM-modeller og forældede revisioner. En agent skal afgøre, hvilke dokumenter og krav der er gældende, foretage beregninger og udarbejde filer som tekniske notater, beregningsregneark, udstyrslister og tegninger i formater beregnet til gennemgang af autoriserede fagfolk.

Praktiserende ingeniører udarbejdede alle dele af de 44 opgaver skrevet af eksperter, herunder projektmapper, instruktioner og vægtede bedømmelseskriterier. For de 41 opgaver skrevet i fællesskab leverede ingeniører de indledende oplæg; en modpartsdrevet pipeline med en opretter og en løser konstruerede og afprøvede miljøerne og de eksekverbare bedømmelsesværktøjer ud fra faktiske materialer, der kunne licenseres. Derefter validerede eksperter opgaverne og øgede deres sværhedsgrad. Den tekniske artikel fastslår, at ingen opgaver indeholder fortrolige oplysninger om ejendomsretligt beskyttet materiale eller klienter: Miljøerne til de ekspertudarbejdede opgaver blev skrevet fra bunden, mens filerne til de fællesskabt udarbejdede opgaver bygger på materiale fra det offentlige domæne, materiale med tilladende licenser eller nyskabt materiale.

Bedømmelsen lægger tilsvarende vægt på det udførte arbejde. Opgaver skrevet af eksperter bedømmes efter vægtede kriterier, der knytter sig til dokumentation i de indsendte filer. Designopgaver skrevet i fællesskab kombinerer overholdelse af begrænsninger med et økonomisk mål eller et mål for ydeevne. Hvis et ufravigeligt sikkerheds- eller gennemførlighedskrav ikke bestås, kan det berørte design ikke få point for målopfyldelse. Måldelen af bedømmelsen afhjælper en begrænsning ved kun at bruge bedømmelseskriterier: To ledningsplaner kan opfylde de samme krav i standarderne, men have forskellige installationsomkostninger.

Grundresultater viser et hul i kravoverholdelsen

Google evaluerede 14 modeller med syv offentligt tilgængelige agentrammer og kørte hver opgave tre gange for hver konfiguration. Løsernes containere havde ikke adgang til internettet og tillod seks timers agentkørsel pr. forsøg. Bedømmelse efter kriterier og eksekverbar bedømmelse foregik uden for løserens container, så bedømmerne og referencematerialet til leverancerne var utilgængelige for agenten.

På det private testsæt med 56 opgaver rapporterer Google, at alle modeller scorede under 50 % i deres respektive oprindelige testopsætninger, med Claude Opus 5.5 i Claude Code i spidsen med 48,3 %. Ranglisten for konkurrencen rangerer modellerne ud fra resultaterne på disse skjulte opgaver.

Artiklens separate evaluering af alle 85 opgaver angiver et topresultat på 50,6 % for Claude Opus 5.5 i Claude Code. I gennemsnit brugte modellen 27 millioner tokens og 63 minutter pr. opgave, som kostede 17,18 $ pr. opgave efter listepriserne. De to førende resultater beskriver altså forskellige evalueringer: Den ene omfatter det skjulte testsæt med oprindelige agentrammer, mens den anden omfatter hele benchmarken og den stærkeste model- og agentrammekonfiguration.

Det mest afslørende resultat findes blandt opgaverne skrevet i fællesskab. Google oplyser, at den stærkeste konfiguration opfyldte 91 % af de enkelte begrænsninger, men at kun 41,3 % af dens leveranceelementer bestod samtlige ufravigelige sikkerheds- og gennemførlighedskontroller, der kræves for at få point for målopfyldelse. I praksis opfyldte agenterne ofte de fleste krav uden at udarbejde et fuldt kravoverholdende design – netop det hul, som PLE’s kontrol af ufravigelige krav skal afdække.

Google rapporterer en forskel på cirka 50 procentpoint mellem modellerne mod en medianforskel på tre procentpoint mellem agentrammerne for den samme model, selvom valget af agentramme stadig påvirkede resultater og omkostninger. Resultaterne for de enkelte opgaver varierede også betydeligt: Den gennemsnitlige forskel mellem de tre kørsler for en opgave- og agentrammekombination var 15,4 procentpoint. Denne variation understøtter forfatternes brug af gennemsnit på tværs af gentagne kørsler frem for enkeltstående forsøg.

Konkurrencen afprøver hele agentopsætningen

Det officielle kodelager opdeler PLE i 29 offentlige udviklingsopgaver og 56 skjulte testopgaver. Deltagerne indsender deres agentramme – den software, der styrer en valgt model gennem hver opgave – sammen med deres modelvalg og de artefakter, der er frembragt på de offentlige opgaver. Arrangørerne bedømmer artefakterne, genkører agentrammen på et udvalg af de offentlige opgaver for at kontrollere, om resultaterne kan reproduceres, og kører den derefter tre gange på de skjulte opgaver for at fastlægge resultatet på ranglisten.

Deltagerne kan gratis bruge 13 Google-sponsorerede modeller på evalueringsserveren, angive en API-nøgle til en kommerciel model eller oprette forbindelse til en selvhostet modelserver. Det Apache-2.0-licenserede arkiv indeholder startskabeloner til brugerdefinerede agentopsætninger og adaptere til eksisterende agenter, så deltagerne har flere udgangspunkter, når de skal udarbejde en komplet indsendelse.

Konkurrencen evaluerer derfor mere end modellens endelige svar. Et indsendt system skal kunne navigere i realistiske projektfiler, genskabe sine offentlige resultater og levere komplette resultater, der består skjulte kontroller af sikkerhed, gennemførlighed og kvalitet. Baseline-resultaterne viser, at det er den største udfordring at overholde alle kravene samlet: Det er stadig ikke tilstrækkeligt at opfylde de fleste enkeltkrav, hvis én fejl i et ufravigeligt krav kan fratage et ellers økonomisk design point for objektivet.