Google öppnar benchmark med 85 ingenjörsuppgifter och agenttävling

Google AI & Infrastructure meddelade den 3 november 2026 att företaget skulle släppa 29 offentliga uppgifter, bedömningsverktyg och en utvärderingscontainer för Physical-Engineering’s Last Exam (PLE), ett benchmark för ingenjörsarbete med 85 uppgifter som utvecklats tillsammans med Mercor, samt en öppen agenttävling och resultatlista.

PLE innebär att en agent ska slutföra yrkesmässiga uppdrag inom maskinteknik, elektroteknik, byggnadsteknik och konstruktionsteknik, i stället för att besvara frågor av lärobokstyp eller utföra en enstaka verktygsåtgärd. Benchmarken omfattar 30 uppgifter inom maskinteknik, 27 inom elektroteknik, 18 inom byggnadsteknik och 10 inom konstruktionsteknik. Framgång mäts utifrån leveranser som måste uppfylla tekniska standarder och fysiska begränsningar samt, för konstruktionsuppgifter, kostnads- eller prestandamål.

Artikelns arXiv-post anger att den första versionen skickades in den 21 oktober 2026 och reviderades den 30 oktober 2026. Den nya utvecklingen är att uppgifterna och utvärderingsverktygen görs offentliga och att tävlingen öppnar – inte att artikeln publiceras för första gången.

Projektfiler och leveranser för yrkesmässig användning

Varje uppdrag körs i en containerbaserad projektmiljö som bygger på Mercors Archipelago. Uppgifterna omfattar i genomsnitt 61 filer och sammanlagt 5 170 filer i hela benchmarken. De innefattar PDF-filer, kalkylblad, e-postmeddelanden, 2D CAD-ritningar, 3D BIM-modeller och ersatta versioner. Agenten måste avgöra vilka dokument och krav som gäller, utföra beräkningar och ta fram filer som tekniska PM, beräkningsarbetsböcker, utrustningsförteckningar och ritningar i format avsedda för granskning av behöriga yrkespersoner.

Yrkesverksamma ingenjörer byggde de 44 expertförfattade uppgifterna från början till slut, inklusive projektmappar, instruktioner och viktade bedömningsmatriser. För de 41 uppgifter som utvecklades gemensamt tog ingenjörerna fram de ursprungliga uppdragsbeskrivningarna. Därefter byggde och testade en adversariell Creator–Solver-process miljöerna och körbara bedömningsverktyg med utgångspunkt i verkligt material som kunde licensieras. Experter validerade sedan uppgifterna och höjde svårighetsgraden. Den tekniska artikeln uppger att ingen uppgift innehåller äganderättsskyddad eller klientsekretessbelagd information: miljöerna för de expertförfattade uppgifterna skrevs från grunden, medan filerna för de gemensamt utvecklade uppgifterna använder material som är fritt tillgängligt, har tillåtande licenser eller har skapats på nytt.

Bedömningen lägger liksom benchmarken tonvikten på slutfört arbete. Expertförfattade uppgifter bedöms utifrån viktade kriterier kopplade till belägg i de inlämnade filerna. Konstruktionsuppgifter som utvecklats gemensamt väger samman efterlevnad av begränsningar med ett ekonomiskt mål eller prestandamål. Om ett absolut krav på säkerhet eller genomförbarhet inte uppfylls kan den berörda konstruktionen inte få poäng för måluppfyllelse. Måldelen hanterar en begränsning med bedömning som enbart bygger på bedömningsmatriser: två kabelscheman kan uppfylla samma kontroller enligt gällande standarder men ändå ha olika installationskostnader.

Baslinjeresultat visar brister i kravuppfyllelsen

Google utvärderade 14 modeller med sju offentligt tillgängliga agentramverk och körde varje uppgift tre gånger per konfiguration. Solver-containrarna saknade internetåtkomst, och varje körning fick använda agenten i högst sex timmar. Bedömning enligt bedömningsmatriser och körbar poängsättning utfördes utanför solver-containern, så att bedömningsverktygen och referensleveranserna hölls utom räckhåll för agenten.

På det privata testsetet med 56 uppgifter fick samtliga modeller enligt Google mindre än 50 % med sina respektive agentramverk. Högst poäng fick Claude Opus 5.5 i Claude Code, med 48,3 %. Resultatlistan för tävlingen rangordnar modellerna utifrån resultaten på dessa dolda uppgifter.

Artikelns separata utvärdering av samtliga 85 uppgifter redovisar ett toppresultat på 50,6 % för Claude Opus 5.5 i Claude Code. Modellen använde i genomsnitt 27 miljoner token och 63 minuter per uppgift, till en kostnad av 17,18 dollar per uppgift enligt listpriserna. De två högsta resultaten avser alltså olika utvärderingar: den ena omfattar det dolda testsetet med respektive modells agentramverk, medan den andra omfattar hela benchmarken och den starkaste kombinationen av modell och agentramverk.

Det mer avslöjande resultatet finns bland de uppgifter som utvecklades gemensamt. Google uppger att den starkaste konfigurationen uppfyllde 91 % av de enskilda begränsningarna, men att bara 41,3 % av dess leveranser klarade samtliga absoluta säkerhets- och genomförbarhetskontroller som krävs för att ge poäng för måluppfyllelse. I praktiken uppfyllde agenterna ofta de flesta kraven utan att ta fram en helt regelrätt konstruktion – just det glapp som PLE:s kontroll av absoluta krav är utformad för att synliggöra.

Google rapporterar en spridning på omkring 50 poäng mellan modellerna, jämfört med en median på tre poäng mellan agentramverken för samma modell, även om valet av agentramverk fortfarande påverkade både poäng och kostnader. Resultaten för enskilda uppgifter varierade också avsevärt: det genomsnittliga spannet mellan tre körningar för en kombination av uppgift och agentramverk var 15,4 poäng. Den variationen stöder författarnas val att använda genomsnitt från upprepade körningar i stället för enstaka försök.

Tävlingen prövar hela agentlösningen

Det officiella kodförrådet delar upp PLE i 29 offentliga utvecklingsuppgifter och 56 dolda testuppgifter. Den tävlande lämnar in sitt agentramverk – programvaran som låter en utvald modell arbeta med varje uppgift – tillsammans med modellvalet och de filer som modellen skapat för de offentliga uppgifterna. Arrangörerna bedömer filerna och kör sedan agentramverket på ett urval av de offentliga uppgifterna för att kontrollera att resultaten går att återskapa. Därefter körs det tre gånger på de dolda uppgifterna för att fastställa poängen i resultatlistan.

Deltagarna kan kostnadsfritt använda 13 Google-sponsrade modeller på utvärderingsservern, ange en API-nyckel till en kommersiell modell eller ansluta en egenhostad modellserver. Det Apache-2.0-licensierade kodförrådet innehåller exempel på startkonfigurationer för anpassade körmiljöer och adaptrar för befintliga agenter, vilket ger deltagarna flera utgångspunkter för att skapa en fullständig inlämning.

Tävlingen utvärderar därför mer än modellens slutliga svar. Ett inskickat system måste kunna hantera realistiska projektfiler, återskapa sina offentliga resultat och ta fram fullständiga leveranser som klarar dolda kontroller av säkerhet, genomförbarhet och kvalitet. Baslinjeresultaten visar att den centrala utmaningen är att uppfylla hela kravpaketet: det räcker inte att uppfylla de flesta enskilda kraven om ett enda misslyckande med ett absolut krav kan göra att en i övrigt kostnadseffektiv utformning inte får poäng för målet.