Google avaa 85 tehtävän insinöörityön vertailutestin ja agenttikilpailun

Google AI & Infrastructure ilmoitti 3. marraskuuta 2026 julkaisevansa 29 julkista tehtävää, arviointityökalut ja arviointikontin Physical-Engineering’s Last Exam (PLE) -vertailutestiä varten. Mercorin kanssa kehitetty vertailutesti sisältää 85 insinööritason tehtävää, ja sen yhteydessä avataan agenttikilpailu ja tulostaulukko.

PLE edellyttää, että agentti suorittaa ammattimaisia tehtäviä kone-, sähkö-, rakennus- ja rakennesuunnittelussa sen sijaan, että se vastaisi oppikirjamaisiin kysymyksiin tai suorittaisi yksittäisen työkalukutsun. Vertailutesti sisältää 30 konetekniikan, 27 sähkötekniikan, 18 rakennustekniikan ja 10 rakennesuunnittelun tehtävää. Suoritusta arvioidaan toimitettavien aineistojen perusteella: niiden on täytettävä tekniset määräykset ja fyysiset rajoitteet sekä suunnittelutehtävissä myös kustannus- tai suorituskykytavoitteet.

Artikkelin arXiv-tietueessa mainitaan ensimmäinen lähetys 21. lokakuuta 2026 ja tarkistettu versio 30. lokakuuta 2026. Uutta on tehtävien ja arviointityökalujen julkistaminen sekä kilpailun avaaminen, ei artikkelin ensimmäinen julkaisu.

Projektitiedostot ja tuotantovalmiit toimitettavat aineistot

Kukin tehtävä suoritetaan Mercorin Archipelago-alustaan perustuvassa konttiin pakatussa projektiympäristössä. Tehtävissä on keskimäärin 61 tiedostoa, ja vertailutesti sisältää yhteensä 5 170 tiedostoa. Niihin kuuluu PDF-tiedostoja, taulukkolaskentatiedostoja, sähköposteja, 2D CAD -piirustuksia, 3D BIM -malleja ja vanhentuneita versioita. Agentin on ratkaistava, mitkä asiakirjat ja vaatimukset ovat voimassa, tehtävä laskelmat ja laadittava esimerkiksi teknisiä muistioita, laskentataulukoita, laiteluetteloita ja piirustuksia muodossa, joka soveltuu pätevän ammattilaisen tarkastettavaksi.

Ammattia harjoittavat insinöörit laativat alusta loppuun 44 asiantuntijoiden kirjoittamaa tehtävää, mukaan lukien niiden projektikansiot, kehotteet ja painotetut arviointikriteeristöt. Yhteistyössä laadituissa 41 tehtävässä insinöörit toimittivat alustavat tehtävänannot. Tämän jälkeen adversaarinen Luoja–Ratkaisija-putki rakensi ja testasi ympäristöt ja suoritettavat arviointiohjelmat todellisista, lisensoitavissa olevista aineistoista, minkä jälkeen asiantuntijat validoivat tehtävät ja kasvattivat niiden vaikeustasoa. Teknisessä artikkelissa todetaan, ettei yksikään tehtävä sisällä omistusoikeuden alaista tai asiakkaan luottamuksellista tietoa: asiantuntijoiden kirjoittamat ympäristöt laadittiin alusta alkaen, kun taas yhteistyössä laadittujen tehtävien tiedostot perustuvat julkiseen aineistoon, sallivilla lisensseillä julkaistuun aineistoon tai vastikään luotuun aineistoon.

Arvioinnissa painotetaan samoin valmiiksi tehtyä työtä. Asiantuntijoiden kirjoittamissa tehtävissä käytetään painotettuja kriteerejä, jotka perustuvat toimitetuissa tiedostoissa esitettyyn näyttöön. Yhteistyössä laadituissa suunnittelutehtävissä yhdistyvät rajoitteiden noudattaminen ja taloudellinen tai suorituskykyyn liittyvä tavoite. Jos ehdotonta turvallisuus- tai toteutettavuusehtoa ei täytetä, kyseinen suunnitelma ei saa pisteitä tavoitteen saavuttamisesta. Tavoitepisteytyksellä puututaan pelkkään arviointikriteeristöön perustuvan pisteytyksen rajoitukseen: kaksi johtoluetteloa voi täyttää samat määräysten mukaisuutta koskevat tarkistukset, vaikka niiden asennuskustannukset eroaisivat toisistaan.

Lähtötulokset paljastavat vaatimustenmukaisuudessa puutteita

Google arvioi 14 mallia seitsemän julkisesti saatavilla olevan agenttikehikon avulla ja suoritti kunkin tehtävän kolme kertaa jokaista kokoonpanoa kohden. Ratkaisijakontit eivät päässeet internetiin, ja agentilla oli kuusi tuntia aikaa kutakin suoritusta varten. Arviointikriteerien mukainen arviointi ja suoritettavat arvioinnit tehtiin ratkaisijakontin ulkopuolella, joten arviointiohjelmat ja vertailutoimitukset pysyivät agentin ulottumattomissa.

Google kertoo, että 56 tehtävän yksityisessä testijoukossa jokainen malli sai omassa agenttikehikossaan alle 50 %:n tuloksen. Parhaiten suoriutui Claude Opus 5.5 Claude Code -ympäristössä 48,3 %:n tuloksella. Kilpailun tulostaulukossa mallit asetetaan järjestykseen näiden piilotettujen tehtävien tulosten perusteella.

Artikkelissa raportoidaan erikseen kaikkien 85 tehtävän arviointi. Siinä Claude Opus 5.5 Claude Code -ympäristössä sai korkeimman tuloksen, 50,6 %. Tehtävää kohden malli käytti keskimäärin 27 miljoonaa tokenia ja 63 minuuttia, ja tehtävän hinta oli listahinnoin 17,18 dollaria. Kaksi korkeinta tulosta koskevat siis eri arviointeja: toinen perustuu piilotettuun testijoukkoon ja alkuperäisiin agenttikehikoihin, toinen koko vertailutestiin ja parhaiten suoriutuneeseen malli- ja agenttikehikkokokoonpanoon.

Paljastavampi tulos saadaan yhteistyössä laadituista tehtävistä. Googlen mukaan parhaiten suoriutunut kokoonpano täytti 91 % yksittäisistä rajoitteista, mutta vain 41,3 % sen toimittamista aineistoista läpäisi kaikki ehdottomat turvallisuus- ja toteutettavuustarkistukset, joita tavoitepisteiden saaminen edellytti. Käytännössä agentit täyttivät usein useimmat vaatimukset mutta eivät tuottaneet täysin vaatimustenmukaista suunnitelmaa. Juuri tämän puutteen PLE:n ehdottomien rajoitteiden tarkistusportti on suunniteltu paljastamaan.

Googlen mukaan mallien tulosten välinen ero oli noin 50 prosenttiyksikköä, kun taas saman mallin eri agenttikehikkojen välinen mediaaniero oli kolme prosenttiyksikköä. Agenttikehikon valinta vaikutti silti sekä tuloksiin että kustannuksiin. Myös yksittäisten tehtävien tulokset vaihtelivat huomattavasti: tehtävän ja agenttikehikon yhdistelmän kolmen suorituksen tulosten vaihteluväli oli keskimäärin 15,4 prosenttiyksikköä. Tämä vaihtelu tukee kirjoittajien ratkaisua käyttää useiden suoritusten keskiarvoja yksittäisten suorituskertojen sijaan.

Kilpailussa testataan koko agenttikokoonpanoa

Virallisessa repositoriossa PLE on jaettu 29 julkiseen kehitystehtävään ja 56 piilotettuun testitehtävään. Kilpailija lähettää agenttikehikkonsa eli ohjelmiston, joka ohjaa valittua mallia kussakin tehtävässä, sekä tiedot mallivalinnasta ja julkisissa tehtävissä tuotetuista aineistoista. Järjestäjät arvioivat aineistot ja suorittavat agenttikehikon uudelleen otannalla valituissa julkisissa tehtävissä varmistaakseen tulosten toistettavuuden. Sen jälkeen kehikko suoritetaan kolmesti piilotetuissa tehtävissä tulostaulukon tuloksen määrittämiseksi.

Osallistujat voivat käyttää arviointipalvelimella maksutta 13:a Googlen sponsoroimaa mallia, antaa kaupallisen mallin API-avaimen tai yhdistää itse ylläpitämänsä mallipalvelimen. Apache 2.0 -lisensoidussa repositoriossa on aloituspohjia mukautetuille suoritusympäristöille sekä sovittimia olemassa oleville agenteille, joten osallistujilla on useita lähtökohtia kattavan palautuksen rakentamiseen.

Kilpailussa arvioidaan siis muutakin kuin mallin lopullista vastausta. Järjestelmän on pystyttävä käsittelemään realistisia projektitiedostoja, tuottamaan julkiset tuloksensa uudelleen ja laatimaan täydelliset tuotokset, jotka läpäisevät piilotetut turvallisuus-, toteutettavuus- ja laatutarkistukset. Lähtötulokset osoittavat, että kaikkien vaatimusten täyttäminen kokonaisuutena on keskeinen haaste: useimpien yksittäisten vaatimusten täyttäminen ei riitä, jos yksikin ehdoton rajoite voi estää objektiivisten pisteiden saamisen muuten taloudelliselta ratkaisulta.