Google lansează un benchmark de inginerie cu 85 de sarcini și o competiție pentru agenți

Google AI & Infrastructure a anunțat pe 3 noiembrie 2026 că va publica 29 de sarcini, instrumente de evaluare și un container de evaluare pentru Physical-Engineering’s Last Exam (PLE), un benchmark de inginerie cu 85 de sarcini dezvoltat împreună cu Mercor, precum și o competiție deschisă pentru agenți și un clasament.

PLE le cere agenților să ducă la bun sfârșit sarcini profesionale de inginerie mecanică, electrică, civilă și structurală, nu să răspundă la întrebări de tip manual sau să execute un singur apel de instrument. Benchmarkul cuprinde 30 de sarcini de inginerie mecanică, 27 de inginerie electrică, 18 de inginerie civilă și 10 de inginerie structurală. Reușita este măsurată prin livrabile care trebuie să respecte codurile de inginerie, constrângerile fizice și, în cazul proiectării, obiectivele de cost sau performanță.

Înregistrarea articolului pe arXiv indică o trimitere inițială pe 21 octombrie 2026 și o revizuire pe 30 octombrie 2026. Noutatea constă în publicarea sarcinilor și a instrumentelor de evaluare, precum și în lansarea competiției, nu în prima publicare a articolului.

Fișierele proiectului și livrabilele de producție

Fiecare sarcină se desfășoară într-un mediu de proiect containerizat, construit pe Archipelago de la Mercor. Sarcinile cuprind în medie 61 de fișiere, iar benchmarkul include în total 5.170, printre care PDF-uri, foi de calcul, e-mailuri, desene CAD 2D, modele BIM 3D și versiuni înlocuite de altele mai recente. Agentul trebuie să stabilească ce documente și cerințe sunt valabile, să efectueze calcule și să furnizeze fișiere precum memorii de inginerie, registre de calcule, liste de echipamente și desene, în formate destinate verificării de către profesioniști autorizați.

Ingineri practicieni au construit de la un capăt la altul cele 44 de sarcini redactate de experți, inclusiv dosarele proiectelor, cerințele și grilele de evaluare ponderate. Pentru cele 41 de sarcini coelaborate, inginerii au furnizat cerințele inițiale; apoi, un flux adversarial Creator–Solver a construit și testat mediile și sistemele de evaluare executabile folosind materiale reale care pot fi licențiate, după care experții au validat sarcinile și le-au sporit dificultatea. Articolul tehnic precizează că nicio sarcină nu conține informații de proprietate sau informații confidențiale ale clienților: mediile redactate de experți au fost create de la zero, iar fișierele coelaborate folosesc materiale din domeniul public, cu licențe permisive sau nou generate.

Evaluarea pune, la rândul ei, accentul pe munca dusă la bun sfârșit. Sarcinile redactate de experți folosesc criterii ponderate, corelate cu dovezile din fișierele trimise. Sarcinile de proiectare coelaborate combină respectarea constrângerilor cu un obiectiv economic sau de performanță, iar neîndeplinirea unei condiții stricte de siguranță sau fezabilitate împiedică acordarea punctajului pentru obiectivul proiectului respectiv. Componenta bazată pe obiective abordează o limitare a evaluării exclusiv pe baza grilelor: două liste de conductoare pot trece aceleași verificări de conformitate, dar pot avea costuri de instalare diferite.

Rezultatele de referință scot la iveală un deficit de conformitate

Google a evaluat 14 modele cu ajutorul a șapte infrastructuri software pentru agenți disponibile public, executând fiecare sarcină de trei ori pentru fiecare configurație. Containerele de rezolvare nu aveau acces la internet și permiteau șase ore de lucru al agentului pentru fiecare rulare; evaluarea pe baza grilelor și verificarea executabilă au avut loc în afara containerului de rezolvare, astfel încât grilele de evaluare și livrabilele de referință să nu fie accesibile agentului.

Pe setul privat de testare, alcătuit din 56 de sarcini, Google raportează că niciun model nu a obținut un scor de cel puțin 50% cu infrastructura sa nativă. Cel mai bun rezultat i-a revenit lui Claude Opus 5.5 în Claude Code, cu 48,3%. Clasamentul competiției ordonează modelele pe baza acestor rezultate obținute la sarcinile ascunse.

Evaluarea separată din articol, care acoperă toate cele 85 de sarcini, raportează un scor maxim de 50,6% pentru Claude Opus 5.5 în Claude Code. În medie, acesta a folosit 27 de milioane de tokenuri și 63 de minute pentru fiecare sarcină, la un cost de 17,18 $ pe sarcină, calculat la prețurile de listă. Prin urmare, cele două rezultate de vârf descriu evaluări diferite: una acoperă setul de testare ascuns, folosind infrastructuri native pentru agenți, iar cealaltă acoperă întregul benchmark și configurația cu cel mai bun model și cea mai bună infrastructură.

Rezultatul mai grăitor se regăsește în sarcinile coelaborate. Google raportează că cea mai performantă configurație a respectat 91% dintre constrângerile individuale, însă numai 41,3% dintre elementele livrabilelor sale au trecut toate verificările stricte de siguranță și fezabilitate necesare pentru a primi punctajul aferent obiectivului. În practică, agenții au îndeplinit adesea majoritatea cerințelor, fără să producă un proiect pe deplin conform — exact lacuna pe care mecanismul PLE de verificare a constrângerilor stricte este conceput să o scoată la iveală.

Google raportează o diferență de aproximativ 50 de puncte între modele, comparativ cu o diferență mediană de trei puncte între infrastructurile pentru agenți folosite cu același model, deși alegerea infrastructurii a modificat totuși scorurile și costurile. Rezultatele au variat considerabil și de la o sarcină la alta: intervalul mediu al scorurilor obținute în trei rulări pentru o combinație de sarcină și infrastructură a fost de 15,4 puncte. Această variabilitate susține folosirea de către autori a mediilor calculate pe baza mai multor rulări, în locul rezultatelor unei singure încercări.

Competiția pune la încercare întreaga configurație a agentului

Depozitul oficial de cod împarte PLE în 29 de sarcini publice de dezvoltare și 56 de sarcini ascunse de testare. Participantul își trimite infrastructura software pentru agent — programul care ghidează un model ales în rezolvarea fiecărei sarcini — împreună cu modelul ales și materialele produse pentru sarcinile publice. Organizatorii evaluează aceste materiale, rulează din nou infrastructura pe un eșantion de sarcini publice pentru a verifica dacă rezultatele pot fi reproduse, apoi o execută de trei ori pe sarcinile ascunse pentru a stabili scorul din clasament.

Participanții pot folosi gratuit pe serverul de evaluare 13 modele sponsorizate de Google, pot furniza o cheie API pentru un model comercial sau se pot conecta la un server de modele găzduit pe infrastructura proprie. Depozitul cu licență Apache-2.0 include exemple de pornire pentru cadre de execuție personalizate și adaptoare pentru agenți existenți, oferindu-le participanților mai multe puncte de plecare pentru a construi o înscriere completă.

Prin urmare, competiția evaluează mai mult decât răspunsul final al unui model. Sistemul înscris trebuie să poată naviga prin fișiere de proiect realiste, să reproducă rezultatele obținute pe sarcinile publice și să producă livrabile complete care trec verificările ascunse de siguranță, fezabilitate și calitate. Rezultatele de referință arată că principala dificultate este respectarea tuturor cerințelor pachetului: îndeplinirea majorității cerințelor individuale nu este suficientă dacă încălcarea unei singure constrângeri stricte poate priva un proiect altminteri economic de punctajul aferent obiectivului.