Google apre un benchmark di ingegneria da 85 compiti e una competizione per agenti

Google AI & Infrastructure ha annunciato il 3 novembre 2026 il rilascio di 29 compiti pubblici, strumenti di valutazione e un ambiente di valutazione per Physical-Engineering’s Last Exam (PLE), un benchmark di ingegneria da 85 compiti sviluppato con Mercor, insieme a una competizione aperta per agenti e alla relativa classifica.

PLE chiede a un agente di portare a termine incarichi professionali nei campi dell’ingegneria meccanica, elettrica, civile e strutturale, anziché rispondere a domande in stile manualistico o effettuare una singola chiamata a uno strumento. Il benchmark comprende 30 compiti di ingegneria meccanica, 27 di ingegneria elettrica, 18 di ingegneria civile e 10 di ingegneria strutturale; il successo viene misurato in base a elaborati che devono rispettare i codici ingegneristici, i vincoli fisici e, nel caso dei progetti, gli obiettivi di costo o prestazione.

La scheda dell’articolo su arXiv riporta un primo invio il 21 ottobre 2026 e una revisione il 30 ottobre 2026. La novità consiste nel rilascio pubblico dei compiti e degli strumenti di valutazione e nell’apertura della competizione, non nella prima pubblicazione dell’articolo.

File di progetto ed elaborati professionali

Ogni incarico si svolge in un ambiente di progetto containerizzato basato su Archipelago di Mercor. I compiti comprendono in media 61 file e 5.170 file complessivi nell’intero benchmark: PDF, fogli di calcolo, e-mail, disegni CAD 2D, modelli BIM 3D e revisioni superate. L’agente deve stabilire quali documenti e requisiti siano applicabili, eseguire calcoli e produrre file quali relazioni tecniche, fogli di calcolo dei calcoli, elenchi delle apparecchiature e disegni in formati pensati per la revisione da parte di professionisti abilitati.

Ingegneri professionisti hanno realizzato da cima a fondo i 44 compiti redatti da esperti, incluse le cartelle di progetto, le istruzioni e le griglie di valutazione ponderate. Per i 41 compiti co-redatti, gli ingegneri hanno fornito i brief iniziali; una pipeline avversariale Creator–Solver ha poi costruito e testato gli ambienti e i sistemi di valutazione eseguibili a partire da materiali reali utilizzabili su licenza, dopodiché gli esperti hanno convalidato i compiti e ne hanno aumentato la difficoltà. L’articolo tecnico afferma che nessun compito contiene informazioni proprietarie o riservate dei clienti: gli ambienti redatti dagli esperti sono stati creati da zero, mentre i file co-redatti utilizzano materiale di pubblico dominio, con licenze permissive o generato appositamente.

La valutazione riflette la stessa attenzione al lavoro portato a termine. Per i compiti redatti da esperti si applicano criteri ponderati, legati alle prove presenti nei file consegnati. I compiti di progettazione co-redatti combinano il rispetto dei vincoli con un obiettivo economico o prestazionale; il mancato superamento di una soglia inderogabile di sicurezza o fattibilità impedisce al progetto interessato di ottenere punti per l’obiettivo. La componente legata all’obiettivo affronta un limite della valutazione basata soltanto su griglie: due schemi di cablaggio possono superare le stesse verifiche di conformità e avere costi di installazione diversi.

I risultati iniziali evidenziano una lacuna nella conformità

Google ha valutato 14 modelli con sette framework per agenti disponibili al pubblico, eseguendo ogni compito tre volte per ciascuna configurazione. I container di esecuzione non avevano accesso a Internet e consentivano sei ore di attività dell’agente per ogni esecuzione; la valutazione basata sulle griglie e quella eseguibile si svolgevano al di fuori del container, mantenendo così i valutatori e gli elaborati di riferimento separati dall’agente.

Sul set di test privato composto da 56 compiti, Google riferisce che tutti i modelli hanno ottenuto meno del 50% usando il rispettivo framework nativo; il risultato migliore è stato quello di Claude Opus 5.5 in Claude Code, con il 48,3%. La classifica della competizione ordina i modelli in base ai risultati ottenuti su questi compiti nascosti.

La valutazione distinta dell’articolo, condotta su tutti gli 85 compiti, riporta un risultato massimo del 50,6% per Claude Opus 5.5 in Claude Code, con una media di 27 milioni di token e 63 minuti per compito e un costo di 17,18 $ per compito ai prezzi di listino. I due risultati migliori si riferiscono quindi a valutazioni diverse: una riguarda il set di test nascosto e utilizza i framework nativi, mentre l’altra copre l’intero benchmark e la configurazione modello-framework più efficace.

Il risultato più significativo emerge dai compiti co-redatti. Google riferisce che la configurazione più efficace ha soddisfatto il 91% dei singoli vincoli, ma solo il 41,3% degli elementi consegnati ha superato tutti i controlli inderogabili di sicurezza e fattibilità necessari per ottenere punti per l’obiettivo. In pratica, spesso gli agenti hanno rispettato la maggior parte dei requisiti senza produrre un progetto pienamente conforme: è proprio questa lacuna che la soglia dei vincoli inderogabili di PLE è concepita per mettere in luce.

Google riferisce una differenza di circa 50 punti tra i modelli, rispetto a una differenza mediana di tre punti tra i framework utilizzati con lo stesso modello, anche se la scelta del framework ha comunque modificato i punteggi e i costi. Anche i risultati dei singoli compiti sono variati notevolmente: l’intervallo medio tra le tre esecuzioni per ciascuna combinazione di compito e framework è stato di 15,4 punti. Questa variabilità avvalora la scelta degli autori di utilizzare medie calcolate su più esecuzioni anziché risultati di singoli tentativi.

La competizione mette alla prova l’intera configurazione dell’agente

Il repository ufficiale suddivide PLE in 29 compiti pubblici di sviluppo e 56 compiti di test nascosti. Chi partecipa invia il framework del proprio agente, ovvero il software che guida un modello selezionato nello svolgimento di ciascun compito, insieme alla scelta del modello e agli artefatti prodotti sui compiti pubblici. Gli organizzatori valutano gli artefatti, eseguono nuovamente il framework su un campione di compiti pubblici per verificarne la riproducibilità, quindi lo eseguono tre volte sui compiti nascosti per determinare il punteggio in classifica.

I partecipanti possono usare gratuitamente sul server di valutazione 13 modelli sponsorizzati da Google, fornire una chiave API per un modello commerciale oppure collegare un server di modelli ospitato autonomamente. Il repository, distribuito con licenza Apache-2.0, include esempi di partenza per harness personalizzati e adattatori per agenti esistenti, offrendo ai partecipanti diversi punti di partenza per creare una submission completa.

La competizione valuta quindi più della risposta finale di un modello. Un sistema presentato deve sapersi orientare tra file di progetto realistici, riprodurre i risultati ottenuti con i task pubblici e produrre deliverable completi che superino controlli nascosti di sicurezza, fattibilità e qualità. I risultati di riferimento mostrano che la sfida centrale consiste nel soddisfare tutti i requisiti del pacchetto: rispettarne la maggior parte non basta se il mancato rispetto di un solo vincolo inderogabile può impedire a un progetto altrimenti efficiente in termini di costi di ottenere punti per l’obiettivo.