Google spouští inženýrský benchmark s 85 úlohami a soutěž agentů

Google AI & Infrastructure oznámil 3. listopadu 2026 zveřejnění 29 veřejných úloh, hodnoticích nástrojů a kontejneru pro vyhodnocování benchmarku Physical-Engineering’s Last Exam (PLE), který zahrnuje 85 úloh a vznikl ve spolupráci se společností Mercor. Zároveň otevřel soutěž agentů a žebříček výsledků.

PLE prověřuje, zda agent dokáže plnit profesionální úkoly v oblasti strojírenství, elektrotechniky, stavebnictví a statiky, nikoli odpovídat na otázky ve stylu učebnic nebo provádět jednotlivá volání nástrojů. Benchmark zahrnuje 30 strojírenských, 27 elektrotechnických, 18 stavebních a 10 statických úloh. Úspěšnost se měří podle výstupů, které musí splňovat technické normy a fyzikální omezení a u návrhových úloh také cíle týkající se nákladů nebo výkonu.

Záznam článku v arXivu arXiv uvádí, že první verze byla odeslána 21. října 2026 a revidovaná verze 30. října 2026. Novinkou je zveřejnění úloh a nástrojů pro vyhodnocování a zahájení soutěže, nikoli první vydání článku.

Soubory projektu a výstupy pro praxi

Každá úloha probíhá v kontejnerizovaném projektovém prostředí postaveném na systému Archipelago od společnosti Mercor. Úlohy obsahují v průměru 61 souborů, celkem jich benchmark zahrnuje 5 170. Najdeme mezi nimi PDF, tabulky, e-maily, 2D výkresy CAD, 3D modely BIM i nahrazené revize. Agent musí určit, které dokumenty a požadavky jsou závazné, provést výpočty a vytvořit soubory, například technická memoranda, výpočtové sešity, rozpisy zařízení a výkresy ve formátech určených k odbornému posouzení licencovaným specialistou.

Praktikující inženýři připravili všech 44 úloh vytvořených odborníky od začátku do konce, včetně projektových složek, zadání a vážených hodnoticích kritérií. U 41 úloh vytvořených ve spolupráci dodali inženýři úvodní zadání; následně adversariální proces Creator–Solver sestavil a otestoval prostředí i spustitelné hodnoticí programy na základě skutečných materiálů, k nimž lze získat licenci. Poté odborníci úlohy ověřili a zvýšili jejich obtížnost. Technický článek uvádí, že žádná úloha neobsahuje chráněné ani důvěrné informace klientů: prostředí úloh vytvořených odborníky byla napsána od základu, zatímco soubory úloh vytvořených ve spolupráci využívají materiály volně šiřitelné, dostupné pod permisivní licencí nebo nově vygenerované.

Hodnocení klade stejný důraz na dokončenou práci. U úloh vytvořených odborníky se používají vážená kritéria navázaná na důkazy v odevzdaných souborech. Návrhové úlohy vytvořené ve spolupráci kombinují dodržení omezení s ekonomickým nebo výkonovým cílem; pokud návrh neprojde přísnou bezpečnostní nebo proveditelnostní kontrolou, nezíská za příslušný cíl žádné body. Složka zaměřená na cíle řeší omezení hodnocení založeného pouze na kritériích: dva rozpisy kabeláže mohou splňovat stejné normové požadavky, ale lišit se náklady na instalaci.

Výsledky základního hodnocení odhalují nedostatky v dodržování požadavků

Google vyhodnotil 14 modelů se sedmi veřejně dostupnými agentními frameworky a každou úlohu spustil třikrát pro každou konfiguraci. Kontejnery pro řešení úloh neměly přístup k internetu a agent měl na každý běh šest hodin. Hodnocení podle kritérií i spustitelné vyhodnocování probíhaly mimo kontejner pro řešení, takže hodnoticí programy ani referenční výstupy nebyly agentovi přístupné.

Na soukromé testovací sadě 56 úloh podle Googlu každý model dosáhl ve svém nativním frameworku skóre nižšího než 50 %. Nejlépe si vedl Claude Opus 5.5 ve frameworku Claude Code se skóre 48,3 %. Žebříček soutěže řadí modely podle výsledků na těchto skrytých úlohách.

Samostatné vyhodnocení všech 85 úloh uvedené v článku dosáhlo nejvyššího skóre 50,6 % u modelu Claude Opus 5.5 ve frameworku Claude Code. V průměru spotřeboval 27 milionů tokenů a na jednu úlohu potřeboval 63 minut; při ceníkových cenách činily náklady 17,18 USD na úlohu. Dvě nejvyšší hodnoty tedy pocházejí z různých vyhodnocení: jedno zahrnuje skrytou testovací sadu a nativní frameworky, druhé celý benchmark a nejsilnější kombinaci modelu a frameworku.

Výmluvnější výsledek se skrývá v úlohách vytvořených ve spolupráci. Google uvádí, že nejúspěšnější konfigurace splnila 91 % jednotlivých omezení, ale přísnými bezpečnostními a proveditelnostními kontrolami potřebnými k získání bodů za cíle prošlo pouze 41,3 % jejích výstupů. V praxi to znamená, že agenti často správně splnili většinu požadavků, aniž vytvořili návrh plně vyhovující zadání — právě tento nedostatek má odhalit přísná kontrola omezení v benchmarku PLE.

Google uvádí, že rozdíl mezi modely činil přibližně 50 bodů, zatímco medián rozdílu mezi frameworky u stejného modelu byl tři body, ačkoli volba frameworku stále ovlivňovala skóre i náklady. Výsledky jednotlivých úloh se také výrazně lišily: průměrné rozpětí mezi třemi běhy pro jednu kombinaci úlohy a frameworku činilo 15,4 bodu. Tato proměnlivost podporuje rozhodnutí autorů používat průměry z opakovaných běhů namísto výsledků jediného pokusu.

Soutěž prověřuje celé nastavení agenta

Oficiální repozitář rozděluje PLE na 29 veřejných vývojových úloh a 56 skrytých testovacích úloh. Soutěžící odevzdá svůj agentní framework — software, který vede vybraný model při řešení každé úlohy — spolu s volbou modelu a výstupy vytvořenými při řešení veřejných úloh. Organizátoři tyto výstupy vyhodnotí, znovu spustí framework na vzorku veřejných úloh, aby ověřili reprodukovatelnost, a poté jej třikrát spustí na skrytých úlohách, čímž určí skóre v žebříčku.

Účastníci mohou na evaluačním serveru zdarma využívat 13 modelů sponzorovaných společností Google, zadat klíč API ke komerčnímu modelu nebo připojit vlastní server s modelem. Úložiště s licencí Apache-2.0 obsahuje vzorové položky pro vlastní řídicí programy i adaptéry pro stávající agenty, takže účastníci mají několik možností, od čeho se při vytváření kompletního odevzdání odrazit.

Soutěž proto nehodnotí pouze konečnou odpověď modelu. Odevzdaný systém musí umět pracovat s realistickými projektovými soubory, reprodukovat výsledky dosažené na veřejných úlohách a vytvářet kompletní výstupy, které obstojí při skrytých kontrolách bezpečnosti, proveditelnosti a kvality. Výsledky výchozího řešení ukazují, že hlavní výzvou je splnit všechny požadavky jako celek: splnění většiny jednotlivých požadavků nestačí, pokud nesplnění jediné nepřekročitelné podmínky může připravit jinak úsporný návrh o body za objektivní kritéria.