Google udostępnia benchmark inżynieryjny obejmujący 85 zadań i ogłasza konkurs dla agentów

Google AI & Infrastructure poinformowało 3 listopada 2026 r. o udostępnieniu 29 zadań publicznych, narzędzi do oceniania i kontenera ewaluacyjnego w ramach Physical-Engineering’s Last Exam (PLE) — benchmarku inżynieryjnego obejmującego 85 zadań, opracowanego we współpracy z Mercor — a także o rozpoczęciu otwartego konkursu dla agentów i uruchomieniu tabeli wyników.

PLE sprawdza, czy agent potrafi wykonać profesjonalne zadania z zakresu inżynierii mechanicznej, elektrycznej, lądowej i budowlanej, a nie odpowiadać na pytania w stylu podręcznikowym ani wykonywać pojedyncze wywołania narzędzi. Benchmark obejmuje 30 zadań z inżynierii mechanicznej, 27 z elektrycznej, 18 z lądowej i 10 z budowlanej. Sukces mierzy się na podstawie materiałów końcowych, które muszą spełniać normy inżynieryjne i ograniczenia fizyczne, a w przypadku prac projektowych także założenia dotyczące kosztów lub wydajności.

Rekord artykułu w serwisie arXiv podaje, że pierwszą wersję zgłoszono 21 października 2026 r., a poprawioną — 30 października 2026 r. Nowością jest publiczne udostępnienie zadań i narzędzi ewaluacyjnych oraz rozpoczęcie konkursu, a nie pierwsza publikacja artykułu.

Pliki projektowe i materiały końcowe do zastosowań produkcyjnych

Każde zadanie jest realizowane w skonteneryzowanym środowisku projektowym opartym na Archipelago firmy Mercor. Zadania obejmują średnio 61 plików, a w całym benchmarku jest ich łącznie 5 170. Są wśród nich pliki PDF, arkusze kalkulacyjne, e-maile, rysunki CAD 2D, modele BIM 3D oraz nieaktualne wersje dokumentów. Agent musi ustalić, które dokumenty i wymagania mają zastosowanie, wykonać obliczenia oraz przygotować pliki, takie jak notatki inżynieryjne, skoroszyty obliczeniowe, zestawienia urządzeń i rysunki w formatach przeznaczonych do weryfikacji przez osoby z odpowiednimi uprawnieniami.

Inżynierowie praktycy opracowali od początku do końca 44 zadania przygotowane przez ekspertów, w tym foldery projektowe, treści poleceń i ważone kryteria oceniania. W przypadku 41 zadań współtworzonych inżynierowie dostarczyli wstępne założenia; następnie adwersarialny proces tworzenia i rozwiązywania zadań zbudował i przetestował środowiska oraz wykonywalne narzędzia oceniające na podstawie rzeczywistych materiałów, które można licencjonować. Później eksperci zweryfikowali zadania i zwiększyli ich trudność. Artykuł techniczny stwierdza, że żadne zadanie nie zawiera informacji zastrzeżonych ani poufnych informacji klientów: środowiska przygotowane przez ekspertów opracowano od podstaw, natomiast pliki do zadań współtworzonych opierają się na materiałach należących do domeny publicznej, objętych liberalnymi licencjami lub nowo wygenerowanych.

Ocenianie kładzie podobny nacisk na wykonanie zadania. W zadaniach przygotowanych przez ekspertów stosuje się ważone kryteria powiązane z dowodami zawartymi w przesłanych plikach. Współtworzone zadania projektowe łączą spełnienie ograniczeń z celem ekonomicznym lub wydajnościowym, a niespełnienie bezwzględnego kryterium bezpieczeństwa lub wykonalności pozbawia dany projekt punktów za realizację celu. Składowa oceniająca realizację celu pozwala przezwyciężyć ograniczenie oceniania opartego wyłącznie na kryteriach: dwa zestawienia przewodów mogą spełniać te same wymogi norm, a jednocześnie różnić się kosztem instalacji.

Wyniki bazowe pokazują lukę w zakresie zgodności z wymaganiami

Google oceniło 14 modeli przy użyciu siedmiu publicznie dostępnych środowisk uruchomieniowych agentów, wykonując każde zadanie trzy razy w każdej konfiguracji. Kontenery, w których działały modele rozwiązujące zadania, nie miały dostępu do internetu, a na każde uruchomienie przewidziano sześć godzin pracy agenta. Ocenianie według kryteriów i automatyczna ocena wykonywana przez programy odbywały się poza kontenerem modelu, dzięki czemu narzędzia oceniające i materiały referencyjne nie były dostępne dla agenta.

Według Google na prywatnym zbiorze testowym obejmującym 56 zadań żaden model nie uzyskał wyniku 50% ani wyższego w swoim natywnym środowisku uruchomieniowym; najlepszy rezultat osiągnął Claude Opus 5.5 w Claude Code — 48,3%. Tabela wyników konkursu szereguje modele na podstawie rezultatów uzyskanych w tych ukrytych zadaniach.

Osobna ewaluacja opisana w artykule, obejmująca wszystkie 85 zadań, wykazała najwyższy wynik na poziomie 50,6% dla Claude Opus 5.5 w Claude Code. Model zużywał średnio 27 mln tokenów i 63 minuty na zadanie, a jego koszt wynosił 17,18 USD za zadanie według cen katalogowych. Te dwa najwyższe wyniki dotyczą zatem różnych ewaluacji: jedna obejmuje ukryty zbiór testowy i natywne środowiska uruchomieniowe, a druga — cały benchmark i najsilniejszą konfigurację modelu ze środowiskiem uruchomieniowym.

Bardziej wymowny wynik dotyczy zadań współtworzonych. Google podaje, że najlepsza konfiguracja spełniła 91% pojedynczych ograniczeń, ale wszystkie bezwzględne wymogi bezpieczeństwa i wykonalności, niezbędne do uzyskania punktów za realizację celu, spełniło zaledwie 41,3% elementów materiałów końcowych. W praktyce agenci często spełniali większość wymagań, ale nie tworzyli projektu w pełni zgodnego z nimi — właśnie taką lukę ma ujawniać mechanizm PLE weryfikujący bezwzględne ograniczenia.

Google odnotowuje około 50-punktową różnicę między wynikami modeli, podczas gdy mediana różnicy między środowiskami uruchomieniowymi dla tego samego modelu wynosi trzy punkty. Wybór środowiska nadal jednak wpływał na wyniki i koszty. Rezultaty poszczególnych zadań również znacznie się różniły: średni zakres wyników z trzech uruchomień dla jednej kombinacji zadania i środowiska uruchomieniowego wynosił 15,4 punktu. Ta zmienność uzasadnia stosowanie przez autorów średnich z wielu uruchomień zamiast wyników pojedynczych prób.

Konkurs sprawdza całe środowisko agenta

Oficjalne repozytorium dzieli PLE na 29 publicznych zadań deweloperskich i 56 ukrytych zadań testowych. Uczestnik przesyła środowisko uruchomieniowe agenta — oprogramowanie, które prowadzi wybrany model przez każde zadanie — wraz z wyborem modelu i materiałami wytworzonymi w zadaniach publicznych. Organizatorzy oceniają te materiały, ponownie uruchamiają środowisko na wybranych zadaniach publicznych, aby sprawdzić odtwarzalność, a następnie trzykrotnie uruchamiają je na zadaniach ukrytych, by ustalić wynik w tabeli.

Uczestnicy mogą bezpłatnie korzystać na serwerze ewaluacyjnym z 13 modeli sponsorowanych przez Google, podać klucz API do komercyjnego modelu lub połączyć się z własnym serwerem modelu. Repozytorium na licencji Apache-2.0 zawiera przykładowe wpisy dla niestandardowych środowisk uruchomieniowych agentów oraz adaptery do istniejących agentów, dzięki czemu uczestnicy mają kilka punktów wyjścia do przygotowania kompletnego zgłoszenia.

W konkursie ocenia się więc więcej niż końcową odpowiedź modelu. Zgłoszony system musi poruszać się po realistycznych plikach projektu, odtworzyć wyniki uzyskane w zadaniach publicznych i przygotować kompletne artefakty, które przejdą ukryte testy bezpieczeństwa, wykonalności i jakości. Wyniki bazowe pokazują, że głównym wyzwaniem jest spełnienie wszystkich wymagań: spełnienie większości z nich z osobna nadal nie wystarczy, jeśli niespełnienie jednego twardego ograniczenia może pozbawić projekt zasługi za realizację celu, mimo że jest on oszczędny.