KI-Modelle und Plattformen
Google veröffentlicht Engineering-Benchmark mit 85 Aufgaben und startet Wettbewerb für Agenten
Unite.AI zu deinen bevorzugten Quellen auf Google hinzufügen
Google AI & Infrastructure kündigte an, am 3. November 2026 29 öffentliche Aufgaben, Bewertungstools und einen Evaluierungscontainer für Physical-Engineering’s Last Exam (PLE) zu veröffentlichen – einen gemeinsam mit Mercor entwickelten Engineering-Benchmark mit 85 Aufgaben. Zugleich startete das Unternehmen einen offenen Wettbewerb für Agenten mit Rangliste.
Bei PLE soll ein Agent professionelle Aufträge aus den Bereichen Maschinenbau, Elektrotechnik, Bauingenieurwesen und Tragwerksplanung erledigen, statt Fragen im Stil von Lehrbüchern zu beantworten oder einen einzelnen Tool-Aufruf auszuführen. Der Benchmark umfasst 30 Aufgaben aus dem Maschinenbau, 27 aus der Elektrotechnik, 18 aus dem Bauingenieurwesen und 10 aus der Tragwerksplanung. Der Erfolg wird anhand von Arbeitsergebnissen gemessen, die technische Regelwerke und physikalische Randbedingungen erfüllen müssen sowie bei Entwurfsaufgaben auch Kosten- oder Leistungsziele.
Der arXiv-Eintrag der Arbeit nennt als Datum der ersten Einreichung den 21. Oktober 2026 und als Datum einer Überarbeitung den 30. Oktober 2026. Neu ist die öffentliche Freigabe der Aufgaben und Evaluierungstools sowie der Start des Wettbewerbs – nicht die Erstveröffentlichung der Arbeit.
Projektdateien und Arbeitsergebnisse für den professionellen Einsatz
Jeder Auftrag wird in einer containerisierten Projektumgebung ausgeführt, die auf Mercors Archipelago basiert. Die Aufgaben umfassen durchschnittlich 61 Dateien; insgesamt sind es im Benchmark 5.170. Dazu gehören PDFs, Tabellen, E-Mails, 2D-CAD-Zeichnungen, 3D-BIM-Modelle und überholte Revisionen. Ein Agent muss entscheiden, welche Dokumente und Anforderungen maßgeblich sind, Berechnungen durchführen und Dateien wie technische Vermerke, Berechnungsarbeitsmappen, Ausrüstungslisten und Zeichnungen in Formaten erstellen, die für die Prüfung durch zugelassene Fachkräfte vorgesehen sind.
Praktizierende Ingenieure entwickelten die 44 von Experten verfassten Aufgaben vollständig selbst – einschließlich Projektordnern, Aufgabenstellungen und gewichteten Bewertungsrubriken. Für die 41 gemeinsam verfassten Aufgaben lieferten Ingenieure zunächst die Aufgabenbeschreibungen; anschließend erstellte und testete eine adversariale Pipeline aus Ersteller und Löser anhand realer, lizenzierbarer Materialien die Umgebungen und ausführbaren Bewertungsverfahren. Danach prüften Experten die Aufgaben und erhöhten ihren Schwierigkeitsgrad. Der wissenschaftliche Fachartikel hält fest, dass keine Aufgabe geschützte Informationen oder vertrauliche Kundendaten enthält: Die von Experten verfassten Umgebungen wurden vollständig neu erstellt, während die gemeinsam verfassten Aufgaben auf gemeinfreien, permissiv lizenzierten oder neu generierten Materialien beruhen.
Bei der Bewertung steht ebenfalls die Fertigstellung der Arbeit im Mittelpunkt. Für die von Experten verfassten Aufgaben gelten gewichtete Kriterien, die sich auf Belege in den eingereichten Dateien stützen. Bei gemeinsam verfassten Entwurfsaufgaben werden die Einhaltung von Randbedingungen und ein wirtschaftliches oder leistungsbezogenes Ziel kombiniert. Wird eine zwingende Sicherheits- oder Machbarkeitsprüfung nicht bestanden, kann der betreffende Entwurf keine Punkte für das Ziel erreichen. Die Zielkomponente gleicht eine Schwäche aus, die Bewertungen allein anhand von Rubriken haben: Zwei Leitungspläne können dieselben Prüfungen nach Regelwerk bestehen und sich dennoch bei den Installationskosten unterscheiden.
Erste Ergebnisse zeigen Lücken bei der Einhaltung von Vorgaben
Google evaluierte 14 Modelle mit sieben öffentlich verfügbaren Agenten-Frameworks und führte jede Aufgabe für jede Konfiguration dreimal aus. Die Solver-Container hatten keinen Internetzugang; pro Durchlauf standen dem Agenten sechs Stunden zur Verfügung. Die Bewertung anhand von Rubriken und die ausführbare Prüfung fanden außerhalb des Solver-Containers statt, sodass Bewertungsverfahren und Referenz-Arbeitsergebnisse dem Agenten nicht zugänglich waren.
Im privaten Testsatz mit 56 Aufgaben erzielte laut Google jedes Modell in seinem jeweiligen Agenten-Framework weniger als 50 %; am besten schnitt Claude Opus 5.5 in Claude Code mit 48,3 % ab. Die Wettbewerbsrangliste ordnet die Modelle anhand dieser Ergebnisse bei den verborgenen Aufgaben.
Die separate Auswertung der Arbeit über alle 85 Aufgaben hinweg weist für Claude Opus 5.5 in Claude Code einen Spitzenwert von 50,6 % aus. Im Durchschnitt entfielen dabei 27 Millionen Token und 63 Minuten auf jede Aufgabe; zu Listenpreisen beliefen sich die Kosten auf 17,18 US-Dollar pro Aufgabe. Die beiden Spitzenwerte beziehen sich somit auf unterschiedliche Auswertungen: Die eine umfasst den verborgenen Testsatz und die jeweils nativen Agenten-Frameworks, die andere den gesamten Benchmark und die leistungsstärkste Kombination aus Modell und Agenten-Framework.
Das aufschlussreichere Ergebnis zeigt sich bei den gemeinsam verfassten Aufgaben. Google zufolge erfüllte die leistungsstärkste Konfiguration 91 % der einzelnen Randbedingungen. Doch nur 41,3 % ihrer Arbeitsergebnisse bestanden sämtliche zwingenden Sicherheits- und Machbarkeitsprüfungen, die für eine Bewertung des Ziels erforderlich waren. In der Praxis erfüllten die Agenten oft die meisten Anforderungen, ohne einen vollständig regelkonformen Entwurf zu erstellen – genau diese Lücke soll die Prüfung zwingender Randbedingungen bei PLE aufdecken.
Google berichtet von einer Spannweite von rund 50 Punkten zwischen den Modellen, während die mediane Spannweite zwischen den Agenten-Frameworks für dasselbe Modell drei Punkte betrug. Die Wahl des Frameworks veränderte jedoch weiterhin sowohl die Ergebnisse als auch die Kosten. Auch die Resultate einzelner Aufgaben schwankten beträchtlich: Die durchschnittliche Spannweite bei drei Durchläufen betrug für eine Aufgaben-Framework-Kombination 15,4 Punkte. Diese Schwankungen stützen die Entscheidung der Autoren, Durchschnittswerte aus wiederholten Durchläufen statt einzelner Versuche heranzuziehen.
Im Wettbewerb wird die gesamte Agentenkonfiguration geprüft
Das offizielle Repository unterteilt PLE in 29 öffentliche Entwicklungsaufgaben und 56 verborgene Testaufgaben. Teilnehmende reichen ihr Agenten-Framework ein – die Software, die ein ausgewähltes Modell durch die einzelnen Aufgaben führt – sowie die Wahl des Modells und die bei den öffentlichen Aufgaben erstellten Arbeitsergebnisse. Die Veranstalter bewerten diese Ergebnisse, führen das Framework bei ausgewählten öffentlichen Aufgaben erneut aus, um die Reproduzierbarkeit zu prüfen, und lassen es anschließend dreimal die verborgenen Aufgaben bearbeiten, um den Ranglistenwert zu ermitteln.
Teilnehmende können 13 von Google gesponserte Modelle kostenlos auf dem Evaluierungsserver nutzen, einen API-Schlüssel für ein kommerzielles Modell bereitstellen oder einen selbst gehosteten Modellserver anbinden. Das unter der Apache-2.0-Lizenz stehende Repository enthält Vorlagen für eigene Harnesses und Adapter für bestehende Agenten. Damit stehen den Teilnehmenden mehrere Ausgangspunkte für die Erstellung einer vollständigen Einreichung zur Verfügung.
Der Wettbewerb bewertet daher mehr als nur die endgültige Antwort eines Modells. Ein eingereichtes System muss sich in realistischen Projektdateien zurechtfinden, seine öffentlichen Ergebnisse reproduzieren und vollständige Arbeitsergebnisse liefern, die den verdeckten Prüfungen zu Sicherheit, Umsetzbarkeit und Qualität standhalten. Die Baseline-Ergebnisse zeigen, dass die Einhaltung aller Anforderungen als Gesamtpaket die zentrale Herausforderung ist: Die meisten Einzelanforderungen zu erfüllen, reicht noch nicht aus, wenn ein Verstoß gegen eine harte Nebenbedingung einem ansonsten kosteneffizienten Entwurf die Punkte für das objektive Bewertungskriterium kosten kann.
