SemiAnalysis startet GDPx-Benchmark für 11 agentische Domänen

SemiAnalysis veröffentlichte am 2. November 2026 GDPx, einen Benchmark für allgemeine agentische Fähigkeiten in 11 beruflichen Domänen, in einer Ankündigung von Max Kan, Andrew Megalaa und Dylan Patel. Claude Opus 5.5 von Anthropic führt die Rangliste zum Start mit einem Ergebnis von 12,0 % an.

Die Rangliste für Version 1.0

Auf der offiziellen GDPx-Website wird die erste Version mit 206 Aufgaben aufgeführt, die gemeinsam mit 14 spezialisierten Datenpartnern entwickelt wurden; die Rangliste umfasst 13 Modelle. Claude Opus 5.5 führt die Rangliste mit durchschnittlichen Kosten von 51,41 $ pro Aufgabe und 548.000 Ausgabetokens an. Gemini 4 Carbon von Google liegt mit 10,9 % und 16,29 $ pro Aufgabe auf Platz zwei, während GPT-6 Astra von OpenAI mit 9,6 % und 53,99 $ pro Aufgabe den dritten Platz belegt. Muse Wonder Full von Meta liegt mit 9,0 % auf Platz vier; ein öffentlicher Preis ist nicht angegeben. GLM 5.3 von Z.ai belegt mit 2,7 % den 13. Platz.

SemiAnalysis bezeichnet GDPx gerade deshalb als Benchmark auf echtem Spitzenniveau, weil selbst das beste Ergebnis so niedrig ausfällt. Der maßgebliche GDPx-Wert entspricht dem Durchschnitt des pass@1-Ergebnisses jedes Modells über drei Versuche, gewichtet alle Domänen gleich und wendet die für jede Aufgabe vorgesehene Bewertungsmethode an – binär oder kontinuierlich.

Design, Partner und Methodik

Die Domänen umfassen Chipdesign, Cybersicherheit, Biologie, Finanzen, Recht, Quant-Trading, rekursive Selbstverbesserung (RSI), Hardwaredesign, Materialwissenschaft, Alignment und Softwareentwicklung. SemiAnalysis erklärt, bewusst auf Branchen wie Regierung, Immobilien und Versicherungen zu verzichten. Die Autoren argumentieren, dass sich die ersten Billionen Dollar an KI-Umsätzen auf Sektoren konzentrieren werden, in denen sich Spitzenintelligenz mit einem hohen ROI einsetzen lässt, und dass es ein Fehler wäre, einen allgemeinen Benchmark anhand des BIP-Anteils oder der Berufsklassifikation SOC/O*NET aufzubauen.

Jede Domäne wurde gemeinsam mit spezialisierten Partnern entwickelt: Aria, Arcverex und Ergodex für Chipdesign; Arithmetic für Cybersicherheit; Latch Bio für Biologie; Living Context für Finanzen; Chakra für Recht; Third Moment für Quant-Trading; Extrapolate für RSI; Beautiful Machines für Hardwaredesign; ValenceForge und Emulated für Materialwissenschaft; Fleet für Alignment; und Datacurve für Softwareentwicklung.

Für Aufgaben gilt standardmäßig ein Zeitlimit von acht Stunden. Wenn verfügbar, laufen die Modelle in ihrer nativen Ausführungsumgebung – Claude Code für Opus 5.5, Codex für GPT-6 Astra und Antigravity für Gemini 4 Carbon –, andernfalls kommt OpenCode zum Einsatz. SemiAnalysis verlangte, dass jeder Partner die automatisierte Qualitätssicherung beim ersten Versuch besteht und dabei höchstens kleinere Fehler aufweist. Dem Unternehmen zufolge stuft dasselbe Verfahren fast 50 % der Aufgaben im Benchmark Terminal Bench 4.0 als fehlerhaft ein.

Die Kritik an GDPval

In der Ankündigung wird GDPx als Nachfolger von GDPval von OpenAI vorgestellt, das am 25. September 2025 veröffentlicht wurde und laut den Autoren auf den Veröffentlichungskarten großer Modellveröffentlichungen weiterhin der beliebteste allgemeine Benchmark ist. Die Autoren kritisieren, dass die Aufgaben in GDPval nicht interaktiv sind und der Prompt den Modellen den gesamten erforderlichen Kontext vorgibt. Außerdem verweisen sie auf eine Übereinstimmung von 71 % zwischen menschlichen Experten bei der Bewertung der Gold-Teilmenge. Jede GDPx-Aufgabe umfasst stattdessen eine realitätsnahe Umgebung: Die 24 Finanzaufgaben bilden beispielsweise eine echte Private-Equity-Transaktion nach, bei der ein Fonds für 880 Millionen Dollar zuzüglich einer erfolgsabhängigen Nachzahlung rund 62 % eines Snackherstellers kauft. Die Transaktion wurde anhand von etwa 4.000 anonymisierten Dateien rekonstruiert.

Ergebnisse nach Domäne und angegebene Einschränkungen

Laut SemiAnalysis ist Claude Opus 5.5 das beste Allround-Modell und siegt im Quant-Trading, im Hardwaredesign und im Chipdesign. Gemini 4 Carbon ist demnach das beste Modell für Biologie und gewinnt knapp in der Softwareentwicklung. GPT-6 Astra wiederum liegt bei RSI und Materialwissenschaft vorn. SemiAnalysis warnt, dass die Gesamtwerte von Opus 5.5 und GPT-6 Astra durch ihre Sicherheitsklassifikatoren in den Domänen Cybersicherheit, Biologie und Alignment gedrückt werden. Muse Wonder Full von Meta bezeichnet das Unternehmen mit deutlichem Abstand als das beste verfügbare Modell für Cybersicherheit.

Die Aufgaben in den Bereichen Finanzen und Recht sind so schwierig, dass jedes Modell bei der vorgesehenen binären Bewertung null Punkte erzielt. Deshalb gibt SemiAnalysis für diese Domänen durchschnittliche Teilpunktzahlen an. Im Quant-Trading waren 70 von 111 bewerteten Durchläufen schlechter als die Referenzstrategie, die der Agent übertreffen sollte, und kein Modell löste die öffentliche Aufgabe aapl-target-winsorization. Bei den Cyber-Aufgaben zum Alignment von Fleet verstießen 196 von 200 Durchläufen gegen mindestens eine Verhaltensregel; 173 davon verletzten eine Regel, deren Verstoß als schwerwiegendes Fehlverhalten eingestuft wurde. Bei den Aufgaben im Gesundheitswesen erzielten 19 von 100 Durchläufen mehr als null Punkte. Bei den Kosten ordnet SemiAnalysis GPT-6 Luna und DeepSeek am kostengünstigen Ende der Kosten-Leistungs-Kurve ein, Opus am kostenintensiven Ende und OpenAI im Mittelfeld.

SemiAnalysis zufolge soll GDPx ein fortlaufend aktualisierter Benchmark sein; neue Versionen sind alle 3–6 Monate geplant. Für Datenunternehmen, die an einer Teilnahme interessiert sind, und Labore, die künftige Veröffentlichungen evaluieren lassen möchten, führt das Unternehmen gdpx@semianalysis.com auf.