SemiAnalysis představuje benchmark GDPx pokrývající 11 oblastí agentních schopností

Společnost SemiAnalysis představila 2. listopadu 2026 GDPx, benchmark obecných agentních schopností pokrývající 11 profesních oblastí, a to v oznámení, jehož autory jsou Max Kan, Andrew Megalaa a Dylan Patel. Claude Opus 5.5 od Anthropic vede v úvodním žebříčku se skóre 12,0 %.

Žebříček verze 1.0

Oficiální web GDPx uvádí, že první verze zahrnuje 206 úloh vytvořených ve spolupráci se 14 specializovanými datovými partnery, a v žebříčku řadí 13 modelů. Claude Opus 5.5 vede s průměrnými náklady 51,41 USD na úlohu a 548 tisíci výstupních tokenů. Gemini 4 Carbon od Googlu je druhý se skóre 10,9 % a náklady 16,29 USD na úlohu, zatímco GPT-6 Astra od OpenAI je třetí se skóre 9,6 % a náklady 53,99 USD na úlohu. Muse Wonder Full od Meta je čtvrtý se skóre 9,0 %; veřejná cena není uvedena. GLM 5.3 od Z.ai je třináctý se skóre 2,7 %.

SemiAnalysis označuje GDPx za skutečně špičkový benchmark právě proto, že nejvyšší skóre zůstává tak nízké. Hlavní skóre GDPx je průměrem výsledků pass@1 každého modelu ze tří pokusů, všechny oblasti mají stejnou váhu a uplatňuje se zamýšlený způsob hodnocení každé úlohy, binární nebo průběžný.

Návrh, partneři a metodika

Oblasti zahrnují návrh čipů, kybernetickou bezpečnost, biologii, finance, právo, kvantitativní obchodování, rekurzivní sebezdokonalování (RSI), návrh hardwaru, materiálové vědy, bezpečnostní sladění a softwarové inženýrství. SemiAnalysis uvádí, že záměrně vynechává odvětví, jako jsou státní správa, nemovitosti a pojišťovnictví. Autoři tvrdí, že první bilion dolarů příjmů z umělé inteligence se soustředí v odvětvích, která dokážou nasadit špičkovou inteligenci s vysokou návratností investic, a že vytvořit obecný benchmark založený na podílu na HDP nebo klasifikaci povolání SOC/O*NET je chyba.

Na tvorbě jednotlivých oblastí se podíleli specializovaní partneři: Aria, Arcverex a Ergodex v oblasti návrhu čipů; Arithmetic v oblasti kybernetické bezpečnosti; Latch Bio v oblasti biologie; Living Context v oblasti financí; Chakra v oblasti práva; Third Moment v oblasti kvantitativního obchodování; Extrapolate v oblasti RSI; Beautiful Machines v oblasti návrhu hardwaru; ValenceForge a Emulated v oblasti materiálových věd; Fleet v oblasti bezpečnostního sladění; a Datacurve v oblasti softwarového inženýrství.

Výchozí časový limit úloh je osm hodin a modely se spouštějí ve svém nativním prostředí, pokud je k dispozici — Claude Code pro Opus 5.5, Codex pro GPT-6 Astra a Antigravity pro Gemini 4 Carbon —; jako náhradní možnost slouží OpenCode. SemiAnalysis požadovala, aby každý partner prošel její automatizovanou kontrolou kvality hned napoprvé, nanejvýš s drobnými chybami, a uvádí, že stejný postup označí za chybné téměř 50 % úloh v benchmarku Terminal Bench 4.0.

Kritika benchmarku GDPval

Oznámení představuje GDPx jako nástupce benchmarku GDPval od OpenAI, vydaného 25. září 2025, který podle autorů zůstává nejoblíbenějším univerzálním benchmarkem uváděným na kartách při vydání hlavních modelů. Autoři kritizují úlohy GDPval jako neinteraktivní, protože veškerý potřebný kontext je uživatelům předkládán přímo v zadání, a uvádějí, že shoda mezi lidskými experty při hodnocení jeho zlaté podmnožiny dosahuje 71 %. Každá úloha GDPx naopak přichází s realistickým prostředím: například 24 finančních úloh napodobuje skutečnou transakci private equity, při níž fond kupuje přibližně 62 % výrobce pochutin za 880 milionů dolarů plus dodatečnou platbu závislou na budoucích výsledcích. Transakce je rekonstruována z přibližně 4 000 anonymizovaných souborů.

Výsledky v jednotlivých oblastech a uvedená omezení

SemiAnalysis uvádí, že Claude Opus 5.5 je nejlepším všestranným modelem a vítězí v kvantitativním obchodování, návrhu hardwaru a návrhu čipů; Gemini 4 Carbon je nejlepším modelem pro biologii a těsně vítězí v softwarovém inženýrství; a GPT-6 Astra vítězí v RSI a materiálových vědách. Upozorňuje, že celkové skóre modelů Opus 5.5 a GPT-6 Astra snižují jejich bezpečnostní klasifikátory v oblastech kybernetické bezpečnosti, biologie a bezpečnostního sladění, a Muse Wonder Full od Meta označuje za nejlepší dostupný model pro kybernetickou bezpečnost s výrazným náskokem.

Finanční a právní úlohy jsou natolik obtížné, že každý model při zamýšleném binárním hodnocení získává nulu, a proto SemiAnalysis pro tyto oblasti uvádí průměrné dílčí skóre. V kvantitativním obchodování dopadlo 70 ze 111 hodnocených běhů hůře než referenční strategie, kterou měl agent překonat, a žádný model nevyřešil veřejnou úlohu aapl-target-winsorization. V kybernetických úlohách Fleet zaměřených na bezpečnostní sladění porušilo 196 z 200 běhů alespoň jedno pravidlo chování a 173 běhů porušilo pravidlo hodnocené jako závažně nesouladné; v úlohách z oblasti zdravotnictví dosáhlo nenulového skóre 19 ze 100 běhů. Pokud jde o náklady, SemiAnalysis řadí GPT-6 Luna a DeepSeek na levný konec hranice poměru nákladů a výkonu, Opus na drahý konec a OpenAI doprostřed.

SemiAnalysis uvádí, že GDPx má být průběžně aktualizovaným benchmarkem, jehož nové verze se plánují každé 3–6 měsíců, a odkazuje na gdpx@semianalysis.com pro datové společnosti, které mají zájem se zapojit, a laboratoře, které chtějí nechat vyhodnotit budoucí vydání.