SemiAnalysis lancerer GDPx-benchmark, der spænder over 11 agentbaserede domæner

Den 2. november 2026 lancerede SemiAnalysis GDPx, et benchmark for generelle agentbaserede evner på tværs af 11 professionelle domæner, i en meddelelse forfattet af Max Kan, Andrew Megalaa og Dylan Patel. Anthropics Claude Opus 5.5 fører den første rangliste med en score på 12,0 %.

Ranglisten for version 1.0

Det officielle GDPx-websted angiver, at den første version omfatter 206 opgaver udviklet sammen med 14 specialiserede datapartnere, og ranglisten omfatter 13 modeller. Claude Opus 5.5 indtager førstepladsen med en gennemsnitlig pris på 51,41 dollars pr. opgave og 548.000 outputtokens. Googles Gemini 4 Carbon ligger på andenpladsen med 10,9 % og 16,29 dollars pr. opgave, mens OpenAIs GPT-6 Astra ligger på tredjepladsen med 9,6 % og 53,99 dollars pr. opgave. Metas Muse Wonder Full ligger på fjerdepladsen med 9,0 %, uden at der er angivet nogen offentlig pris, og Z.ais GLM 5.3 ligger på 13. pladsen med 2,7 %.

SemiAnalysis beskriver GDPx som et ægte benchmark på frontniveau, netop fordi topscoren stadig er så lav. Den fremtrædende GDPx-score er gennemsnittet af hver models pass@1-resultat på tværs af tre forsøg, vægter alle domæner lige højt og anvender den tilsigtede bedømmelsesmetode for hver opgave, enten binær eller kontinuerlig.

Udformning, partnere og metode

Domænerne er chipdesign, cybersikkerhed, biologi, finans, jura, kvantitativ handel, rekursiv selvforbedring (RSI), hardwaredesign, materialevidenskab, AI-tilpasning og softwareudvikling; SemiAnalysis siger, at virksomheden bevidst udelader brancher som offentlig forvaltning, ejendomme og forsikring. Forfatterne hævder, at den første billion dollars i AI-indtægter vil koncentrere sig i sektorer, der kan anvende avanceret intelligens med et højt afkast af investeringen, og at det er en fejl at bygge et generelt benchmark ud fra andelen af BNP eller erhvervsklassifikationen SOC/O*NET.

Hvert domæne blev udviklet sammen med specialiserede partnere: Aria, Arcverex og Ergodex inden for chipdesign; Arithmetic inden for cybersikkerhed; Latch Bio inden for biologi; Living Context inden for finans; Chakra inden for jura; Third Moment inden for kvantitativ handel; Extrapolate inden for RSI; Beautiful Machines inden for hardwaredesign; ValenceForge og Emulated inden for materialevidenskab; Fleet inden for AI-tilpasning; og Datacurve inden for softwareudvikling.

Opgaverne har som standard en tidsgrænse på otte timer, og modellerne køres i deres oprindelige miljø, når det er muligt — Claude Code til Opus 5.5, Codex til GPT-6 Astra og Antigravity til Gemini 4 Carbon — med OpenCode som reserve. SemiAnalysis krævede, at alle partnere bestod virksomhedens automatiserede kvalitetssikring i første forsøg med højst mindre fejl, og oplyser, at den samme proces markerer næsten 50 % af opgaverne i benchmarken Terminal Bench 4.0 som fejlbehæftede.

Kritikken af GDPval

Meddelelsen præsenterer GDPx som en efterfølger til OpenAIs GDPval, der blev udgivet den 25. september 2025, og som ifølge forfatterne fortsat er det mest populære benchmark til generelle formål på større modellers udgivelseskort. De kritiserer GDPvals opgaver for ikke at være interaktive, fordi al nødvendig kontekst serveres på forhånd i prompten, og henviser til en overensstemmelse på 71 % mellem menneskelige eksperter i benchmarkens guld-delmængde. I stedet leveres hver GDPx-opgave med et realistisk miljø: De 24 finansopgaver efterligner for eksempel en reel kapitalfondstransaktion, hvor en fond køber omkring 62 % af en snackproducent for 880 millioner dollars plus en tillægsbetaling, rekonstrueret ud fra cirka 4.000 anonymiserede filer.

Resultater for domænerne og angivne begrænsninger

SemiAnalysis udpeger Claude Opus 5.5 som den bedste allroundmodel, der vinder inden for kvantitativ handel, hardwaredesign og chipdesign; Gemini 4 Carbon som den bedste model inden for biologi med en snæver sejr inden for softwareudvikling; og GPT-6 Astra som vinder inden for RSI og materialevidenskab. Virksomheden advarer om, at Opus 5.5s og GPT-6 Astras samlede scorer trækkes ned af deres sikkerhedsklassifikatorer inden for domænerne cybersikkerhed, biologi og AI-tilpasning, og beskriver Metas Muse Wonder Full som den bedste tilgængelige model inden for cybersikkerhed med en betydelig margin.

Finans- og juraopgaverne er så vanskelige, at alle modeller får nul efter den tilsigtede binære bedømmelse, så SemiAnalysis rapporterer gennemsnitlige delscorer for disse domæner. Inden for kvantitativ handel klarede 70 af 111 bedømte kørsler sig dårligere end referencestrategien, som agenten skulle slå, og ingen model løste den offentlige opgave aapl-target-winsorization. I Fleets cybersikkerhedsopgaver inden for AI-tilpasning overtrådte 196 af 200 kørsler mindst én adfærdsregel, og 173 overtrådte en regel, der blev vurderet som alvorligt fejltilpasset; i sundhedsopgaverne fik 19 af 100 kørsler en score over nul. Hvad angår omkostninger, placerer SemiAnalysis GPT-6 Luna og DeepSeek i den lave ende af grænsen for forholdet mellem omkostning og ydeevne, Opus i den høje ende og OpenAI i midten.

SemiAnalysis siger, at GDPx er tænkt som et benchmark i løbende udvikling, med nye versioner planlagt hver 3.–6. måned, og angiver gdpx@semianalysis.com for datavirksomheder, der er interesserede i at deltage, og laboratorier, der ønsker at få fremtidige udgivelser evalueret.