SemiAnalysis lanserer GDPx, en referanseprøve som dekker 11 agentbaserte fagområder

2. november 2026 lanserte SemiAnalysis GDPx, en referanseprøve for generelle agentbaserte evner på tvers av 11 fagområder, i en kunngjøring skrevet av Max Kan, Andrew Megalaa og Dylan Patel. Claude Opus 5.5 fra Anthropic topper den første rangeringen med en poengsum på 12,0 %.

Rangeringen for V1.0

Det offisielle GDPx-nettstedet oppgir at den første versjonen omfatter 206 oppgaver utviklet med 14 spesialiserte datapartnere, og at rangeringen omfatter 13 modeller. Claude Opus 5.5 topper rangeringen med en gjennomsnittskostnad på 51,41 dollar per oppgave og 548 000 genererte tokener. Gemini 4 Carbon fra Google kommer på andreplass med 10,9 % og 16,29 dollar per oppgave, mens GPT-6 Astra fra OpenAI ligger på tredjeplass med 9,6 % og 53,99 dollar per oppgave. Muse Wonder Full fra Meta kommer på fjerdeplass med 9,0 %, uten at noen offentlig pris er oppgitt, og GLM 5.3 fra Z.ai ligger på 13. plass med 2,7 %.

SemiAnalysis beskriver GDPx som en referanseprøve på absolutt toppnivå nettopp fordi toppresultatet fortsatt er så lavt. Den overordnede GDPx-poengsummen er gjennomsnittet av hver modells pass@1-resultat på tvers av tre forsøk, gir alle fagområdene lik vekt og bruker den tiltenkte vurderingsmetoden for hver oppgave, enten binær eller kontinuerlig.

Utforming, partnere og metode

Fagområdene er brikkedesign, cybersikkerhet, biologi, finans, juss, kvantitativ handel, rekursiv selvforbedring (RSI), maskinvaredesign, materialvitenskap, tilpasning og programvareutvikling. SemiAnalysis sier at de bevisst utelater bransjer som offentlig sektor, eiendom og forsikring. Forfatterne hevder at den første billionen dollar i KI-inntekter vil konsentrere seg i sektorer som kan ta i bruk KI på grensen av det mulige med høy avkastning på investeringen, og at det er en feil å bygge en generell referanseprøve rundt andelen av BNP eller yrkestaksonomien SOC/O*NET.

Hvert fagområde ble utviklet sammen med spesialiserte partnere: Aria, Arcverex og Ergodex for brikkedesign; Arithmetic for cybersikkerhet; Latch Bio for biologi; Living Context for finans; Chakra for juss; Third Moment for kvantitativ handel; Extrapolate for RSI; Beautiful Machines for maskinvaredesign; ValenceForge og Emulated for materialvitenskap; Fleet for tilpasning; og Datacurve for programvareutvikling.

Oppgavene har en standard tidsgrense på åtte timer, og modellene kjøres i sitt opprinnelige kjøremiljø når dette er tilgjengelig – Claude Code for Opus 5.5, Codex for GPT-6 Astra og Antigravity for Gemini 4 Carbon – med OpenCode som reserve. SemiAnalysis krevde at alle partnerne skulle bestå den automatiserte kvalitetssikringen ved første forsøk, med bare mindre feil i verste fall. Selskapet opplyser at den samme prosessen flagger nesten 50 % av oppgavene i referanseprøven Terminal Bench 4.0 som mangelfulle.

Kritikken av GDPval

Kunngjøringen presenterer GDPx som en etterfølger til GDPval fra OpenAI, som ble lansert 25. september 2025, og som forfatterne sier fortsatt er den mest populære generelle referanseprøven på kortene for store modellanseringer. De kritiserer oppgavene i GDPval for å være ikke-interaktive, med all nødvendig kontekst ferdig servert i prompten, og viser til enighet på 71 % mellom menneskelige fageksperter som vurderte gullundersettet. Hver GDPx-oppgave leveres i stedet med et realistisk miljø: De 24 finansoppgavene gjenskaper for eksempel en reell private equity-transaksjon der et fond kjøper rundt 62 % av en snacksprodusent for 880 millioner dollar pluss et etteroppgjør, rekonstruert på grunnlag av rundt 4 000 anonymiserte filer.

Resultater for fagområdene og oppgitte begrensninger

SemiAnalysis oppgir Claude Opus 5.5 som den beste allroundmodellen, med seire innen kvantitativ handel, maskinvaredesign og brikkedesign; Gemini 4 Carbon som den beste biologimodellen, med en knapp seier innen programvareutvikling; og GPT-6 Astra som vinner innen RSI og materialvitenskap. Selskapet advarer om at sikkerhetsklassifikatorene trekker ned de samlede poengsummene til Opus 5.5 og GPT-6 Astra innen cybersikkerhet, biologi og tilpasning, og beskriver Muse Wonder Full fra Meta som den klart beste tilgjengelige modellen innen cybersikkerhet.

Finans- og jussoppgavene er så vanskelige at alle modellene får null med den tiltenkte binære vurderingen. Derfor oppgir SemiAnalysis gjennomsnittlige delpoeng for disse fagområdene. Innen kvantitativ handel gjorde 70 av 111 vurderte kjøringer det dårligere enn referansestrategien agenten skulle slå, og ingen modeller løste den offentlige oppgaven aapl-target-winsorization. I Fleet sine oppgaver om cybersikkerhet innen tilpasning brøt 196 av 200 kjøringer minst én atferdsregel, og 173 brøt en regel som ble vurdert som alvorlig feiltilpasset. I helseoppgavene fikk 19 av 100 kjøringer en poengsum over null. Når det gjelder kostnader, plasserer SemiAnalysis GPT-6 Luna og DeepSeek i den rimeligste enden av avveiningen mellom kostnad og ytelse, Opus i den dyreste enden og OpenAI i midten.

SemiAnalysis sier at GDPx er ment å være en referanseprøve i stadig utvikling, med nye versjoner planlagt hver 3.–6. måned, og viser til gdpx@semianalysis.com for dataselskaper som er interessert i å delta, og laboratorier som ønsker å få framtidige utgivelser evaluert.