SemiAnalysis lanserar GDPx, ett benchmark som omfattar 11 agentbaserade områden

Den 2 november 2026 släppte SemiAnalysis GDPx, ett benchmark för allmänna agentförmågor inom 11 yrkesområden, i ett tillkännagivande skrivet av Max Kan, Andrew Megalaa och Dylan Patel. Anthropics Claude Opus 5.5 toppar den första topplistan med 12,0 procent.

Topplistan för V1.0

På den officiella GDPx-webbplatsen anges att den första versionen omfattar 206 uppgifter framtagna tillsammans med 14 specialiserade datapartners, och topplistan rangordnar 13 modeller. Claude Opus 5.5 toppar rankningen med en genomsnittlig kostnad på 51,41 dollar per uppgift och 548 000 utmatningstoken. Googles Gemini 4 Carbon kommer på andra plats med 10,9 procent och 16,29 dollar per uppgift, medan OpenAI:s GPT-6 Astra kommer på tredje plats med 9,6 procent och 53,99 dollar per uppgift. Metas Muse Wonder Full hamnar på fjärde plats med 9,0 procent, utan något angivet offentligt pris, och Z.ai:s GLM 5.3 kommer på 13:e plats med 2,7 procent.

SemiAnalysis beskriver GDPx som ett benchmark på verklig frontiernivå just eftersom den högsta poängen fortfarande är så låg. GDPx:s huvudpoäng är genomsnittet av varje modells pass@1-resultat över tre försök, där alla områden väger lika tungt och varje uppgift bedöms enligt den avsedda metoden, binärt eller kontinuerligt.

Utformning, partners och metodik

Områdena är chipdesign, cybersäkerhet, biologi, finans, juridik, kvantitativ handel, rekursiv självförbättring (RSI), hårdvarudesign, materialvetenskap, AI-anpassning och programvaruutveckling. SemiAnalysis säger att företaget medvetet har valt bort branscher som offentlig förvaltning, fastigheter och försäkring. Författarna menar att AI-intäkternas första biljon dollar kommer att koncentreras till sektorer där det går att använda AI med spetskompetens och uppnå hög avkastning på investeringen, och att det är ett misstag att bygga ett allmänt benchmark utifrån BNP-andel eller yrkestaxonomin SOC/O*NET.

Varje område utvecklades tillsammans med specialiserade partners: Aria, Arcverex och Ergodex för chipdesign; Arithmetic för cybersäkerhet; Latch Bio för biologi; Living Context för finans; Chakra för juridik; Third Moment för kvantitativ handel; Extrapolate för RSI; Beautiful Machines för hårdvarudesign; ValenceForge och Emulated för materialvetenskap; Fleet för AI-anpassning; och Datacurve för programvaruutveckling.

Uppgifterna har som standard en tidsgräns på åtta timmar. När det är möjligt körs modellerna i sina ursprungliga körmiljöer — Claude Code för Opus 5.5, Codex för GPT-6 Astra och Antigravity för Gemini 4 Carbon — med OpenCode som reservlösning. SemiAnalysis krävde att varje partner skulle klara företagets automatiserade kvalitetssäkring vid första försöket, med högst mindre fel, och uppger att samma process flaggar nästan 50 procent av uppgifterna i benchmarken Terminal Bench 4.0 som felaktiga.

Kritiken mot GDPval

I tillkännagivandet framställs GDPx som en efterföljare till OpenAI:s GDPval, som släpptes den 25 september 2025 och enligt författarna fortfarande är det mest populära allmänna benchmarktestet på presentationssidorna för större modellsläpp. De kritiserar GDPvals uppgifter för att inte vara interaktiva och för att all nödvändig kontext serveras färdig i prompten. De hänvisar också till en överensstämmelse på 71 procent mellan mänskliga expertbedömare i dess guldurval. I stället kommer varje GDPx-uppgift med en realistisk miljö. De 24 finansuppgifterna återskapar till exempel en verklig private equity-transaktion där en fond köper cirka 62 procent av en snacksproducent för 880 miljoner dollar plus en tilläggsköpeskilling, rekonstruerad utifrån omkring 4 000 anonymiserade filer.

Resultat per område och angivna begränsningar

SemiAnalysis beskriver Claude Opus 5.5 som den bästa allroundmodellen, med segrar inom kvantitativ handel, hårdvarudesign och chipdesign. Gemini 4 Carbon beskrivs som den bästa modellen för biologi, med en knapp seger inom programvaruutveckling, och GPT-6 Astra som vinnare inom RSI och materialvetenskap. Företaget varnar för att säkerhetsklassificerarna sänker de sammanlagda poängen för Opus 5.5 och GPT-6 Astra inom cybersäkerhet, biologi och AI-anpassning. Meta:s Muse Wonder Full beskrivs som den bästa tillgängliga modellen för cybersäkerhet med god marginal.

Finans- och juridikuppgifterna är så svåra att alla modeller får noll enligt den avsedda binära bedömningen. Därför redovisar SemiAnalysis genomsnittliga delpoäng för dessa områden. Inom kvantitativ handel presterade 70 av 111 bedömda körningar sämre än referensstrategin som agenten skulle slå, och ingen modell löste den offentliga uppgiften aapl-target-winsorization. I Fleets uppgifter om AI-anpassning och cybersäkerhet bröt 196 av 200 körningar mot minst en beteenderegel, och 173 bröt mot en regel som bedömdes som allvarligt felanpassad. I vårduppgifterna fick 19 av 100 körningar en poäng över noll. När det gäller kostnad placerar SemiAnalysis GPT-6 Luna och DeepSeek i den nedre delen av kostnads–prestandafronten, Opus i den övre delen och OpenAI i mitten.

SemiAnalysis säger att GDPx är tänkt att vara ett benchmark i ständig utveckling, med nya versioner planerade var 3–6:e månad, och listar gdpx@semianalysis.com för dataföretag som är intresserade av att delta och AI-labb som vill få framtida versioner utvärderade.