SemiAnalysis julkaisee GDPx-vertailutestin, joka kattaa 11 agenttista osaamisaluetta

SemiAnalysis julkaisi 2. marraskuuta 2026 GDPx:n, yleisten agenttisten kyvykkyyksien vertailutestin, joka kattaa 11 ammatillista osaamisaluetta. Max Kanin, Andrew Megalaan ja Dylan Patelin kirjoittama julkistus esitteli testin. Anthropicin Claude Opus 5.5 johtaa ensimmäistä tulostaulukkoa 12,0 prosentin tuloksella.

V1.0-tulostaulukko

GDPx:n virallisella sivustolla kerrotaan, että ensimmäinen versio sisältää 206 tehtävää, jotka on kehitetty yhteistyössä 14 erikoistuneen datakumppanin kanssa, ja tulostaulukossa on 13 mallia. Claude Opus 5.5 johtaa tulostaulukkoa: sen keskimääräinen kustannus tehtävää kohden on 51,41 dollaria, ja se tuottaa 548 000 tokenia. Googlen Gemini 4 Carbon on toisena 10,9 prosentin tuloksella ja 16,29 dollarin tehtäväkohtaisella kustannuksella, kun taas OpenAI:n GPT-6 Astra on kolmantena 9,6 prosentin tuloksella ja 53,99 dollarin tehtäväkohtaisella kustannuksella. Metan Muse Wonder Full on neljäntenä 9,0 prosentin tuloksella, eikä sen julkista hintaa ilmoiteta. Z.ai:n GLM 5.3 on 13. sijalla 2,7 prosentin tuloksella.

SemiAnalysis kuvailee GDPx:ää aidosti huipputason vertailutestiksi juuri siksi, että paras tulos on yhä niin matala. GDPx:n otsikkotulos on kunkin mallin kolmella yrityksellä saavuttaman pass@1-tuloksen keskiarvo. Kaikilla osaamisalueilla on sama paino, ja kunkin tehtävän tulos arvioidaan sille tarkoitetulla menetelmällä, joko binäärisesti tai jatkuvalla asteikolla.

Suunnittelu, kumppanit ja menetelmät

Osaamisalueet ovat sirusuunnittelu, kyberturvallisuus, biologia, rahoitus, juridiikka, kvantitatiivinen kaupankäynti, rekursiivinen itsensä kehittäminen (RSI), laitteistosuunnittelu, materiaalitiede, kohdistaminen ja ohjelmistokehitys. SemiAnalysis kertoo jättäneensä tarkoituksella pois esimerkiksi julkishallinnon, kiinteistöalan ja vakuutusalan. Kirjoittajien mukaan ensimmäinen biljoona dollaria tekoälytuloja keskittyy aloille, jotka voivat hyödyntää huipputason älykkyyttä suuren sijoitetun pääoman tuoton saavuttamiseksi. Heidän mukaansa yleisen vertailutestin rakentaminen BKT-osuuden tai SOC-/O*NET-ammattitaksonomian perusteella on virhe.

Kunkin osaamisalueen kehittämisessä oli mukana erikoistuneita kumppaneita: sirusuunnittelussa Aria, Arcverex ja Ergodex; kyberturvallisuudessa Arithmetic; biologiassa Latch Bio; rahoituksessa Living Context; juridiikassa Chakra; kvantitatiivisessa kaupankäynnissä Third Moment; RSI:ssä Extrapolate; laitteistosuunnittelussa Beautiful Machines; materiaalitieteessä ValenceForge ja Emulated; kohdistamisessa Fleet; sekä ohjelmistokehityksessä Datacurve.

Tehtävien oletusaikaraja on kahdeksan tuntia. Mallit käyttävät saatavuuden mukaan niille tarkoitettua ajoympäristöä: Opus 5.5 Claude Codea, GPT-6 Astra Codexia ja Gemini 4 Carbon Antigravitya. Muussa tapauksessa käytetään OpenCodea. SemiAnalysis edellytti, että jokainen kumppani läpäisee automaattisen laadunvarmistuksen ensimmäisellä yrityksellä, ja sallittuja olivat korkeintaan vähäiset virheet. Yhtiö kertoo, että sama prosessi havaitsee Terminal Bench 4.0 -vertailutestin tehtävistä lähes 50 prosenttia virheellisiksi.

GDPvalin kritiikki

Julkistuksessa GDPx esitetään seuraajaksi OpenAI:n GDPvalille, joka julkaistiin 25. syyskuuta 2025 ja on kirjoittajien mukaan yhä suosituin yleiskäyttöinen vertailutesti suurten mallien julkaisutiedoissa. He arvostelevat GDPvalin tehtäviä vuorovaikutuksettomiksi: kaikki tarvittava konteksti annetaan valmiina kehotteessa. He viittaavat siihen, että ihmisten tekemässä asiantuntija-arvioinnissa arvioijien välinen yhtenevyys oli sen kultaisessa osajoukossa 71 prosenttia. GDPx:n jokainen tehtävä puolestaan sisältää realistisen ympäristön. Esimerkiksi 24 rahoitusalan tehtävää jäljittelevät todellista pääomasijoitustapahtumaa, jossa rahasto ostaa noin 62 prosenttia välipalatuotteiden valmistajasta 880 miljoonalla dollarilla sekä tulosperusteisella lisäkauppahinnalla. Tapahtuma on rakennettu uudelleen noin 4 000 anonymisoidun tiedoston pohjalta.

Osaamisalueiden tulokset ja ilmoitetut rajoitukset

SemiAnalysisin mukaan Claude Opus 5.5 on paras yleismalli: se voitti kvantitatiivisessa kaupankäynnissä, laitteistosuunnittelussa ja sirusuunnittelussa. Gemini 4 Carbon on paras biologian malli ja voitti niukasti ohjelmistokehityksessä. GPT-6 Astra voitti RSI:ssä ja materiaalitieteessä. SemiAnalysis varoittaa, että Opus 5.5:n ja GPT-6 Astran kokonaistuloksia heikentävät niiden turvallisuusluokittimet kyberturvallisuuden, biologian ja kohdistamisen osaamisalueilla. Yhtiön mukaan Metan Muse Wonder Full on selvästi paras tällä hetkellä saatavilla oleva kyberturvallisuusmalli.

Rahoitus- ja juridiikkatehtävät ovat niin vaikeita, että kaikki mallit saavat tarkoitetulla binäärisellä arviointitavalla nollatuloksen. Siksi SemiAnalysis ilmoittaa näiden osaamisalueiden keskimääräiset osittaiset tulokset. Kvantitatiivisessa kaupankäynnissä 70 tehtävän arvioiduista 111 suorituksesta jäi jälkeen vertailustrategiasta, jonka agentin oli määrä voittaa, eikä yksikään malli ratkaissut julkista aapl-target-winsorization-tehtävää. Fleetin kohdistamiseen liittyvissä kyberturvallisuustehtävissä 196 suoritusta 200:sta rikkoi vähintään yhtä toimintatapasääntöä, ja 173 suorituksessa rikottiin sääntöä, jonka arvioitiin osoittavan vakavaa virheellistä kohdistumista. Terveydenhuollon tehtävissä 19 suoritusta sadasta sai nollaa suuremman tuloksen. Kustannusten ja suorituskyvyn välisessä rintamassa SemiAnalysis sijoittaa GPT-6 Lunan ja DeepSeekin edulliseen päähän, Opuksen kalliiseen päähän ja OpenAI:n niiden väliin.

SemiAnalysis kertoo, että GDPx on tarkoitettu jatkuvasti kehittyväksi vertailutestiksi, ja uusia versioita on suunnitteilla 3–6 kuukauden välein. Yhtiö tarjoaa gdpx@semianalysis.com tietoyrityksille, jotka ovat kiinnostuneita osallistumaan, sekä laboratorioille, jotka haluavat arvioida tulevia julkaisujaan.