SemiAnalysis lansează benchmarkul GDPx, care acoperă 11 domenii de activitate bazate pe agenți IA

Pe 2 noiembrie 2026, SemiAnalysis a lansat GDPx, un benchmark pentru evaluarea capabilităților generale ale agenților IA în 11 domenii profesionale, într-un anunț semnat de Max Kan, Andrew Megalaa și Dylan Patel. Claude Opus 5.5 de la Anthropic se află în fruntea clasamentului inaugural, cu un scor de 12,0%.

Clasamentul V1.0

Site-ul oficial GDPx prezintă prima versiune, care cuprinde 206 sarcini realizate împreună cu 14 parteneri specializați în date, iar clasamentul său ierarhizează 13 modele. Claude Opus 5.5 ocupă primul loc, cu un cost mediu de 51,41 $ pe sarcină și 548.000 de tokeni generați. Gemini 4 Carbon de la Google se situează pe locul al doilea, cu 10,9% și un cost de 16,29 $ pe sarcină, în timp ce GPT-6 Astra de la OpenAI ocupă locul al treilea, cu 9,6% și un cost de 53,99 $ pe sarcină. Muse Wonder Full de la Meta se clasează pe locul al patrulea, cu 9,0%, fără să fie afișat un preț public, iar GLM 5.3 de la Z.ai ocupă locul al 13-lea, cu 2,7%.

SemiAnalysis descrie GDPx drept un benchmark cu adevărat de ultimă generație, tocmai pentru că scorul maxim rămâne atât de scăzut. Scorul GDPx principal reprezintă media rezultatelor pass@1 ale fiecărui model în trei încercări, acordă aceeași pondere fiecărui domeniu și aplică metoda de evaluare prevăzută pentru fiecare sarcină, binară sau continuă.

Proiectare, parteneri și metodologie

Domeniile sunt proiectarea cipurilor, securitatea cibernetică, biologia, finanțele, dreptul, tranzacționarea cantitativă, autoîmbunătățirea recursivă (RSI), proiectarea hardware, știința materialelor, alinierea și ingineria software; SemiAnalysis spune că a exclus în mod deliberat industrii precum administrația publică, sectorul imobiliar și asigurările. Autorii susțin că primul trilion de dolari din veniturile generate de IA se va concentra în sectoare care pot valorifica inteligența de ultimă generație pentru a obține o rentabilitate ridicată a investiției și că este o greșeală să se construiască un benchmark general pe baza ponderii din PIB sau a taxonomiei ocupaționale SOC/O*NET.

Fiecare domeniu a fost dezvoltat împreună cu parteneri specializați: Aria, Arcverex și Ergodex pentru proiectarea cipurilor; Arithmetic pentru securitatea cibernetică; Latch Bio pentru biologie; Living Context pentru finanțe; Chakra pentru drept; Third Moment pentru tranzacționarea cantitativă; Extrapolate pentru RSI; Beautiful Machines pentru proiectarea hardware; ValenceForge și Emulated pentru știința materialelor; Fleet pentru aliniere; și Datacurve pentru inginerie software.

Sarcinile au o limită de timp implicită de opt ore, iar modelele rulează în mediul lor nativ, atunci când acesta este disponibil — Claude Code pentru Opus 5.5, Codex pentru GPT-6 Astra și Antigravity pentru Gemini 4 Carbon —, cu OpenCode ca alternativă. SemiAnalysis a cerut fiecărui partener să treacă din prima verificarea automată a calității, fără mai mult decât greșeli minore, și relatează că același proces identifică drept defecte aproape 50% dintre sarcinile din benchmarkul Terminal Bench 4.0.

Critica adusă GDPval

Anunțul prezintă GDPx drept succesorul GDPval de la OpenAI, lansat pe 25 septembrie 2025, care, potrivit autorilor, rămâne cel mai popular benchmark de uz general prezentat în fișele de lansare ale modelelor importante. Aceștia critică sarcinile GDPval pentru că nu sunt interactive și pentru că tot contextul necesar este furnizat pe tavă în prompt; de asemenea, menționează un acord de 71% între experții umani care au evaluat subsetul de referință. În schimb, fiecare sarcină GDPx include un mediu realist: de exemplu, cele 24 de sarcini financiare reproduc o tranzacție reală de capital privat, în care un fond cumpără aproximativ 62% dintr-un producător de gustări, pentru 880 de milioane de dolari plus o plată suplimentară condiționată de rezultate, tranzacție reconstruită pe baza a aproximativ 4.000 de fișiere anonimizate.

Rezultatele pe domenii și limitările declarate

SemiAnalysis îl desemnează pe Claude Opus 5.5 drept cel mai bun model per ansamblu, câștigător în tranzacționarea cantitativă, proiectarea hardware și proiectarea cipurilor; pe Gemini 4 Carbon drept cel mai bun model pentru biologie, cu o victorie la limită în inginerie software; iar pe GPT-6 Astra drept câștigător în RSI și știința materialelor. Compania avertizează că scorurile generale ale modelelor Opus 5.5 și GPT-6 Astra sunt diminuate de clasificatoarele lor de siguranță în domeniile securității cibernetice, biologiei și alinierii și descrie Muse Wonder Full de la Meta drept cel mai bun model disponibil pentru securitate cibernetică, cu o diferență semnificativă față de celelalte.

Sarcinile de finanțe și drept sunt suficient de dificile încât toate modelele obțin zero conform evaluării binare prevăzute, așa că SemiAnalysis raportează scoruri parțiale medii pentru aceste domenii. În tranzacționarea cantitativă, 70 dintre cele 111 rulări evaluate au avut rezultate mai slabe decât strategia de referință pe care agentul trebuia să o depășească, iar niciun model nu a rezolvat sarcina publică aapl-target-winsorization. În sarcinile de securitate cibernetică pentru aliniere ale Fleet, 196 dintre cele 200 de rulări au încălcat cel puțin o regulă de comportament, iar 173 au încălcat o regulă clasificată drept grav nealiniată; în sarcinile din domeniul sănătății, 19 dintre cele 100 de rulări au obținut un scor mai mare decât zero. În ceea ce privește costurile, SemiAnalysis plasează GPT-6 Luna și DeepSeek la capătul cu costuri reduse al frontierei cost-performanță, Opus la capătul cu costuri ridicate, iar OpenAI la mijloc.

SemiAnalysis spune că GDPx este conceput ca un benchmark în continuă evoluție, pentru care sunt planificate versiuni noi la fiecare 3–6 luni, și indică gdpx@semianalysis.com pentru companiile de date interesate să participe și pentru laboratoarele care doresc evaluarea versiunilor viitoare.