SemiAnalysis uruchamia benchmark GDPx obejmujący 11 obszarów zastosowania agentów

2 listopada 2026 r. SemiAnalysis opublikowało GDPx — benchmark ogólnych możliwości agentów obejmujący 11 dziedzin zawodowych — w ogłoszeniu autorstwa Maxa Kana, Andrew Megalaa i Dylana Patela. Claude Opus 5.5 firmy Anthropic prowadzi w inauguracyjnym rankingu z wynikiem 12,0%.

Ranking V1.0

Na oficjalnej stronie GDPx podano, że pierwsza wersja obejmuje 206 zadań opracowanych we współpracy z 14 wyspecjalizowanymi partnerami dostarczającymi dane, a ranking obejmuje 13 modeli. Claude Opus 5.5 zajmuje pierwsze miejsce, osiągając średni koszt 51,41 USD na zadanie przy 548 tys. tokenów wyjściowych. Gemini 4 Carbon firmy Google zajmuje drugie miejsce z wynikiem 10,9% i kosztem 16,29 USD na zadanie, a GPT-6 Astra firmy OpenAI jest trzeci z wynikiem 9,6% i kosztem 53,99 USD na zadanie. Muse Wonder Full firmy Meta zajmuje czwarte miejsce z wynikiem 9,0%; nie podano jego publicznej ceny. GLM 5.3 firmy Z.ai zajmuje 13. miejsce z wynikiem 2,7%.

SemiAnalysis określa GDPx jako prawdziwy benchmark na poziomie czołówki właśnie dlatego, że najwyższy wynik pozostaje tak niski. Główny wynik GDPx to średnia z rezultatów pass@1 każdego modelu uzyskanych w trzech próbach; każda dziedzina ma taką samą wagę, a ocena w każdym zadaniu przebiega zgodnie z przewidzianą metodą — binarną lub ciągłą.

Projekt, partnerzy i metodologia

Dziedziny objęte benchmarkiem to projektowanie układów scalonych, cyberbezpieczeństwo, biologia, finanse, prawo, handel ilościowy, rekurencyjne samodoskonalenie (RSI), projektowanie sprzętu, materiałoznawstwo, dostrajanie do ludzkich wartości oraz inżynieria oprogramowania. SemiAnalysis informuje, że celowo pomija takie branże jak administracja publiczna, nieruchomości i ubezpieczenia. Autorzy argumentują, że pierwszy bilion dolarów przychodów z AI przypadnie sektorom, które mogą wdrażać inteligencję na poziomie czołówki przy wysokim zwrocie z inwestycji, a budowanie ogólnego benchmarku opartego na udziale w PKB lub taksonomii zawodów SOC/O*NET jest błędem.

Każdą dziedzinę opracowano we współpracy z wyspecjalizowanymi partnerami: Aria, Arcverex i Ergodex w zakresie projektowania układów scalonych; Arithmetic w zakresie cyberbezpieczeństwa; Latch Bio w zakresie biologii; Living Context w zakresie finansów; Chakra w zakresie prawa; Third Moment w zakresie handlu ilościowego; Extrapolate w zakresie RSI; Beautiful Machines w zakresie projektowania sprzętu; ValenceForge i Emulated w zakresie materiałoznawstwa; Fleet w zakresie dostrajania do ludzkich wartości; oraz Datacurve w zakresie inżynierii oprogramowania.

Domyślny limit czasu na zadanie wynosi osiem godzin, a modele — jeśli to możliwe — działają w swoim natywnym środowisku uruchomieniowym: Claude Code w przypadku Opus 5.5, Codex w przypadku GPT-6 Astra oraz Antigravity w przypadku Gemini 4 Carbon. W pozostałych przypadkach używane jest OpenCode. SemiAnalysis wymagało, aby każdy partner przeszedł automatyczną kontrolę jakości za pierwszym podejściem, dopuszczając co najwyżej drobne błędy, i podaje, że ten sam proces wykrywa usterki w niemal 50% zadań w benchmarku Terminal Bench 4.0.

Krytyka benchmarku GDPval

W ogłoszeniu przedstawiono GDPx jako następcę GDPval firmy OpenAI, opublikowanego 25 września 2025 r., który — jak twierdzą autorzy — pozostaje najpopularniejszym benchmarkiem ogólnego zastosowania uwzględnianym na kartach premier głównych modeli. Autorzy krytykują zadania GDPval za brak interaktywności i podawanie w poleceniu wszystkich niezbędnych informacji na tacy, a także wskazują, że zgodność ocen ekspertów oceniających ten sam materiał wyniosła 71% w złotym podzbiorze benchmarku. Każde zadanie GDPx obejmuje natomiast realistyczne środowisko: na przykład 24 zadania finansowe odtwarzają rzeczywistą transakcję private equity, w której fundusz kupuje około 62% udziałów w producencie przekąsek za 880 mln USD plus dodatkową płatność uzależnioną od wyników, a całą transakcję zrekonstruowano na podstawie około 4000 zanonimizowanych plików.

Wyniki w poszczególnych dziedzinach i wskazane ograniczenia

Według SemiAnalysis Claude Opus 5.5 jest najlepszym modelem wszechstronnym — wygrywa w handlu ilościowym, projektowaniu sprzętu i projektowaniu układów scalonych; Gemini 4 Carbon jest najlepszym modelem do zadań z biologii i nieznacznie wygrywa w inżynierii oprogramowania; a GPT-6 Astra zwycięża w RSI i materiałoznawstwie. SemiAnalysis zastrzega, że klasyfikatory bezpieczeństwa obniżają ogólne wyniki Opus 5.5 i GPT-6 Astra w dziedzinach cyberbezpieczeństwa, biologii i dostrajania do ludzkich wartości, a Muse Wonder Full firmy Meta określa jako najlepszy dostępny model do zadań z cyberbezpieczeństwa, wyraźnie wyprzedzający pozostałe.

Zadania finansowe i prawne są na tyle trudne, że każdy model uzyskuje w nich zero punktów przy przewidzianym ocenianiu binarnym, dlatego SemiAnalysis podaje dla tych dziedzin średnie wyniki częściowe. W handlu ilościowym 70 ze 111 ocenianych przebiegów wypadło gorzej niż strategia referencyjna, którą agent miał pokonać, a żaden model nie rozwiązał publicznego zadania aapl-target-winsorization. W zadaniach z cyberbezpieczeństwa dotyczących dostrajania do ludzkich wartości, opracowanych przez Fleet, 196 z 200 przebiegów naruszyło co najmniej jedną regułę zachowania, a 173 naruszyły regułę uznaną za poważnie niezgodną z oczekiwaniami; w zadaniach z opieki zdrowotnej 19 ze 100 przebiegów uzyskało wynik powyżej zera. Pod względem kosztów SemiAnalysis umieszcza GPT-6 Luna i DeepSeek na dolnym krańcu granicy relacji koszt–wydajność, Opus na górnym, a OpenAI pośrodku.

SemiAnalysis informuje, że GDPx ma być stale rozwijanym benchmarkiem, a nowe wersje mają ukazywać się co 3–6 miesięcy. gdpx@semianalysis.com dla firm zajmujących się danymi zainteresowanych udziałem oraz laboratoriów chcących poddać ocenie przyszłe wersje swoich modeli.