SemiAnalysis, 11개 에이전트형 전문 분야를 아우르는 GDPx 벤치마크 출시

SemiAnalysis는 2026년 11월 2일, 11개 전문 분야의 범용 에이전트 역량을 평가하는 벤치마크 GDPx를 발표했다. 발표문은 Max Kan, Andrew Megalaa, Dylan Patel이 작성했다. Anthropic의 Claude Opus 5.5가 첫 리더보드에서 12.0%의 점수로 선두를 차지했다.

V1.0 리더보드

GDPx 공식 사이트에 따르면 첫 버전은 전문 데이터 파트너 14곳과 함께 구축한 206개 과제로 구성되며, 리더보드에는 13개 모델의 순위가 매겨져 있다. Claude Opus 5.5가 과제당 평균 비용 51.41달러, 출력 토큰 548K개로 1위를 차지했다. Google의 Gemini 4 Carbon은 10.9%, 과제당 16.29달러로 2위에 올랐고, OpenAI의 GPT-6 Astra는 9.6%, 과제당 53.99달러로 3위를 기록했다. Meta의 Muse Wonder Full은 9.0%로 4위에 올랐으며 공개 가격은 기재되지 않았다. Z.ai의 GLM 5.3은 2.7%로 13위에 그쳤다.

SemiAnalysis는 최상위 점수조차 매우 낮다는 점이야말로 GDPx를 진정한 최첨단 수준의 벤치마크로 만든다고 설명한다. 주요 GDPx 점수는 모델별 3회 시도 결과에서 pass@1 점수의 평균을 구하고, 모든 분야에 동일한 가중치를 적용한 뒤, 각 과제에 지정된 채점 방식인 이진 또는 연속형 방식을 사용해 산출한다.

설계, 파트너 및 방법론

평가 분야는 칩 설계, 사이버 보안, 생물학, 금융, 법률, 퀀트 트레이딩, 재귀적 자기 개선(RSI), 하드웨어 설계, 재료 과학, 정렬, 소프트웨어 엔지니어링이다. SemiAnalysis는 정부, 부동산, 보험 같은 산업은 의도적으로 제외했다고 밝혔다. 저자들은 AI 매출의 첫 1조 달러가 높은 투자수익률(ROI)로 최첨단 지능을 도입할 수 있는 분야에 집중될 것이라고 주장한다. 또한 GDP 비중이나 SOC/O*NET 직업 분류 체계를 바탕으로 범용 벤치마크를 만드는 것은 잘못이라고 지적한다.

각 분야는 전문 파트너와 함께 구축됐다. 칩 설계는 Aria, Arcverex, Ergodex, 사이버 보안은 Arithmetic, 생물학은 Latch Bio, 금융은 Living Context, 법률은 Chakra, 퀀트 트레이딩은 Third Moment, RSI는 Extrapolate, 하드웨어 설계는 Beautiful Machines, 재료 과학은 ValenceForge와 Emulated, 정렬은 Fleet, 소프트웨어 엔지니어링은 Datacurve가 맡았다.

과제의 기본 제한 시간은 8시간이다. 사용할 수 있는 경우 모델은 각 모델의 기본 하네스에서 실행된다. Opus 5.5는 Claude Code, GPT-6 Astra는 Codex, Gemini 4 Carbon은 Antigravity를 사용하며, 이들 환경을 사용할 수 없을 때는 OpenCode를 대체 환경으로 쓴다. SemiAnalysis는 모든 파트너에게 자동화된 품질 보증(QA)을 첫 시도에 통과하도록 요구했으며, 허용되는 오류는 사소한 수준에 그쳤다. 또한 같은 절차를 적용하면 Terminal Bench 4.0 벤치마크 과제 중 거의 50%가 문제가 있는 것으로 판정된다고 밝혔다.

GDPval 비판

발표문은 GDPx를 OpenAI의 GDPval을 잇는 벤치마크로 소개한다. GDPval은 2025년 9월 25일 출시됐으며, 저자들에 따르면 주요 모델 출시 자료에서 가장 널리 쓰이는 범용 벤치마크로 여전히 남아 있다. 저자들은 GDPval의 과제가 상호작용형이 아니며, 필요한 맥락을 모두 프롬프트에 미리 제공한다고 비판한다. 또한 골드 하위 집합에서 인간 전문가 간 평가자 일치도가 71%였다고 언급한다. 반면 GDPx의 모든 과제에는 현실적인 환경이 제공된다. 예를 들어 금융 과제 24개는 펀드가 스낵 제조업체 지분 약 62%를 8억 8,000만 달러에 더해 추가 성과급을 지급하는 조건으로 인수하는 실제 사모펀드 거래를 재현하며, 약 4,000개의 익명화된 파일을 바탕으로 재구성됐다.

분야별 결과와 명시된 한계

SemiAnalysis는 Claude Opus 5.5가 퀀트 트레이딩, 하드웨어 설계, 칩 설계에서 우승해 전반적으로 가장 뛰어난 모델이라고 평가했다. Gemini 4 Carbon은 생물학 분야에서 가장 뛰어났고 소프트웨어 엔지니어링에서도 근소한 차이로 앞섰다. GPT-6 Astra는 RSI와 재료 과학에서 우승했다. 다만 Opus 5.5와 GPT-6 Astra의 종합 점수는 사이버 보안, 생물학, 정렬 분야에서 안전성 분류기가 성능을 낮추는 바람에 실제보다 낮게 나왔다고 주의를 당부했다. 또한 Meta의 Muse Wonder Full은 상당한 격차로 현재 이용 가능한 사이버 보안 모델 가운데 가장 뛰어나다고 설명했다.

금융 및 법률 과제는 난도가 높아 의도된 이진 채점 방식으로는 모든 모델이 0점을 받는다. 이에 SemiAnalysis는 해당 분야의 평균 부분 점수를 보고한다. 퀀트 트레이딩에서는 채점 대상 실행 111건 중 70건이 에이전트가 이기도록 요청받은 기준 전략보다 낮은 성과를 냈으며, 공개된 aapl-target-winsorization 과제를 해결한 모델은 없었다. Fleet의 정렬 분야 사이버 보안 과제에서는 실행 200건 중 196건이 행동 규칙을 하나 이상 위반했고, 그중 173건은 심각한 정렬 불일치로 평가된 규칙을 위반했다. 의료 과제에서는 실행 100건 중 19건이 0점을 초과했다. 비용 측면에서 SemiAnalysis는 GPT-6 Luna와 DeepSeek가 비용 대비 성능 프런티어의 저비용 쪽에, Opus가 고비용 쪽에, OpenAI가 중간에 위치한다고 평가한다.

SemiAnalysis는 GDPx를 지속적으로 갱신되는 벤치마크로 운영할 계획이며, 3~6개월마다 새 버전을 출시할 예정이라고 밝혔다. 참여에 관심 있는 데이터 기업과 향후 출시 모델의 평가를 원하는 연구소를 위해 gdpx@semianalysis.com도 안내하고 있다.