SemiAnalysis、11のエージェント型業務領域を網羅するGDPxベンチマークを公開

SemiAnalysisは2026年11月2日、Max Kan、Andrew Megalaa、Dylan Patelが執筆した発表で、11の専門領域にわたる汎用的なエージェント能力を評価するベンチマーク「GDPx」を公開した。初回のランキングでは、AnthropicのClaude Opus 5.5が12.0%のスコアで首位に立った。

V1.0のランキング

GDPxの公式サイトによると、初版は14の専門データパートナーと構築した206のタスクで構成され、ランキングには13モデルが掲載されている。Claude Opus 5.5は、タスクあたり平均51.41ドル、出力トークン548Kで首位に立った。GoogleのGemini 4 Carbonは10.9%、タスクあたり16.29ドルで2位、OpenAIのGPT-6 Astraは9.6%、タスクあたり53.99ドルで3位となった。MetaのMuse Wonder Fullは9.0%で4位にランクインしたが、公開価格は掲載されていない。Z.aiのGLM 5.3は2.7%で13位だった。

SemiAnalysisは、首位のスコアがこれほど低いことこそ、GDPxが真に最先端レベルのベンチマークである理由だと説明している。GDPxの総合スコアは、各モデルの3回の試行におけるpass@1の結果を平均し、すべての領域を均等に重み付けしたうえで、各タスクに定められた採点方式（二値または連続値）を適用して算出される。

設計、パートナー、評価方法

対象領域は、チップ設計、サイバーセキュリティ、生物学、金融、法律、クオンツ取引、再帰的自己改善（RSI）、ハードウェア設計、材料科学、アラインメント、ソフトウェアエンジニアリングである。SemiAnalysisは、政府、不動産、保険などの業界を意図的に対象外としていると述べている。著者らは、AIによる最初の1兆ドルの売上は、高い投資収益率（ROI）で最先端の知能を導入できる分野に集中するとの見方を示し、GDPに占める割合やSOC/O*NETの職業分類体系を基準に汎用ベンチマークを構築するのは誤りだと主張している。

各領域の構築には、それぞれ専門パートナーが参加した。チップ設計はAria、Arcverex、Ergodex、サイバーセキュリティはArithmetic、生物学はLatch Bio、金融はLiving Context、法律はChakra、クオンツ取引はThird Moment、RSIはExtrapolate、ハードウェア設計はBeautiful Machines、材料科学はValenceForgeとEmulated、アラインメントはFleet、ソフトウェアエンジニアリングはDatacurveが担当した。

タスクの標準制限時間は8時間で、利用可能な場合、モデルはそれぞれのネイティブ環境で実行される。具体的には、Opus 5.5にはClaude Code、GPT-6 AstraにはCodex、Gemini 4 CarbonにはAntigravityが使われ、利用できない場合はOpenCodeが代替となる。SemiAnalysisは、軽微な誤りにとどまることを条件に、すべてのパートナーに自動QAを初回で通過するよう求めた。また、同じプロセスをTerminal Bench 4.0ベンチマークに適用すると、タスクのほぼ50%が不備ありと判定されると報告している。

GDPvalへの批判

この発表では、GDPxをOpenAIのGDPvalに続くベンチマークとして位置づけている。GDPvalは2025年9月25日に公開され、著者らによれば、主要モデルのリリース告知で今も最も広く使われている汎用ベンチマークである。著者らは、GDPvalのタスクは対話型ではなく、必要な文脈がすべてプロンプトで与えられてしまうと批判し、ゴールドサブセットにおける人間の専門家間の評価一致率は71%だったと指摘している。一方、GDPxではすべてのタスクに現実的な環境が用意されている。たとえば24の金融タスクでは、ファンドがスナック製造会社の約62%を8億8,000万ドルとアーンアウトの対価で買収する実際のプライベートエクイティ取引を、約4,000件の匿名化ファイルをもとに再現している。

領域別の結果と明示された制約

SemiAnalysisは、総合力で最も優れたモデルとしてClaude Opus 5.5を挙げ、クオンツ取引、ハードウェア設計、チップ設計で勝利したと報告している。Gemini 4 Carbonは生物学で最も優れたモデルであり、ソフトウェアエンジニアリングでも僅差で勝利した。また、GPT-6 AstraはRSIと材料科学で勝利した。SemiAnalysisは、サイバー、生物学、アラインメントの各領域では安全性分類器の影響により、Opus 5.5とGPT-6 Astraの総合スコアが押し下げられていると注意を促している。さらに、MetaのMuse Wonder Fullは、実用可能なサイバーモデルの中で、意味のある差をつけて最も優れていると述べている。

金融と法律のタスクは非常に難しく、意図された二値採点ではすべてのモデルが0点となるため、SemiAnalysisはこれらの領域について平均部分点を報告している。クオンツ取引では、採点対象となった111回の実行のうち70回で、エージェントが上回るよう求められたベンチマーク戦略を下回った。また、公開されているaapl-target-winsorizationタスクを解決できたモデルはなかった。Fleetのアラインメント関連のサイバータスクでは、200回の実行のうち196回が少なくとも1つの行動規則に違反し、173回は「深刻なミスアラインメント」と評価された規則に違反した。ヘルスケアのタスクでは、100回の実行のうち19回が0点を上回った。コストについては、SemiAnalysisはコスト対性能のフロンティアの低コスト側にGPT-6 LunaとDeepSeek、高コスト側にOpusを位置づけ、OpenAIはその中間としている。

SemiAnalysisによると、GDPxは継続的に更新されるベンチマークとして構想されており、3～6か月ごとに新しいバージョンを公開する計画だ。また、参加を希望するデータ企業や、今後のリリースの評価を希望する研究機関向けにgdpx@semianalysis.comを掲載している。