Google、85件のタスクで構成されるエンジニアリング・ベンチマークとエージェント競技会を公開

Google AI & Infrastructureは2026年11月3日、Mercorと共同開発した85課題のエンジニアリング・ベンチマーク「Physical-Engineering’s Last Exam (PLE)」について、公開課題29件、採点ツール、評価用コンテナを公開すると発表した。あわせて、オープンなエージェント競技会とリーダーボードも公開する。

PLEでは、教科書形式の質問に答えたり、単発のツール呼び出しを行ったりするのではなく、機械、電気、土木、構造の各分野で、エージェントが専門的な業務を完遂することが求められる。ベンチマークは機械分野が30件、電気分野が27件、土木分野が18件、構造分野が10件のタスクで構成される。成果は、工学規格や物理的制約を満たし、設計業務ではコストまたは性能の目標も達成する必要がある納品物によって評価される。

論文のarXiv掲載記録によると、初回投稿は2026年10月21日、改訂版の投稿は2026年10月30日だった。今回の新たな動きは、論文の初公開ではなく、タスクと評価ツールの一般公開、および競技会の開始である。

プロジェクトファイルと実務向け納品物

各課題は、MercorのArchipelagoを基盤とするコンテナ化されたプロジェクト環境で実行される。タスクあたりのファイル数は平均61件で、ベンチマーク全体では計5,170件に上る。PDF、スプレッドシート、メール、2D CAD図面、3D BIMモデル、旧版の改訂ファイルなどが含まれる。エージェントは、どの文書や要件が適用されるかを判断し、計算を行ったうえで、技術メモ、計算書ワークブック、機器一覧、図面など、資格を持つ専門家による審査を想定した形式のファイルを提出しなければならない。

実務に携わるエンジニアが、専門家執筆の44件のタスクについて、プロジェクトフォルダー、プロンプト、重み付けされた採点基準を含め、すべてを一から構築した。共同執筆の41件については、エンジニアが最初の概要を作成し、その後、敵対的なCreator–Solverパイプラインが、実際にライセンス可能な資料を基に環境と実行可能な採点システムを構築・テストした。さらに専門家がタスクを検証し、難易度を引き上げた。技術論文によると、いずれのタスクにも専有情報や顧客の機密情報は含まれていない。専門家執筆の環境は一から作成され、共同執筆のタスクで使われるファイルには、パブリックドメインの資料、許諾条件の緩やかなライセンスの資料、または新たに生成した資料が用いられている。

採点でも、成果物を完成させることが同様に重視されている。専門家執筆のタスクでは、提出ファイル内の証拠に基づく重み付け済みの基準が用いられる。共同執筆の設計タスクでは、制約への適合性と経済性または性能の目標を組み合わせて評価する。安全性または実現可能性に関する必須条件を満たせなければ、該当する設計は目標達成に対する評価点を得られない。この目標評価の要素は、採点基準だけに基づく評価の限界を補うものだ。同じ規格要件を満たす配線表でも、設置コストは異なる場合がある。

ベースライン結果が示す適合性の課題

Googleは、一般公開されている7種類のエージェント・ハーネスを使って14モデルを評価し、各構成で各タスクを3回ずつ実行した。ソルバー用コンテナはインターネットに接続できず、1回の実行でエージェントに許された時間は6時間だった。採点基準に基づく評価と実行可能な採点はソルバー用コンテナの外で行われ、採点担当者と参照用成果物がエージェントから隔離された。

Googleによると、非公開の56件のテストセットでは、各モデルを標準のハーネスで実行した場合、いずれもスコアは50%未満だった。最高はClaude CodeでのClaude Opus 5.5で、48.3%だった。競技会のリーダーボードでは、これらの非公開タスクの結果に基づいてモデルが順位付けされる。

論文では、85件すべてのタスクを対象とした別の評価についても報告されており、Claude CodeでClaude Opus 5.5を実行した場合の最高スコアは50.6%だった。この構成では、タスクあたり平均2,700万トークンを使い、平均所要時間は63分、定価でのコストはタスクあたり17.18ドルだった。したがって、上位の2つの数値は異なる評価を示している。一方は標準のハーネスを使った非公開テストセットの評価で、もう一方はベンチマーク全体を対象に、モデルとハーネスの最も優れた組み合わせを評価したものだ。

さらに示唆に富む結果は、共同執筆のタスクに表れている。Googleによると、最も優れた構成は個々の制約の91%を満たした一方、目標達成の評価点を得るために必要な、安全性と実現可能性に関するすべての必須チェックに合格した納品物は、全体の41.3%にとどまった。つまりエージェントは、多くの要件を正しく満たしていても、完全に適合した設計を作成できないことが少なくなかった。これは、PLEの必須制約ゲートが明らかにしようとしている、まさにその隔たりだ。

Googleによると、モデル間のスコア差は約50ポイントに達した一方、同じモデルでハーネスを変えた場合の差の中央値は3ポイントだった。ただし、ハーネスの選択によってスコアとコストは変化した。個々のタスクの結果にも大きなばらつきがあり、タスクとハーネスの組み合わせごとに3回実行した際のスコア幅は平均15.4ポイントだった。このばらつきがあるため、著者らは単発の結果ではなく、複数回の実行の平均を採用している。

競技会ではエージェントの構成全体を評価

公式リポジトリでは、PLEを公開開発用タスク29件と非公開テスト用タスク56件に分けている。参加者は、選択したモデルを各タスクで実行するソフトウェアであるエージェント・ハーネスを、モデルの選択情報と、公開タスクで生成した成果物とともに提出する。主催者は成果物を採点し、再現性を確認するためにサンプルとして選んだ公開タスクでハーネスを再実行したうえで、非公開タスクでは3回実行し、リーダーボードのスコアを決定する。

参加者は、評価サーバー上でGoogle提供の13種類のモデルを無料で利用できるほか、商用モデルのAPIキーを提示したり、セルフホスト型のモデルサーバーに接続したりできます。Apache-2.0ライセンスのリポジトリには、独自のハーネス向けのスターター実装と既存エージェント向けのアダプターが含まれており、参加者は完全な提出物を構築するための複数の出発点を利用できます。

そのため、このコンペティションではモデルの最終回答だけでなく、それ以上のものが評価されます。提出システムには、現実的なプロジェクトファイルを扱い、公開タスクでの結果を再現し、安全性、実現可能性、品質に関する非公開のチェックを通過する完全な成果物を作成することが求められます。ベースラインの結果から、パッケージ全体の要件を満たすことが最大の課題だと分かります。個々の要件の大半を満たしていても、厳格な制約を一つでも満たせなければ、コスト効率に優れた設計であっても客観評価の得点を得られない可能性があるためです。