2020年から人間が書いたコードが、Vibe-Codedエージェントをアジェンティックテストで破った

ChatGPTやその他のVibe-Codingツールが約4万試合でテストされたが、大規模言語モデル（LLM）が発明される以前の2020年に大学院生が書いたコードに敗れた。

イギリスの新しい研究では、研究者は人間が書いたコードを使用したエージェントと、最新のLLMを使用して開発されたVibe-Codedエージェントを比較した。結果は、AIを使用しなかったエージェントが、AIを使用したエージェントを簡単に破ったことを示した。

両方のエージェントは、スイス連邦工科大学ローザンヌ校の異なる世代の学生によって作成された。非AIエージェントは2020年に作成されたもので、ChatGPTやLLMの革命が始まる2年前に、現在の学生によって作成されたエージェントは、利用可能な最新のLLMを使用して作成された。

試合を組むことで、Vibe-Codedソリューションは勝つことができなかった。トップ5のスポットは一貫して「生」のエージェントによって占められ、多くのLLMエージェント（40人のうち33人）は、非常にシンプルなベースラインエージェントによって容易に破られた。38,304のチャレンジ、多数の変数と状況を横断する12のトーナメントで。

論文では次のように述べられている。

‘私たちの研究は、最先端のLLMがコードを生成できる（つまり、構文エラーがない）が、生成されたソリューションは、戦略的計画、最適化、またはマルチエージェント競争などの次元で人間が設計したソリューションに比べると競争力がないことを示している。 ‘

‘したがって、この研究は、コード生成の新しいフロンティアを強調し、ベンチマーク、データセット、オープンソースのベースラインの開発を促進することを目的としている。 ‘

課題は、さまざまな戦略を使用してオークションに参加し、獲得したアイテムを勝者に配達するためのロジスティクスを整えることだった。

著者は、LLMにいくつかの利点を与えたことを指摘している。たとえば、コードに介入してパフォーマンスを向上させることができた。にもかかわらず、LLMはそれを利用できなかった。

‘[私たちの]ベンチマークでは、良いソリューションをコンテキストで公開した場合でも、LLMはそれを利用できない。 ‘

‘この結果は、複雑なシナリオでのインコンテキスト学習とリトリーバル増強問題解決の限界について、興味深い将来の研究質問を提起する。 ‘

テストに使用されたLLMは、GPT-5 Thinking、Gemini 2.5 Pro、Claude Opus 4.1、およびDeepSeek R1*だった。

新しい論文は、Can Vibe Coding Beat Graduate CS Students? An LLM vs. Human Coding Tournament on Market-driven Strategic Planningというタイトルで、サウザンプトン大学とオックスフォード大学のアラン・チューリング研究所の2人の著者によって執筆された。このベンチマークは、近くにリリースされる予定である。

方法

著者は、従来のテストは、明確に定義された二項ソリューション（正しいまたは不正しい）に焦点を当てていると主張している。ユニットテストを介して検証される。LLM支援コードの限界を探求するための理想的な方法ではないと主張し、代わりに、複数の内部ベンチマークとマイルストーンを備えた、より複雑なチャレンジシナリオを設計した。

標準的なユニットテストベースのアプローチ（上）と、著者が設計したよりオープンなチャレンジシナリオ（下）の比較。 ソース

オークション、ピックアップ、配達問題（APDP）は、スイスの大学から2020年の学生の仕事のコーパスが利用できるため、部分的に自己選択された。したがって、現代の学生に同じ課題を与え、現在のツールを利用できるようにすることは比較的容易だった。

著者は、HumanEval、BigCodeBench、およびWebDev Arena（およびその他多数）などの人気テストフレームワークを避けることを目指した。なぜなら、このクラスのテスト手順は、データ汚染（システムがテストデータでトレーニングした場合、またはスプリットを尊重しない場合）に苦しむことが多いからである。

APDPは、逆オークションと車両ルーティングに基づく2段階のロジスティクス問題である。最初の段階では、エージェントは各タスクの実行に対して支払われるべき金額を提示して、配達タスクを獲得するために競争する。高すぎる入札はタスクを失うことを意味し、低すぎる入札はお金を失うことを意味する。

2段階目では、各エージェントは、獲得したタスクのみを実行するための効率的な計画を作成し、異なる容量とコストを持つ車両にタスクを割り当てる必要がある。時間とリソースの制約の下で。

APDPでは、企業は逆オークションで配達タスクに参加し、獲得したタスクのみを実行するために車両のルートを最適化する。目標は、タスクのバンドルを予測し、競合他社の戦略を予測することで、利益を最大化することである。

目標は、タスクを完了することだけではなく、将来の選択の風景を再定義する各入札を予測し、最大の利益を上げるタスクのバンドルを見つけることである。

APDPベンチマークは、シーケンス内の相互依存するオークションを介した戦略的計画を導入することで、コード生成タスクの難易度を高める。各入札は将来の選択の風景を再定義するため、エージェントは、直近のコストだけでなく、位置、タイミング、長期的な結果についても推論する必要がある。

コアの配達問題は、NP-hardである。つまり、アルゴリズムは、タスクの数が増加するにつれて、合理的な時間内で最適なソリューションを見つけることができない。つまり、ブルートフォースアプローチは実行不可能となり、エージェントは精度と速度のトレードオフを迫られる。

レースは始まった

著者の評価では、40のLLMコード化されたエージェントが17の人間コード化されたエージェントと対戦した。各トーナメントでは、4つの異なる道路ネットワークトポロジーを使用し、すべてのエージェントが他のすべてのエージェントと2回対戦する全対全のペアリングで対戦した。合計で38,304試合が行われた。

各試合では、50の配達タスクがオークションで競われ、ピックアップとドロップオフのポイントと重量が定義され、スイス、フランス、イギリス、オランダの道路レイアウトに基づいてランダムに抽出された。

トーナメントで使用された簡略化された道路ネットワーク：イギリス（上左）、スイス（上右）、オランダ（下左）、フランス（下右）。青と赤の正方形はピックアップとドロップオフのタスクを示し、色付きの三角形はエージェントの車両の現在の位置を示す。

学生エージェントは、2020年のコーストーナメントから選ばれた。8人はシングルエリミネーションファイナルのトップパフォーマーから選ばれ、4人はベースラインエージェントとのヘッドツーヘッドマッチでの強いパフォーマンスで選ばれた。

ベースラインエージェントは固定されたヒューリスティックに従った。 Naive は合計距離を計算し、1台の車両のみを使用してバッチングを無視して入札した。 ExpCostFixedBid は10のランダムなタスクをシミュレートし、平均の辺境コストで入札した。 Honest はタスクをスケジュールに挿入する際の実際の辺境コストを計算した。 ModelOpponent は同じことを行ったが、対戦相手のコストの推定を加算して入札した。 RiskSeeking は時間減衰の事前情報と生コスト推定および対戦相手モデリングを組み合わせて、両方のうち高い方で入札した。

評価には、GPT-5 Thinking、Claude Opus 4.1、Gemini 2.5 Pro、DeepSeek R1を使用して構築された40のLLMコード化されたエージェントが含まれた。各モデルは、5つの異なる戦略でプロンプトされ、各モデルで2回適用された。

2つの戦略では、異なる著者によって書かれた静的なプロンプトが使用され、3つ目はモデルが自分の出力を自己批評および修正するように求めた。別の戦略では、別のLLMによる批評および修正が行われた。最終的な戦略では、GPT-4がすべての前のアプローチをレビューして新しいプロンプトを生成することだった。

ベースのプロンプトは、元の学生課題を反映しており、配達環境を説明し、モデルに高複雑度の方法に頼ることなく、利益を最大化するために入札および計画するように指示していた。

すべてのLLMエージェントは、自己対戦およびトーナメント設定でテストされ、すべての観察可能なバグが修正されるまで続けられた。バグ修正は、LLM自体によって、エラー情報でプロンプトされたものだった。

論文では、次のように述べられている。

‘LLMは、シンプルなコードを生成できたが、競争力のあるコードを生成することはできなかった。 ‘

‘私たちの結果は、LLMコード生成の重要な限界を強調しており、特にコード生成における推論と計画能力の限界を示している。 ‘

テーブルは、12のダブルラウンドロビントーナメントからの結果をまとめたもので、4つのネットワークトポロジーと3つのトーナメントを網羅し、合計で約4万試合が行われた。

各エージェントはトーナメントごとに112試合をプレイしたため、平均勝利数または平均敗北数の最大可能値は112である。標準偏差（SD）は、トーナメント間の変動を反映する。人間コード化されたエージェントは太字で表示される。LLMコード化されたエージェントは、モデル（O = GPT-5 Thinking、G = Gemini 2.5 Pro、A = Claude Opus 4.1、D = DeepSeek R1）でラベル付けされ、2文字のプロンプト戦略コードと、エージェントがそのプロンプトで生成された最初か2番目かを示す数字で続く。 ソース

著者は、次のように述べている。

‘LLMは、期待される/競争力のあるコードを生成できなかった。 ‘

‘私たちの結果は、人間コード化されたエージェントの明確な優位性を示している。 ‘

‘学生コードをデバッグしなかった（LLMコードは自己対戦とトーナメント設定の両方で徹底的にテスト/デバッグされた）。学生エージェントがクラッシュした場合、勝利はLLMに自動的に与えられた。多くのクラッシュは簡単に修正できた（例：エージェントがタイムアウトした）。したがって、学生エージェントはさらに高くランクインする可能性がある。 ‘

さらに、GPT-5 Thinkingは、トップの人間エージェントであるStudent 1のコードを改善するようにプロンプトされた。しかし、LLMによって修正されたエージェントは、10位に終わり、人間のスコアの中で最も低くなった。LLMの変更は、元のソリューションを約20%低下させた。
著者は、次のように結論付けた。

‘[私たちの]結果は、LLMコード生成の重要な限界を強調しており、特にコード生成における推論と計画能力の限界を示している。 ‘

結論

著者は、Vibe-Codingが技術的な背景を持たない人々をエンパワーメントし、実践を肯定的にとらえている。ただし、Vibe-Codingはまだ新しい分野であり、その限界はまだ知られていないか、現実的に期待できる以上に高い可能性があるとも示唆している。

著者は、コードがコンパイルされるのではなく、コードが競争することを目標にすべきだと主張している。

この新しい論文を読む読者が抱く疑問の1つは、著者がパンチを上方向に加えているか、下方向に加えているかということである。なぜなら、質問にあるエージェントタスクは、Vibe-Codingが適しているような、PowerShellスクリプトやその他の小さな機能と修正を生成することよりもはるかに複雑で関与しているからである。

* 論文では、’DeepThink R1’という用語が繰り返し出てくるが、これは存在しないように見える（おそらく他の著者が’DeepSeek R1’と間違えたため、インターネット上にはほんの少しの参照しかない）。これが私の間違いである場合は、プロフィールの詳細を通じて私に連絡してください。私はそれを修正するだろう。

^† 著者の強調であり、私のものではない。

2025年11月26日水曜日に初めて公開され、17:35 ESTにフォーマットのために修正された。