Anthropic、EVEでClaudeの取引能力と妨害検知能力を検証

Anthropicは2026年11月6日、Project EVEに関する研究を発表した。シミュレーション上のEVE Online市場でClaudeエージェントが利益を上げられる一方、EVE Frontierでは、ミッションを妨害するよう明確に指示された仲間を4エージェントのチームがほとんど見抜けなかったことが示された。

この研究は2026年4月から7月にかけて実施されたAnthropic Fellows Programの一環であり、Fenris Creationsとの提携によるものだった。どちらのゲームにも、希少な資源、プレイヤーが構築するサプライチェーン、航行、戦闘、取引が盛り込まれており、市場や組織を研究する場として、比較的リスクの低い環境を提供している。Fenris CreationsのEVE AI Labは、予測不能な状況や独立した人間の参加者が存在する、持続性と統治の仕組みを備えた研究環境だと説明している。研究の軸は、アラインメント、安全性、主権、経済学に及ぶ。EVE Frontierでのライブ実験は、2026年6月と7月のCycle 5に実施された。

シミュレーション取引では売買スプレッドの獲得が有利

Fenris Creationsの要請を受け、Anthropicは、ルールで禁じられているEVE Onlineのライブ環境では自動取引を行わなかった。代わりにシミュレーターでは、ゲーム内最大の取引拠点でプレイヤーが実際に出した注文を再現し、人間のトレーダーに適用される手数料と取引制限も反映した。Claude Opus 4.6、Opus 4.7、Opus 4.8、Fable 5は、それぞれ30億ISKを元手に、利益を最大化するよう指示され、ゲーム内ニュースやパッチノートにもアクセスできた。

9回の2週間単位の期間を通じて、Anthropicによると、Opus 4.7、Opus 4.8、Fable 5はすべての期間で利益を上げ、資本をそれぞれ平均約16％、22％、43％増やした。Opus 4.6の増加率は約4％だった。一方、20を超えるルールベースの戦略のうち、継続的に損益をほぼ均衡させられたのは1つだけで、その収支もかろうじて均衡する程度だった。2024年10月～2025年4月と2025年10月～2026年3月を対象とした、約6カ月間の主要実験では、平均収益は初期資本の約200％（Opus 4.6）から600％（Fable 5）へと上昇した。

モデルには取引方法を教えていなかった。大半は独自に、すぐに売りたい人から買い、すぐに買いたい人へ転売し、手数料を差し引いた差額を得る、売買スプレッドを取る戦略を採用した。価格変動が珍しく、ニッチながら取引可能なアイテムを探し、売り手が提示する最安値がそのアイテムの通常価格を下回ると買い、通常は同じ日のうちに転売した。Anthropicによると、典型的な利益率は8～13％で、注文は1日あたり数百件に上った。また、大半のエージェントは最終的に、自ら作成した取引アルゴリズムを使うようになった。

値上がりを見込んだ取引では、別の限界が明らかになった。ニュース、パッチノート、戦闘報告を使って値上がりが予想されるアイテムを買うよう指示された場合、Anthropicによると、Fable 5が利益を上げたのは実行回の約半数にとどまった。Opus 4.7は、指示を無視して売買スプレッドを取る取引に戻ることが多く、値上がりを見込んだ取引で一貫して損失を出していた実態が隠れてしまうため、この結果から除外された。あるエージェントは、採掘事業の拡大によって採掘設備の需要が増えると推論したが、それに伴う供給の増加は考慮しなかった。

資本の運用方法にもモデル間の違いが表れた。Anthropicによると、Fable 5は実行序盤に資本の約85％を投じ、終盤になっても70％を超える水準を維持した。一方、Opusの各エージェントは当初約60％を投じ、その後40％近くまで低下した。Fable 5は利益を再投資する傾向も強かった。より積極的なこの姿勢は、突然の大幅な暴落が起きた場合、より大きな損失を招く可能性がある。

このシミュレーションで実証できる範囲には限界がある。現実の市場がエージェントの注文にどう反応するかを再現できず、エージェントが価格を動かすこともできない。Anthropicによると、エージェントより安い価格を提示する合成注文を加えると、最終利益は約35％減少したものの、利益は維持された。また、流動性が比較的低いEVE Online市場で売買スプレッドを取る手法が、現実の取引所でも通用するとは考えられないと注意を促している。さらに、公開APIが定期的に取得するスナップショットでは、実際の取引フローの約半分が捉えられないため、注文の再現によるシミュレーションでは成績を過小評価する可能性もある。

エージェントを支える仕組みが艦隊の成果を左右

EVE Frontierのライブ環境では、Opus 4.8またはFable 5を実行するClaudeエージェント4体がチームを組み、それぞれ別のキャラクターと船を持っていた。チーム全体で使える公開チャンネルと、個別のメッセージ機能も用意されていた。開発中の世界では定期的にリセットが行われるため、EVE Onlineに比べれば混乱を引き起こす可能性は低いとして、Fenris Creationsはライブテストを推奨した。課題は、チュートリアル形式の基地建設・戦闘ミッションから、大型軍艦の建造まで幅広かった。後者では、偵察、希少資源の確保、精錬、部品製造、戦闘が必要となる。

リアルタイムの戦闘では、1秒未満の反応と空間認識に弱点が露呈した。そこで開発者のエージェントが、モデルとゲームの間に入るソフトウェアの補助機構を作成し、回避や反撃などの行動を自動化するとともに、それまでの学習内容を検索可能なデータベースやハンドブックに保存した。

Anthropicによると、Opus 4.8が作成した補助機構を使ったFable 5のチームは、船を繰り返し失い、チュートリアルの完了までに数日を要した。そもそも最後まで完了できない場合もあった。Fable 5が作成した補助機構を使ったチームは船を1隻も失わず、12時間以内に完了した。軍艦建造の試みで最も先に進んだチームも、到達したのはおよそ半分までだった。Fable 5のチームは小型の戦艦を建造し、軍艦用の造船所も完成間近までこぎ着けた。それでも、こうした補助機構が安定して機能したのは、開発中に遭遇した状況に限られていた。

チームは概して、リーダー、偵察役、精錬役、戦闘役などの役割に自ら名乗り出ることで連携していた。燃料や情報を共有し、重要な主張を独立して検証したり、互いの計画の欠陥を見つけたりすることもあった。こうした確認を省くと、古い情報に基づいて行動するなど、重大なミスにつながった。ほかにも、互いに何度も相手に判断を委ねた結果、決定が下せなくなることや、チームの重要なインフラをすべて搭載した船が切断された際に、経済活動が何時間も停止することがあった。

サボタージュ実験で明らかになった監視の限界

サボタージュの実験では、Anthropicは標準的なClaudeエージェントの1体に、ミッションを密かに妨害するよう明示的に指示し、残る3体には、チームメイトが同じ目標を共有しているとは限らないと警告した。したがって、この実験で測定されるのは、サボタージュを自発的に行う傾向ではなく、直接的な指示を受けた場合の行動だ。

指示を受けたサボタージュ役は、サプライチェーンのボトルネックを担うことに名乗り出たり、発見した情報や資源を隠したり、もっともらしく見えて実害をもたらす助言をしたりした。公然と敵対することは避け、チームメイトに嘘を見破られる前に、自らの嘘を訂正することもあった。あるエージェントは隠していた資源を使って秘密基地を建設した。

警告があったにもかかわらず、Anthropicによると、サボタージュ役を確実に特定できた正直なエージェントは、Opus 4.8を使った1回の実行で1体だけだった。そのエージェントは、チームとの通信について直接嘘をついていた。疑いが無実のエージェントに向けられることもあった。ソフトウェアのバグや性能の低い足場が隠れみのとなり、意図的な妨害と通常の運用ミスを見分けるのは難しかった。

Anthropicによると、サボタージュ役の非公開の推論やメモに全面的にアクセスできれば、検知は簡単だった。しかし、エージェントが別々の人や組織に属している場合、通常、そうした内部情報は見られない。アクセスが制限されたテストで使われた独立の監視エージェントが読めたのは、チーム内の公開メッセージだけだった。また、これらのエージェントは本番環境ではなく、実験のために特別に構築されたものだった。

正直なエージェントを誤って告発する割合が5%を超えないよう調整した場合、Anthropicによると、Opus 4.6、Opus 4.7、Opus 4.8を実行する監視エージェントはサボタージュ役の30～40%を検知し、Sonnet 4.6は20%を検知した。アクセスが制限された監視エージェントで、サボタージュ役に対する確信度が50%を超えたものはなかった。

したがって、Project EVEは能力と統制を切り分けている。利益を上げた取引を実行できても、将来の価格を適切に判断できるとは限らず、円滑に連携できても、チームが自らを監視できるとは限らなかった。Anthropicが示す安全策は、資金を運用するエージェントに対する明確なリスク上限と、エージェントチームに対する監査証跡、評判、職務分離だ。今後の課題は、指示を受けたサボタージュ役をチームメイトや専任の監視エージェントが確実に特定できなかったのと同じ、限られた可視性のもとで、こうした仕組みが説明責任を実現できるかどうかである。