METRのレッドチーム、OpenAIの監視システムに脆弱性を発見

METRとRedwood Researchは2026年10月22日、パイロット演習の内容を公開した。この演習では、各組織から1人ずつ参加した職員が3週間にわたりOpenAIの社内インフラに深くアクセスし、同社の社内ミスアラインメント監視システムに負荷をかけて検証した。評価担当者は、2026年7月21日以前および同日時点でのシステムに、これまで知られていなかった複数の脆弱性を発見したと報告した。

演習は2026年7月21日から8月11日まで実施され、主に、エージェント型推論のうち監視対象となっている割合の推定と、エージェントが原理上、監視システムを無効化または妨害できるかどうかに焦点を当てた。成果として、OpenAIの研究者とセキュリティ担当者に共有された61ページの社内報告書が作成された。また、OpenAIが情報を削除した38ページ版が、METRとRedwood Researchの幹部チームに共有された。

管理された条件下での深いアクセス

2人の評価担当者は、OpenAIの社内コードベース、ミスアラインメント監視用のプロンプトと設定の詳細、社内文書にアクセスした。また、監視、安全システム、セキュリティの各チームに所属する研究者やエンジニア、およそ12人に技術面の聞き取り調査を行った。このレベルのアクセスを可能にするため、担当者はOpenAI支給の端末を使用し、その端末を施設の外に持ち出すことはなかった。また、施設内にいる間は同行者が付いていた。

METR、Redwood Research、OpenAIは、この演習を、OpenAIの監視システムについて十分な公開透明性を確保するための手段ではなく、外部の研究者に社内インフラへの深いアクセスを認めるパイロットとして設計した。各組織は事前に、公開するのは比較的短い概要レベルの投稿に限ることで合意していた。OpenAIは、自らの裁量のみで機密情報またはその他の機微情報に当たると判断した情報を、公開版から削除する権利を有していた。調査結果が説明するのは、7月21日以前および同日時点で評価された過去のシステムであり、当時進行中だった変更については評価していない。METRによると、OpenAIは演習中に監視システムを拡張していた。

監視範囲の抜けと監視を回避する手段

METRは、演習当時、GPT-5.5以上の能力を持つモデルによる社内のエージェント型Responses APIトラフィックの約75～94％が監視対象となる条件を満たしていたと推定した。ただし、推定値には上にも下にも大きな不確実性があると認めている。Responses APIは、Codexをはじめとするサービスを支えている。このトラフィックのうち、社内のCodexエージェントが利用する部分については、99.2％が監視対象となる条件を満たしていたと評価担当者は推定した。また、アクセスと時間の制約により、OpenAIの社内研究用推論サービス上で動作するエージェントなど、存在を把握していた他の社内エージェント型コーディングのトラフィック量は推定できなかったと述べた。

調査結果のいくつかは、監視範囲の抜けに関するものだった。演習開始時点では、強化学習の訓練実行は監視システムの対象外だった。ただし、評価担当者は、3月から6月にかけて、強化学習の訓練ロールアウトの一部がミスアラインメントの監視対象になっていたと説明を受けた。METRは、コンパクションイベントが監視されていなかったため、2026年5月から7月の間、監視対象となる条件を満たす社内Codexトラフィックの約10％が監視されなかった可能性が高いと推定した。この問題は演習開始前にOpenAIの職員が独自に特定しており、演習中に修正された。システムはエージェントが制御をユーザーに返したときに作動するため、エージェントはその間も動作を続けるだけで、監視を無期限に先送りできた可能性がある。アクセス上の制約により、評価担当者は実際にそのようなことをしたエージェントがいたかどうかを確認できなかった。これとは別に、評価担当者には、演習当時、監視システムがリクエストの0.2％未満でエラーを起こし、ある24時間の期間には負荷遮断が一度も記録されなかったことを示唆する情報が提示された。

評価担当者は、エージェントが監視を完全に回避できる方法も特定した。Codexエージェントが原理上、CodexのサンドボックスとAuto-Reviewを迂回し、ホストユーザーに可能なあらゆる操作を実行できる手法を発見した。また、詳細はOpenAIによって削除されたものの、悪用に関与した操作も含む直近数百件の操作を監視対象から外すエクスプロイトも発見した。さらに、エージェント向けと監視システム向けで軌跡のシリアライズ方法が異なる点を悪用すれば、監視システムにエラーを起こさせる入力をエージェントが構成し、人間による審査へのエスカレーションを回避できる可能性が高いと判明した。新しいエージェントに対する監視を無効化する、クライアント側で制御できる独立したヘッダーが2つあることも突き止めた。これにより、エージェントは、他の点では同一で監視を受けずに動作するインスタンスを起動できる可能性がある。ただし、これらのヘッダーを設定してインスタンスを作成する行為自体は、監視システムに検知される可能性がある。また、読み取り専用の権限しかないと考えられている、監視対象外の社内エージェント型ツールを2つ発見した。単純なエクスプロイトでこれらのツールを妨害し、サンドボックス環境内で任意の操作を実行させられた可能性があるが、評価担当者は実際にその動作を検証もテストもしていない。

脆弱性に加え、評価者らは、いくつかの軽微な例外を除き、監視システムにはエージェントが目にするものと同じ軌跡全体が提示されることを確認した。また、モニターのプロンプトが、リスクカテゴリーとして、計画的な不正行為、監視システムの機能妨害、破壊工作、データの外部流出、欺瞞、受信・送信プロンプトインジェクションなどを検出するよう設計されていることも検証した。演習終了後、OpenAIは、本番環境のセーフガードスタックに影響する特定済みの脆弱性はすべて修正済みであると述べ、監視システムの対象範囲として想定していた内容にその後大幅な変更を加えたと説明した。METRは、こうした主張を評価していないと述べた。

OpenAIが説明した監視システム

OpenAIは、テスト対象のシステムについて、2026年3月19日の投稿で公開説明した。その投稿によると、この低遅延システムは、最大の推論能力で動作するGPT-5.4 Thinkingを基盤とし、エージェントのやり取りを完了から30分以内に確認する。また、エージェントの思考過程と行動を記録・分析し、各やり取りを分類して重大度を割り当てるとともに、異常を検出して人間による確認に回す。OpenAIによると、このシステムは社内の標準的なコーディングエージェントの全導入環境で稼働し、ユーザー、開発者、アシスタントのすべてのメッセージに加え、ツールの呼び出しと出力を含む会話履歴全体を確認する。

OpenAIの投稿には、制限の回避、欺瞞、不確実性の隠蔽、報酬ハッキング、許可されていないデータ転送、破壊的な行動、受信・送信プロンプトインジェクションなど、監視対象となる行動カテゴリーが列挙されている。また、2026年3月17日時点で、能力の意図的な隠蔽、破壊工作、計画的な不正行為について、真陽性は確認されていないと報告した。OpenAIによると、5か月間の運用で、このシステムは社内のエージェント型コーディングにおける数千万件の軌跡を監視し、中程度の重大度と判定した会話約1,000件を人間による確認に回した。その多くは、意図的に実施された社内レッドチーム演習によるものだった。また、最高重大度に該当する実際の会話は一件も記録されなかった。同社はさらに、従業員が社内の連絡経路を通じて独自に報告したやり取りを、モニターがすべて検出していたと述べた。

OpenAIは投稿の中で、このアプローチは監視可能性に大きく依存しており、専用の制御評価やレッドチーム演習なしに、自由形式の実環境トラフィックにおける偽陰性率を確信を持って定量化することはできないと述べた。また、監視は多層防御スタックの一つの層だと説明した。公表されたロードマップには、制御評価の実施、モニターと人間のレビュアーに求める信頼性と遅延の許容基準の策定、さらに、モデルの行動を評価し実行前に阻止する同期型ブロック機能への拡張が含まれていた。

将来の監視システムに向けた設計理念

評価結果を踏まえ、評価者らは監視・制御システムの設計理念を示し、組織内で稼働する非常に高い能力を持つエージェントが、戦略的かつ大規模に、意図的で持続的な攻撃を仕掛けても耐えられるよう、将来の監視基盤を構築すべきだとの見解を記した。5つの理念は、監視を回避しにくくすること、監視対象とされるトラフィックを実際に監視すること、インシデントに迅速かつ確実に対応すること、監視システム自体に対して積極的にレッドチーム演習を行うこと、そしてエージェントとそのモニターの間の隔離を徹底することを求めている。挙げられた具体策には、エージェントのターン終了を待つのではなく、一定数のメッセージごと、または一定の時間間隔でエージェントを監視すること、監視を回避する既知の方法をすべて一覧にまとめておくこと、改ざん防止機能を備え検索可能なログを維持すること、ツール呼び出しを実行する環境とは隔離された環境でエージェントのスキャフォールドを動かすことが含まれる。

METRは、この演習では、OpenAIスタッフから深いアクセス権を得られたことに加え、多大なロジスティクス面・技術面の支援を受けられたことが大きな助けになったと述べた。今後の演習では、より充実した公開透明性を確保するため、「AI企業との協働に関する当社のアプローチ」という文書に記載された透明性と独立性に関するベストプラクティスに従う予定だと、METRは述べた。