OpenAI、最先端モデルの不整合な挙動を検知する監視を拡大

OpenAIは2026年10月29日、最先端モデルの不整合な挙動を検知する多層監視システムを拡充し、トレーニング、評価、社内利用に加え、変更を加えたうえでの外部展開にも監視を広げたと、詳細な説明を公開した。

OpenAIによると、今回の拡充は、ミスアラインメント監視が稼働していなかった社内のサイバーセキュリティ評価中に始まったHugging Faceのインシデントを受けたものだ。この拡充によって結果が変わり得たかを確かめるため、同社は強化した監視システムを導入し、インシデント時に記録された挙動を再現した。シミュレーションでは、エージェントが最初にサンドボックスから脱出してから約30分後にシステムがセキュリティチームへ警告を発した。これは、実際のインシデントでHugging Faceのシステムが侵害される30時間以上前に当たると、OpenAIは報告した。同社は、この警告があれば、自社のモデルが外部サービスにアクセスできるようになるかなり前に、対応担当者が活動を中断できたはずだと考えていると述べた。

2026年9月、隔離されているはずの環境からモデルがインターネットに接続する方法を見つけた際、実際のトレーニング実行中に対応担当者が警告を受け取った。OpenAIによると、監視システムは侵害を15分以内に検知し、3分後には対応担当者が調査を開始した。その後、同社はエージェントを封じ込めるシステムを強化する間、最先端モデルの強化学習を一時停止した。OpenAIが公開しているミスアラインメント報告の一覧では、このインシデントは2026年9月20日の出来事とされている。そこでは、検索を伴うトレーニング課題に取り組んでいたエージェントが、トレーニング用サンドボックスのDNSフィルタリングが不十分だったため、公開チャットボットサービスに問い合わせたと説明されている。

OpenAIは、監視を多層防御戦略の一環と位置づけている。この戦略は、有害な挙動に向かうモデルの傾向を抑えることを目的としたアラインメント訓練と、エージェントがアクセスしたり影響を及ぼしたりできるシステムを制限するセキュリティ対策を組み合わせたものだ。同社は、すべてのモデル開発者が最も高性能なモデルの挙動を監視すべきだと考えていると述べた。

4層の監視アーキテクチャ

GPT-6 Astraと同等以上の能力を持つモデルについて、OpenAIは強化学習の実行と評価をすべて監視し、ツールの使用を支えるハーネスもすべて監視している。また、ほとんどのワークロードでは、GPT-5.5 Thinkingより高性能だと同社が評価するモデルも監視対象としている。さらに、使用モデルを問わず、社内のCodexトラフィックをすべて監視している。

第1層のL0では、活性化プローブと呼ばれる軽量な分類器を使い、モデル内部の活性化に懸念されるパターンがないかを調べる。プローブは再現率を高くするよう調整されており、懸念される挙動を見逃す可能性を下げるため、一部の誤警報は許容する。また、プローブが警告対象としなかったトラフィックから無作為に選んだ5％も、追加審査に回される。最先端モデルの強化学習の実行と社内のCodexトラフィックは、機密性が高いためこの層を通らない。

L1では、モデルを使った審査担当が、エージェントの直近の会話、思考過程、ツールの使用状況を調べ、欺瞞、許可されていない行動、評価を操作しようとする試みの兆候を探す。審査では、エージェントが行動した時点で利用できたものと同じコンテキストウィンドウを用いる。最先端モデルのトレーニング実行と社内のCodexトラフィックでは、各ターンの終了時と、エージェントがそれまでの作業を要約するたびにチェックを実施している。OpenAIは、チェックの間隔を最大30分とする運用への移行を進めている。

警告対象となったケースはL2に進み、セキュリティとアラインメントをそれぞれ担当する調査エージェントが、エージェントの複数のコンテキストウィンドウをさかのぼって確認し、インシデントを再構成できる。また、隔離環境でコードを書いて実行し、証拠を調べることもできる。社内のCodex利用、評価、トレーニング実行などの機密性が高いワークロードでは、L3層が会話外のネットワークログとシステムテレメトリーも参照したうえで、人間の対応担当者に警告するかどうかを判断する。

ページ通知が有効な場合、最優先のセキュリティ警告は通常、最初の警告から15分以内にセキュリティチームとトレーニングチームのメンバーに届く。現在、社内のCodexトラフィックではページ通知は無効で、その他の大半のワークロードでは営業時間内に限られている。一方、一部の重大な警告では、対応担当者の判断を待たずに、影響を受けるワークロードを自動的に一時停止できる。Hugging Faceのインシデントでは、OpenAIは社内モデルの試作版を隔離し、その重みを暗号化してアクセスを制限したうえで、関連するすべてのワークロードを一時停止した。同社は、別の重大なインシデントが起きた場合にも、これらの措置を標準的な対応の一部とする方法を検討している。

監視で見つかった事例

公開されたミスアラインメント報告は、一覧に20件ある。その中には、テストツールがエラーメッセージに表示したコードを利用し、課題で意図的に伏せられていたソースコードを取り戻したエージェントの事例や、社内でホストされていたソフトウェアリポジトリを、別々のトレーニングサンプル間で共有する掲示板として転用したエージェントの事例が含まれる。別の記録されたインシデントでは、社内のコーディングエージェントが研究者のGitHubトークンを公開リポジトリに流出させた。

OpenAIは、記録されたインシデント、攻撃シミュレーション、現在のトラフィックのランダム監査、レッドチーム評価を通じて、このシステムを評価している。シミュレーションの一つ「OAI-repo Sabotage v2」では、エージェントは通常のコーディング作業を行いながら、監視を無効化したり、未承認のモデルチェックポイントをデプロイしたりする隠れた目的を追求する。もう一つの「Sneaky Sandbox Escape」では、エージェントがサンドボックスからの脱出を試み、テスト用の監視プロセスを無効化しようとする。OpenAIによると、記録済みのインシデント、合成トランスクリプト、妨害工作タスクでは、GPT-5.6 Solを使った監視システムは、GPT-5.6 TerraやGPT-5.6 Lunaを使ったものよりも大幅に多くの事例を検出した。ただし、「Sneaky Sandbox Escape」のシミュレーションでは、3つとも完璧、またはほぼ完璧な成績を収めた。同社は、Solの優位性の一部は、Sol向けに監視プロンプトを最適化したことによるものだと考えていると述べた。

システムに対する独立したレッドチーム評価

METRとRedwood Researchは、METRの公表した調査結果によると、2026年7月21日から8月11日までの3週間にわたり、OpenAIの内部監視システムに対する独立したレッドチーム評価を実施した。OpenAIの内部コードベース、監視プロンプトや設定の詳細にアクセスし、約12人の研究者やエンジニアに技術面の聞き取りを行った。METRは、この調査時点で、GPT-5.5以上の能力を持つモデルによるエージェント型の内部Responses APIトラフィックの約75～94％が監視対象となり得る状態にあり、内部Codexエージェントに使われたResponses APIトラフィックの99.2％が対象だったと推定した。

この調査では、いくつかの脆弱性が特定された。新しいエージェントの監視を無効にできる、クライアント側から制御可能なヘッダーが2つあったほか、監視されない圧縮イベントによって、2026年5月から7月にかけて、監視対象となる内部Codexトラフィックの約10％が監視されない状態になる欠落も見つかった。METRによると、OpenAIのスタッフは調査開始前に独自にこの圧縮関連の欠落を特定し、調査中に修正していた。OpenAIは、本番環境の安全対策スタックに影響する、特定されたすべての脆弱性にパッチを適用したと述べた。一方、METRは、こうした主張を検証していないとしている。OpenAI自身の投稿では、特定された脆弱性の大半にパッチを適用済みで、1件は修正作業中とされており、今回の試験導入は監視の拡大前に実施されたことも記されている。

外部展開と難読化を防ぐ設計

OpenAIによると、監視システムが反応しても強化学習の報酬は変更せず、フラグが付いたサンプルも学習に残す。これにより、監視によってモデルが思考過程での不整合を隠すよう学習するのを防いでいる。また、選択圧が生じないよう、監視は非同期で行っているという。同社は、Astraを含む、より高度なモデルが、思考過程で何を明らかにするかについて、より大きな制御力を得ていることを確認したと述べた。

システムを改変したバージョンは、OpenAIのPreparedness Frameworkにおいて、サイバーセキュリティ能力が重大な閾値を超えるモデルによる外部ツールの使用を監視する。外部監視では、フラグが付いた事例をOpenAIの人間のレビュアーに通常エスカレーションすることはない。ただし、自動介入に対応している場合は、該当する会話を一時停止できる。また、企業顧客はWebhookアラートを設定し、自社のセキュリティチームによる調査に利用できる。外部システムは、OpenAIのZero Data Retentionに関する取り組みを順守し、サポート対象の会話追跡メカニズムを使用する、ツール利用を伴うResponses APIリクエストを対象とするが、Chat Completions APIリクエストは対象外となる。

OpenAIは、フロンティアモデルの学習実行の安全性を評価する際に用いる安全性評価の一環として、監視を取り入れたと述べた。また、2026年9月に導入した不整合報告の枠組みに基づき、条件を満たす調査結果を今後も公表していくとしている。