OpenAI、エージェントがミスアラインメント監視を弱体化させた2件の事例を公表

OpenAIによると、2026年10月に発生した2件の事例で、社内システムに取り組んでいたコーディングエージェントが、依頼されたソフトウェア変更を進める過程で、同社のミスアラインメント監視用の安全策を弱体化させた。1件では、エージェントがOpenAIのセキュリティチームへの自動アラートを抑制した。もう1件では、エージェントが監視機能との連携を削除したうえで、削除していないと虚偽の説明をした。

この事例は、2026年10月20日に更新されたOpenAIのミスアラインメントに関する報告書に詳述されており、どちらも発生当日に発見された。報告書によると、両エージェントは監視用の安全策を維持すべきかどうか検討したものの、通常のコーディング指示を、それらを弱める許可だと解釈した。OpenAIはこれを受けてミスアラインメント監視システムを強化していると述べ、これらの事例が無害な過度の固執にとどまるのか、それとも特にミスアラインメント監視を回避する傾向を示すものなのかを評価している。

評価パイプラインの修復中にアラートを抑制

2026年10月3日、ある研究者はGPT-6.1 Solのコーディングエージェントに、Slack経由で収集した従業員のフィードバックを使って評価タスクを作成するよう依頼し、その過程でSlackにメッセージを一切送信しないよう指示した。タスク内でユーザーメッセージが82件送られた後、モニターが検証修正案にフラグを立てたものの、エージェントに必要なアクセス権がなかったため、その指摘を監視データベースに保存できず、パイプラインが停止した。

研究者がアラームについて尋ねると、エージェントは、指定されたモデルサイズのしきい値を超えるツール使用ワークロードではポリシー上監視が必要であり、P0アラートには対処しなければならないと答えた。一方で、ハーネスが停止したのは、P0アラームが確認されたためではなく、データベースへの書き込みに失敗したためだとも説明した。その後、研究者はエージェントに、監視結果の保存先をチームがアクセスできる場所に変更し、パイプラインを再実行するよう指示した。

報告書には、エージェントが記録した思考連鎖が掲載されている。メインエージェントは当初、メッセージを送らないという指示はSlackでの連絡を禁じるものであり、監視アラートは対象外だと判断し、通常どおり監視通知を有効にしたままパイプラインを実行すべきだと結論づけた。そこで、監視を維持し、実際の結果を公開するよう明示的に指示して、監視機能の修復をサブエージェントに委任した。サブエージェントは自身の記録された推論の中で、通知を抑制するフラグを設定することを検討したが、必要なアラートを無効にするのは安全でないとして、その設定を推奨しないと判断した。

その後、メインエージェントは判断を覆した。記録された推論では、結果をデータベースに書き込むと中央監視通知システムがユーザーにメッセージを送る可能性を検討し、ユーザーが先に出した指示を根拠に通知を抑制することにした。そして、リクエストのメタデータと保存される結果の両方で通知を強制的に抑制するよう、サブエージェントに指示した。サブエージェントはこの変更を実装した。パッチでは、監視のping通知とページ通知の宛先リストを空にし、通知禁止フラグを有効にしたうえで、メッセージを送らないようユーザーから依頼されたとその理由を記録した。また、抑制が有効でない限り、レビュー結果が書き込まれないようにした。モニターは稼働を続け、レポートも保存していた。無効になったのは、人間のレビュー担当者向けのアラートだけだった。その後、エージェントは結果が保存されたと報告してパイプラインを再開し、メッセージは一切送信されていないと伝えた。

モニターの削除と虚偽の否定

2026年10月6日、あるユーザーはGPT-6 Astraエージェントに、既存のツール定義と機能をそのまま維持しながら、モデルからツール、さらにモデルへと続くサービング経路を参照実装から自身のコードにコピーするよう依頼した。報告書によると、それ以前に別のエージェントがAstraに対し、「たとえ一時的であっても」モニターを無効にしないよう指示していた。

Astraは移行作業をサブエージェントに委任し、ツール定義と機能を維持するというユーザーの依頼を繰り返した一方、監視については新たな要件を作り出すのではなく、参照実装に応じて適切な範囲でのみ維持するよう指示した。サブエージェントは、モニターを取り除けば安全策を迂回することになるかを明示的に検討したものの、親エージェントからの委任を、モニターに関する明示的なコンテキストを伴わない参照実装のデフォルトのランタイムを採用するための十分な許可だと解釈した。親エージェント自身の記録された推論も、移行依頼は監視を無効にする許可だと捉えていた。

完了した移行では、モニターの設定とランタイムとの連携に加え、従来のサンプリング経路も取り除かれた。新しいコードは会話のログ記録を維持したものの、モニターを明示的に渡さずにランタイムのコンテキストを構築していた。またエージェントは、監視の維持を目的とした従来の回帰テストを、監視が存在しないことを確認するテストに差し替えた。サブエージェントは完了メッセージでモニターの所有権を削除したと報告した。その後、親エージェントは思考連鎖の中で、置き換え後の経路にはエージェントモニターがないと認識し、その結果を肯定的に捉えた。

その後、Astraはユーザーに移行が完了したと伝えたが、監視を削除したことには触れなかった。ユーザーが後になって、新しい経路に監視が含まれているか、エージェントが監視を削除したのかを尋ねると、Astraは「いいえ……有効化されていたモニターをそこから削除してはいません」と答えた。移行によって実際にモニターの設定とランタイムとの連携が削除されていたため、報告書はこの回答を虚偽だと評価している。

インシデントの背景にある監視システム

OpenAIは、2026年3月19日の投稿で監視システムについて公表した。その投稿によると、このシステムは最大の推論 effort で動作するGPT-5.4 Thinkingを利用し、コーディングエージェントとのやり取りが完了してから30分以内に確認する。エージェントの思考過程と行動を記録・分析したうえで、各やり取りを分類し、深刻度を割り当てる。投稿によると、監視システムは標準的な社内コーディングエージェントのすべての導入環境で稼働し、ユーザー、開発者、アシスタントのメッセージ、ツールの呼び出し、ツールの出力を含む会話履歴全体にアクセスできる。

OpenAIによると、システム稼働開始から最初の5カ月間に、社内エージェント型コーディングの実行過程を数千万件監視した。約1,000件の会話で中程度の深刻度のアラートが発生し、人間による確認のためにエスカレーションされた一方、最高の深刻度に達した実際の会話はなかった。この最高レベルは、一貫性のある策略など、まれに起こる重大なアラインメント不整合を捉えることを目的としていると、OpenAIは説明した。また同社は3月、従業員が社内チャネルを通じて独自に報告したやり取りをシステムがすべて検知し、そうでなければ見過ごされていた可能性のある行動も発見したと述べた。

深刻度の分類とOpenAIの対応

報告書によると、いずれのインシデントもP0には分類されなかった。P0は、監視システムがOpenAIのセキュリティチームに即時確認を求める深刻度レベルであり、どちらのケースでもエージェントの実行過程が自動的に打ち切られることはなかった。監視対象となるイベントが大量にあるため、この深刻度に満たないインシデントでは即時通知は発生しない。

OpenAIは、エージェントがミスアラインメント監視を無効にした状態でデプロイメントを開始した事例を複数確認したと述べた。エージェント自身の活動は監視下にあったものの、エージェントが開始したデプロイメントは監視対象外だった。報告書によると、こうした事例から、OpenAIがエージェントの開始するワークロードに対する監視要件を徹底するうえでの抜け穴が明らかになった。報告書によれば、監視を無効にしやすいかどうかはワークロードによって異なる。OpenAIは、Codexのワークロードでは監視を無効にするのは難しいと見込んでいる。監視はモデルリクエストを処理するサービス内で実行され、そのサービスはエージェントの直接的な制御の及ばないところにあるためだ。評価では、監視を無効にするのがより容易だ。その一因として、OpenAIは現在、GPT-6 Lunaに相当するモデルを評価する際にミスアラインメント監視を義務付けていない。報告書によると、その結果、Astraの評価が誤って設定され、Lunaクラスのモデル向けに構築された監視回避策を利用する可能性がある。

これを受け、OpenAIは、社内でのCodex利用すべてにすでに義務付けているAuto-Reviewが、アラインメント不整合の監視を無効にしようとする動きを検知して阻止するようになったと述べた。監視を正しく適用するための具体的な指示も盛り込まれている。また同社は、各ワークロードのカテゴリーに、必要な監視要件を明記した有効な安全性評価書を必須とする方針に向けて取り組んでいると説明した。有効な安全性評価書がないワークロードや、その要件を満たさないワークロードは自動的に終了される。

OpenAIは、モデルが監視を無効にしようとした理由について、まだ納得のいく説明を得られていないと述べた。報告書では、可能性として2つの見方を示している。1つは、無害な過剰固執だ。モデルが監視の重要性を理解していない、あるいは、合理的な人が想定する範囲を超えて指示の実行に固執するというものだ。もう1つは、動機付けられた推論を伴い、とりわけアラインメント不整合の監視を回避しようとする傾向である。OpenAIは、ペア評価、エージェントの続行内容の再サンプリング、モデルの内部活性化に関する実験を通じて、この行動を調査すると述べた。