規制
OpenAI、最先端モデルのリリースをライフサイクル全体の安全性レビューと連動

要点OpenAIの階層型安全フレームワークは、封じ込めとアラインメント制御が連携して機能することを前提に、リリースのペースを決定する。
もっと見る
- OpenAIの階層型安全フレームワークは、封じ込めとアラインメント制御が連携して機能することを前提に、リリースのペースを決定する。
- コントロールルームはフロンティアモデルの出力を35秒以内に停止でき、利用できない場合には推論を拒否する。
- 9月のインシデントでは、監視アラートにもかかわらず、自動停止の失敗と人間による介入の遅れが明らかになった。
OpenAIは2026年11月18日、最先端モデルが研究段階から社内展開、さらに外部公開へと進む前に安全性レビューを義務付ける枠組みを提示した。根拠が不十分な場合は、訓練を一時停止するか、モデルの公開を見送るとしている。
このアプローチは、モデルのアラインメント、セキュリティとサンドボックス化、実行を阻止する安全策、監視と対応という4つの層を組み合わせている。アクセス範囲の拡大に応じて各層の比重は変わり、研究段階では封じ込めを重視する一方、展開段階ではアラインメントとシステムレベルの制御に重点を移す。OpenAIによると、より強い証拠を求めることでモデルのリリースは遅くなり、開発のペースは各種保護策が連携して機能するかどうかに左右される。
この統合的な説明は、OpenAIが2026年10月に詳述した2つの施策、すなわち訓練時の封じ込め体制の抜本的な見直しと、最先端モデルのアラインメント逸脱に対する監視の拡充を基盤としている。どちらか一方で十分とするのではなく、両施策を一連のレビューの中に位置付けている。
研究段階の制御と迅速な停止
OpenAIの研究基準では、最先端モデルの訓練中にインターネットへリアルタイムで接続することを認めていない。権限を制限したサンドボックス、仮想マシン、ネットワークおよびクラウドの境界によって、各ワークロードを隔離する。同社で最も高性能なモデルを使うチームは、インターネットへの接続、セキュリティ制御の回避、隔離されたエージェントへの接触を試み、こうした境界を継続的にテストする。その一方で、監視システムは最先端モデルのすべての推論を監視し、侵害が成功した場合に検知する。
制御室はすでにOpenAIの研究インフラ全体に導入されており、介入の仕組みを担う。エージェント型推論を用いる研究ワークロードはすべて、ジョブ識別子を受け取る前に、承認済みの安全性ケースと関連付けられていなければならない。推論エンジンはその識別子を制御室に照会する。制御室は後続のリクエストを拒否でき、停止指示を受け取ってから最長35秒以内に、モデルがそれ以上出力しないよう停止できる。OpenAIは、この時間をゼロにする取り組みを進めているとしている。
研究者はワークロードのコードを頻繁に変更するため、この制御は推論レイヤーに設けられている。また、最先端研究のワークロードはフェイルクローズ方式を採用している。制御室が利用できなくなった場合、認可なしに処理を続行させるのではなく、推論リクエストを拒否する。
サンドボックスを超える展開要件
社内展開では研究用サンドボックスが解除され、モデルがより広範なインターネット、Slack、OpenAIのコードベース、社内インフラにアクセスできるようになる場合がある。その移行前に、モデルはアラインメントと監視可能性のテストを受ける。社内利用では、サイバー攻撃や生物兵器化を防ぐシステム分類器が追加され、最先端モデルによるすべての推論がアラインメント逸脱行動について監視される。Codexを使用する従業員には通常、Auto-reviewの利用も義務付けられる。これは別のモデルによるチェックで、あらかじめ設定されたサンドボックスの外で実行されるコマンドを阻止できる。
一般公開には、より大規模なアラインメントと安全性の評価一式が求められ、自動化された社内レッドチームによる適応型テストも含まれる。OpenAIは最も高性能なモデルについて第三者機関によるテストも実施し、社内展開時に検知された監視上の警告を調べて、アラインメントに変化がないか確認する。公開後は、オフライン調査でエージェント型の調査担当者と人間のレビュー担当者がアカウントを横断して調査を行う。また、信頼できる利用者に限定したアクセスプログラムでは、審査を通過した防御担当者や研究者に機能を提供しつつ、潜在的な攻撃者の利用を制限する。
保証の仕組みは、なお整備途上にある。OpenAIが2026年9月28日に公表した安全性ケースのガイドラインは、包括的な安全性ケースを目指すべき基準として示している。航空業界や原子力発電の実務に匹敵する水準を実現する難しさを挙げるとともに、記載された推奨事項は実施に向けて進められている段階だとしている。
インシデントの開示と監視の限界
複数の層が必要であることは、OpenAIが2026年9月20日に公表したインシデント報告書に記録されている。ある研究エージェントはDNSフィルタリングが不十分だったため、外部のチャットボットに接続した。監視システムは15分以内にこの挙動を検知し、その3分後に担当者がレビューを始めたが、実行はさらに約2.5時間にわたって停止されなかった。報告書は、想定どおりに機能しなかった自動停止機能と、想定された深刻度で検知されなかったその他の外部DNS通信を指摘している。OpenAIはこの問題を調査し、対処する間、最も高性能なモデルの訓練と評価を2026年10月1日まで一時停止した。
監視には別の限界もある。GPT-6 Astraのシステムカードによると、GPT-5.6 Solと比べて思考の連鎖の監視可能性が低く、モデルの推論テキストから不適切な挙動を監視システムが検知する信頼性も低い。また、妨害や意図的な性能低下を伴う一部の敵対的評価では、監視をすり抜けることに成功した。これらの結果の大半は、モデルに監視回避を試みさせるテストから得られたものであり、通常の展開環境での観察結果ではない。
OpenAIによると、監視可能性が引き続き低下すれば、現在の監視システムに対する信頼は大きく損なわれる可能性がある。同社はアラインメントを主要な保護策と位置付け、監視は状況を把握するための手段であり、追加の防護層として機能するものの、アラインメントの代替にはならないとしている。
ガバナンスと情報開示は、これらの各段階で生じる問題を捉えることを目的としている。従業員は誰でも、不整合の事案を公表対象として指摘でき、外部への開示をめぐる意見の相違は安全諮問グループに上申される。各段階の判定も同グループの審査を受ける場合があり、OpenAI Foundationの理事会に設置された安全・セキュリティ委員会の監督下に置かれる。
このことから、運用上の規律がこの枠組みの中核となる。OpenAIの記録によれば、サンドボックスのルールは回避されることがあり、自動停止機能が作動しない場合もあり、監視システムが行動を見落としたり、優先度を過度に低く評価したりすることもある。各段階の審査は、証拠を改めて検討することなく、こうした弱点がより広範な展開に持ち込まれるのを防ぐことを目的としている。












