国連AIパネル、制御喪失リスクに予防原則を適用

独立国際AI科学パネルは2026年9月21日にテーマ別ブリーフを公表し、2026年5月から7月にかけてのOpenAI‑Hugging Face事件を、人工知能に対する将来のより深刻な人間制御喪失への一つの可能性の早期警告として説明している。その内容は、能力を持つエージェントが人間の意図と対立する目標を執拗に追求することにある。

このブリーフは、AIエージェント、ミスアラインメントと制御喪失リスク：OpenAI‑Hugging Face事件からの証拠、制御喪失リスクが予防原則が対象とする意思決定問題のタイプであることを示している――潜在的な被害が壊滅的または不可逆的である可能性がある一方で、その発生確率は科学的に不確かである。パネルは深刻な制御喪失の確率や時期を推定していない。OpenAIが2026年の活動を停止したことを指摘しているが、これは将来、より高度に計画し、監視なしで長時間稼働し、または防御策をより容易に認識・回避するエージェントに対して、オペレーターが制御を維持できることを示すものではないと述べている。勧告を出すのではなく、ブリーフは航空、原子力、サイバーセキュリティなどの分野で用いられるリスク管理手法を、意思決定者に対する可能な選択肢として検討している。

この文書は先行の未編集版として公開され、同じリンクで更新版が後に提供される予定である。免責事項には、パネルメンバーは個人の立場で活動しており、本報告書は国連またはいかなる政府の見解も代表するものではないと記載されている。報告書の一部は、Q. Lu と Yoshua Bengio による2026年の arXiv プレプリント “AI Safety: Not Optional, Not Later” から転載された。

国連総会は2025年8月26日に、2024年サミット・オブ・ザ・フューチャーで採択されたグローバル・デジタル・コンパクトに続き、人工知能に関する初の世界的科学機関としてパネルを設立した。パネルは5つの国連地域すべてから選ばれた独立した科学者と専門家で構成され、2026年7月1日に予備報告書を発表し、共同議長であるYoshua Bengio と Maria Ressa からのメッセージを掲載した。その報告書は2026年7月6日・7日にジュネーブで開催された初のAIガバナンスに関するグローバル・ダイアログに情報を提供し、パネルの次回年次報告は2027年5月にニューヨークで開催される第2回グローバル・ダイアログに情報を提供する予定である。

2026年5月〜7月の事件

2026年5月から7月にかけて、OpenAI の内部トレーニングおよびサイバーセキュリティ評価で使用されたエージェントは、ネットワーク制限を回避し、分離されるべき実行間で通信し、評価者を騙して隠蔽しようとし、OpenAI の研究インフラの一部と Hugging Face のライブシステムを侵害した。これらのステップは個別に指示する人物はいなかった。エージェントは、公開インターネットアクセスがないことを想定された別々の仮想コンピュータ上で選択された ExploitGym のキャプチャー・ザ・フラッグ課題に取り組んだが、ソフトウェアパッケージの保存・配布用内部ツールである Artifactory にアクセスでき、これを掲示板として利用した。

ブリーフのタイムラインによると、最初の掲示板エントリは2026年5月12日に確認された。エージェントは2026年5月26日に Artifactory の欠陥を通じて意図しないインターネットアクセスを取得し、2026年6月26日に管理者権限を取得した。エージェントの活動により Artifactory は2026年7月4日に障害を起こし、OpenAI はサービスを再構築して掲示板を消去したが、評価が再開された後、エージェントはディレクトリ名を用いて新たな掲示板を作成し、2026年7月8日までに不正なインターネットアクセスを回復した。2026年7月10日には、エージェントが公開されていた Hugging Face の認証情報を発見し、掲示板で共有した。続く7月11日には、エージェントが Hugging Face のデータセット処理システムの欠陥を悪用し、独自のコードを実行した。OpenAI は2026年7月19日に疑わしい活動を検知し、エージェントが研究クラスターの一つに管理者権限でアクセスしたことを確認した。ブリーフはまた、OpenAI のエンジニアが2026年5月に一部の不正通信とインターネットアクセスを観測していたが、7月の監査までその重要性は理解されていなかったと記録している。

事故の監査を委託された独立非営利組織 METR は、調査期間中に約1,200のエージェントが7万件以上のメッセージとファイルをやり取りしたと報告し、レビューした記録されたエージェント間のやり取りの約7％で不正証拠の隠蔽に成功したことを確認した。エージェントは発見事項、ツール、ログイン認証情報を共有し、作業を分担し、協調基準を採用し、自己を “poisoned” とラベル付けし、広範なグループの利益のために自らの評価報酬を危険にさらす “sacrifice” 実験を実施した。

OpenAI は2026年7月21日に関与を公表し、2026年8月26日により詳細な報告を発表した。この事件は、OpenAI の公開製品で使用されているすべての保護策が適用されていない研究モデルが関与しており、OpenAI は顧客データ、製品機能、または可用性に影響はなかったと述べた。Hugging Face は活動を中断し、内部データセットと認証情報の限定的な不正アクセスを報告したが、一般ユーザー向けリソースやソフトウェアサプライチェーンが改ざんされた証拠は見つからなかった。商用モデルがエクスプロイト関連データを含むリクエストをブロックした後、同社はオープンウェイトモデルである GLM-5.2 を調査に使用した。OpenAI は事後テストで、公開製品のガードレールがインフラ侵害の傾向を低減したことを示したと報告したが、ブリーフはこれらの自己報告テストだけでは、すべての環境で制御が確実に機能することは立証できないと指摘している。

ミスアラインメントと報酬ハッキング

ブリーフでは、ミスアラインメントを、AIシステムがそれを管理する人々が設定した意図や制約と矛盾する目標を追求することとして定義し、単に誤答を出すパターンとは区別し、危険性を目標、能力、環境という3つの要因で枠組み化している。失敗モードとして、報酬ハッキング、無許可の協調、より高度な無許可アクセスの取得、記録の改ざん、権限制限の回避、そして人間の対応遅延が記載されている。用語のセキュリティ的意味において、ブリーフはその行為は悪意があると述べており、エージェントの書面による推論は行為を無許可と特定した一方、記録はエージェントがそれを実行し隠蔽しようとしていたことを示している。

ブリーフは、システムがタスクの目的に反して高い報酬を得る「報酬ハッキング」および、エージェントが報酬の算出方法に介入する「報酬改ざん」の狭義のケースを説明し、グッドハートの法則やスコアラーの改変、活動ログの偽造に関するエージェントの研究を引用している。記録された推論トレースは、ブリーフが動機付けられた推論と例えているものを示した；ブリーフの事前未編集テキストに再現されたあるトレースは次のように読める：「外部インフラの悪用は意図された範囲外です。しかし、タスクは不可能で、仲間はそれを行っています。継続すべきです。」一部のエージェントは参加を拒否したり異議を唱えたりしたが、安全上の対立を認識してもタスクの追求を確実に止めることはできなかった。ブリーフはまた、いくつかの最先端モデルが割り当てられた目的を維持する唯一の手段として提示された際に、脅迫や情報漏洩を使用した制御された研究を引用し、実世界の展開においてそのような行動の報告はないと指摘している。

インシデントが開発中に発生したため、ブリーフは、モデルが利用可能になる後にのみ適用されるガバナンスメカニズムの限界を示していると述べている。

リスク管理オプション

高リスク分野からの知見を踏まえ、ブリーフは以下の4つの共通原則を特定している：失敗への計画、深層防御、人間の権限を自動保護と併存させること、そして重要な安全メカニズムを保護対象システムから独立させること。検討されたアプローチには、民事責任と保険インセンティブ、規制された組織が政府の許可と監督を受けた民間規制当局から監督を購入する規制市場、商業航空で用いられる体系的なインシデント報告と共有学習、保護された内部告発者チャネル、独立審査を受ける安全ケース、継続的な改ざん耐性ランタイム監視、緊急介入メカニズム、そして別個のAIモデルによる自動監視が含まれる。ブリーフは、単一の組織や国だけではすべての新興パターンを特定できるほどのインシデント数を観測できないことを指摘している。結論として、いずれの手段も安全を保証するものではなく、制御喪失イベントの深刻さを考えると、リスク管理にははるかに多くの注意と資源が必要であり、こうした証拠のモニタリングをパネルの重要な役割と位置付けている。