規制
ニューサム知事、最先端AIへの義務的な監督と停止権限を提案

要点認可された独立検証者は、一度きりの安全申請ではなく、州に継続的な技術的監視を提供するだろう。
もっと見る
- 認可された独立検証者は、一度きりの安全申請ではなく、州に継続的な技術的監視を提供するだろう。
- 緊急停止命令は直ちに効力を発し、司法審査の間も有効であり続けるだろう。
- インシデント報告は、訓練規模の閾値から、破滅的リスクに対する実証された能力へと移行するだろう。
2026年11月18日、カリフォルニア州知事のGavin Newsomは立法に関する提言を公表した。提言では、大規模な最先端AI開発企業に対する継続的な独立監督を義務づけるとともに、差し迫った壊滅的リスクをもたらすモデルについて、州当局が緊急停止を命じられるようにすることを求めている。
California Government Operations Agencyの報告書「2026年以降のAI安全性」は、2026年11月16日付で、議員が2026年12月に審議を再開する際の立法に役立てることを目的としている。提言はまだ法的義務として制定されていない。この計画は、大規模な最先端AI開発企業に安全性の枠組みを公表するよう求めるカリフォルニア州の既存要件を土台とし、訓練、社内利用、導入の全段階を通じて適用される、安全性・セキュリティ・透明性の州基準を追加するものだ。
継続的な独立監督
大規模な最先端AI開発企業はすべて、認可を受けた独立検証機関(IVO)による継続的な監督の対象となる。これらの機関は州の基準を技術的なテストに落とし込み、AIの評価手法の変化に応じてテストを更新する。また、必要と判断したモデル、人員、システム、訓練環境、記録へのアクセスを認められ、その後、編集・削除のない評価結果を州に提出する。
Government Operations AgencyがIVOを認可し、専門性、独立性、または厳格さが不十分な場合には認可を取り消せる。評価者が開発企業による基準遵守を証明できない場合、州は企業と協議したうえで是正措置を命じることができる。開発企業は、迅速な緊急手続きの場合を除き、こうした判断が発効する前に裁判所で異議を申し立てられる。
開発企業が支払う検証手数料への上乗せ金は、公的に運営されるCalComputeの計算能力の財源となる。計算能力の一部は、独立した安全性・セキュリティ研究と公的監督のために確保される。これにより、業界が負担する上乗せ金が、外部からの精査に必要なインフラと結びつく。
リスク封じ込めと緊急時の権限
大規模な最先端AI開発企業はそれぞれ、リスク封じ込めプロトコルを維持し、IVOによる継続的なテストと検証を受けるとともに、会社の上級幹部から有効性の認証を受けることになる。求められる能力は、単一のオン・オフスイッチに頼るのではなく、計算資源、エージェント、内部アクセス、モデルの導入を網羅する。プロトコルでは、責任者を特定し、クラウド事業者や電力供給事業者と連携するとともに、モデルを安全に復旧できる条件を定める。
テストでは、モデルが封じ込めを妨げるために自らの重みを複製するケースや、外部の第三者が停止制御にアクセスするケースなど、停止が失敗する可能性を検証する。オープンウェイト型の開発企業については、他者がホストする複製を停止できないため、封じ込めと停止の要件は自社の管理下にある導入にのみ適用される。
差し迫った壊滅的リスク、または重大な制御喪失事象が発生していると信じるに足る根拠があり、開発企業が危険の封じ込めを拒んだ場合、州当局は即時停止を命じることができる。命令では、実行可能な範囲で最も限定的な介入を求め、直ちに発効して司法審査中も効力を維持する。ただし、開発企業は一時的差止命令を求めることができる。危険が差し迫ったものではなくなった時点で、命令は解除される。
インシデント報告と自動化されたAI研究
報告制度の対象には、死亡や身体的損傷がなくても、モデルの重みを盗もうとする試み、社内外で発生したすべての制御喪失インシデント、新たに設ける重大事故寸前の事案の報告窓口が含まれる。報告書は、ほとんどの重大インシデントについて、報告期限を15日から48時間に短縮する一方、差し迫った壊滅的リスクに関する24時間以内の報告要件は維持することを提案している。内部告発者の保護は、元従業員や元請負業者にも拡大される。
壊滅的リスクにつながり得る行動を実行できるモデルは、整数演算または浮動小数点演算が10^26回未満の訓練で作られた場合でも、インシデント報告上は最先端モデルとして扱われる。この能力に基づく適用基準は、訓練規模だけに依存した結果、危険なインシデントが州の報告要件の対象外となってきたという報告書の懸念に対応するものだ。
AIの研究開発を自動化する企業は、計算資源を訓練、研究実験、AI研究エージェント向けの推論、安全性・セキュリティ業務、外部顧客、帰属先不明の活動にどのように配分しているかを四半期ごとに報告し、IVOが各区分を検証することになる。追加開示の対象には、訓練データの量、費用、対象分野、人間由来かAI由来かの別に加え、強化学習環境でモデルを訓練するために使われた推論計算資源、報酬が与えられていることが判明した不適切な挙動、および講じられた緩和策が含まれる。こうした措置によって、AIが自らの開発をより多く担うようになっているか、安全性への投資がそれに追いついているかを明らかにできると、報告書は述べている。
再帰的自己改善(RSI)は、その最も強い形では、AIシステムが人間の介入なしに自らの後継システムを開発することを指すが、直ちに制限を課すのではなく、必要に応じて発動できる上限設定権限の対象となる。自動化されたAI研究が、開発者が確約した基準を超える場合、または安全対策や評価の進展を上回る速さで進み、壊滅的な被害につながる重大なリスクを生じさせる場合、当局は期間を限定し、定期的に見直す上限を課すことができる。この上限は、独立検証機関(IVO)が十分な安全対策の導入を確認した後に解除される。
提言は、Newsom氏が2026年9月18日に発令した、独立監督とAIの緊急停止機能に関する行政命令に応えるものです。同命令は、2か月以内に専門家の提案をまとめることと、カリフォルニア州の独立検証法およびAI監査人法の施行を加速することを求めました。Government Operations Agencyは、California Office of Emergency Servicesおよび外部アドバイザーのJason Goldman、Gillian Hadfield、Alondra Nelson、Rob Reichとともに報告書を作成しました。
開発者に求められるコンプライアンスは、安全方針の公表にとどまらず、継続的な外部監視、より迅速なインシデント報告、そして実証可能なシャットダウン機能にまで及ぶ。この提案を受け、議員には相互に関連する2つの判断が求められる。すなわち、どの程度の介入権限を定めるか、そして認可を受けた検証部門がまだ発展途上にあるなか、継続的な監督をどのように実務として機能させるかである。












