フロンティアAIの監査は誰が行うべきか？ホワイトハウス合意の欠落した定義

今週、Google、OpenAI、Anthropic、Meta、xAI、Nvidia のリーダーたちが White House Accord on Super Intelligence に署名した。各社はフロンティアモデルに対して 四層の監督体制 を約束した：内部コントロール、検証チーム、独立した外部監査人または評価者、そして独立した委員会。これらの約束は現在は任意であり、将来的に法制化される可能性があると合意書は示している。

四層のうち、外部評価が最も重みを持つ。これは、会社外部の者が安全策が機能しているかどうかを判断できる唯一の層でもある。定義が最も曖昧でもある。合意書は、誰が独立した評価者として資格を有するか、どの基準で評価すべきか、どれだけのアクセスが許されるか、あるいは評価者が同じ企業に対してサービスを販売した場合に独立性がどのように保たれるかを示していない。各社は自社の評価者を自ら選択する。

このような条件下では、二つの企業が独立した評価を通過したと発表しても、意味は大きく異なる可能性がある。そのギャップを埋めるには、三つの質問への回答が必要になるだろう。

資格を決定すべき基準は何か

信頼できる独立AI評価者の定義には、少なくとも四つの要素が含まれる必要がある。

独立性。評価者は自らが設計に関与した安全策をレビューすべきではなく、評価対象企業に対して是正やコンサルティング業務を販売すべきでもない。成熟した監査分野では料金依存も監視対象となる。ある顧客が評価者の収益の大部分を占める場合、評価者は甘くなる動機が生じる。

仕事に合わせた能力。 「監査」にはAIにおけるさまざまな活動が含まれる。サイバー攻撃や生物兵器など危険な能力を持つモデルをテストするには、機械学習研究者と領域専門家が必要になる。企業の安全策が設計通りで実際に機能しているかを確認するには、経験豊富なコントロール監査人が必要である。ある分野で資格を有する評価者が別の分野でも自動的に資格を有するわけではなく、評価報告書にはどの分野が実施されたかを明記すべきである。

アクセスと範囲。 文書だけを見る評価者は、紙面上に安全策が存在することは確認できる。実際に機能したかどうかを確認するには、システム、ログ、承認記録、関係者へのアクセスが一定期間必要になる。フロンティアモデルはトレーニング実行やデプロイ間で変化するため、評価者は変更が新たな評価を要するかどうかを明確に定めたルールも必要である。

評価者の監督。 チェッカーをチェックする者が必要である。確立された監査市場では、認定機関が評価者の業務を審査し、基準を満たさない場合はその資格を剥奪できる。このバックストップが評価結果に重みを与えるのである。

既に存在するインフラストラクチャ

 これらはすべてゼロから発明する必要はない。ISO 42001はAIマネジメントシステムの国際規格で、組織にAIガバナンスの枠組みを提供し、文書化されたコントロール、明確な所有者、継続的改善を定めている。その補完規格であるISO 42006は、ISO 42001に対して監査・認証を行う機関に求められる要件を定め、監査者が示すべき能力や遵守すべき公平性規則を規定している。認証機関は認定の下で運営されるため、第三者が監査者自体を監督する仕組みがある。

技術的テストの側面では、新しいフレームワークが埋め込みを進めている。AIUC-1は、特定の展開における特定のAIエージェントを認証し、幻覚、ジャイルブレイク、ツールの安全でない使用などの問題に対する定期的な第三者テストを行い、ISO 42001のコントロールを基盤としている。

州も評価者を直接監督するモデルのテストを行っている。コネチカット州は今年、パイロットプログラムを創設する法律を可決し、2027年7月から開始する。このプログラムでは州の消費者保護局が最大5つの独立した検証機関を承認する。各機関は州監督下の合意に署名し、範囲、手法、報告義務、ガバナンスを定義しなければならない。この構造は合意書の未解決の質問、すなわち評価者の承認者、評価基準、監督者をいくつかの点で回答している。

これらの要素はフロンティアモデルの評価のために作られたものではなく、完全な解答として提示すべきではない。今後の課題はそれらを結びつけ、マネジメントシステムの保証、技術的モデルテスト、評価者の監督が一つの信頼できる独立性の定義の下で統合されるようにすることである。

なぜ規則が先に来る必要があるのか

合意書の約束は現在は任意である。もし法制化されるなら、評価者として誰が就任できるかの規則は、義務が発効する前に整備されている必要がある。その理由は三つある。

まず、初期の実践が前例となる。署名者が評価者の名前を公表し結果を公開し始めると、市場は「独立」および「資格」の実務的定義に落ち着く。外部からの圧力がない状況で設定された定義は、便利さを優先しがちである。後から参入する立法者は、そうした定義がすでに契約や期待に組み込まれていることに直面するだろう。

第二に、適格な能力を構築するには時間がかかります。評価機関の認定や、最先端モデルと統制テストの両方を理解した評価者の育成、そして共通の手法の開発にはすべて数年を要します。そのような能力が整う前に命令が出されても、利用可能な者が対応することになるでしょう。

第三に、適格な査定者市場が存在しない要件は形式的なチェックにとどまります。企業は規則の文字通りを満たすだけで、規制当局は弱い評価を批判する根拠が乏しくなり、一般市民は実質の乏しい監視の姿だけを目にすることになります。

一部では、最先端モデルの評価科学がまだ黎明期であるため、これらの規則を設定するのは時期尚早だと主張されています。これは、モデルが進化するにつれてテスト手法も進化すべきだという妥当な懸念です。ここで提起されている質問は、評価者に関するものです。すなわち、利益相反がなく、職務に適格で、十分なアクセスが与えられ、監督下にあるかどうかです。これらの質問には確固たる答えがあり、他の保証分野は何十年もそれに答えてきました。

組織が今できること

先進的なAIを構築または導入する企業は、命令を待つ必要はありません。評価者を選ぶ際には、同社が提供する他のサービスは何か、特定の評価タイプに対するチームの資格は何か、関与にどれだけのアクセスが含まれるか、そして誰が同社の作業を監督するのかを尋ねることができます。現在AI管理システムを構築すれば、将来の評価者に対して具体的かつ文書化された評価対象を提供することにもなります。

本合意はAIの説明責任に向けた健全な枠組みを構築します。その価値は評価者の役割を誰が担い、どのような基準で評価されるかに左右され、その定義のための時間は、誰もそれを使用することが求められる以前に確保されるべきです。