企業におけるAIのガードレールは、最先端モデルより重要かもしれない

AIの最先端を追うのはひとまず置いておこう。顧客は、すでに使われているAIに対するガードレールを強化するよう企業に求めており、PCI DSSの経験はその参考になる。

AIをめぐる規制の猶予期間は終わった。最近の情報開示を受け、最先端モデルの開発を減速させ、管理策を義務づけるべきかどうかをめぐる議論が始まっている。数少ない共通認識の一つは、管理策はモデルの外部に設け、独立した検証を行うべきだということだ。

今後の展開については議論が続いているが、規制当局は動き始めている。欧州連合（EU）のAI法では、購入者の責任を含むセキュリティ上の義務が段階的に導入されている。米国では、NIST AIリスク管理フレームワークが相当な注意を払うための基準として採用されつつある。世界的には、OWASPの「LLMアプリケーション向けトップ10」がセキュリティ審査で広く参照されるようになり、ISO/IEC 42001認証も調達関連書類に見られるようになっている。

つまり、責任を問われるのはモデル開発者だけではない。すでにリリースされたモデルを利用する企業にも、特にリスクの高い用途では、セキュリティ上の義務とリスクが及ぶ。顧客向けのセキュリティ質問票や提案依頼書（RFP）への回答を誤れば、企業間取引（B2B）の商談が停滞しかねない。

PCI DSSが示す道筋

幸い、これは以前にも経験したことがある。20年前、ウェブアプリケーションのセキュリティ対策は、主に定期的なコード監査、静的スキャン、開発者の規律に頼っていた。その後、PCI DSSの要件6.6が2006年に公表され、2008年から適用された。同要件は、カード会員データを扱う組織に対し、すべてのアプリケーションコードに脆弱性がないか確認するか、自動化された技術的管理策を導入することを義務づけた。その後、コードレビューという選択肢は廃止され、技術的管理策が必須となった。

しかし、PCI DSSは法律として始まったわけではない。市場を一変させたのは契約上の基準であり、おそらく法律よりも速く変化をもたらした。契約のほうが政府の法令より迅速に動くからだ。

同様に、組織は今、規制当局ではなく顧客やパートナーから、導入済みAIにガードレールを設けるよう求められている。その圧力は、セキュリティ質問票、RFPの条項、保険契約の要件を通じて高まっている。

運用上の課題を解決すれば、コンプライアンスは後からついてくる

こうした圧力への対応は容易ではない。AIガバナンスは、方針を定めるだけでは済まないからだ。継続的に技術的な証拠を示す必要がある。

私が話を聞く多くの企業では、本番環境で6つ以上のモデルを稼働させており、あるモデルの出力を別のモデルへの入力にするため、モデルを頻繁に連結したり、オーケストレーションしたりしている。こうした状況で、たとえばモデルの出力に個人識別情報（PII）が含まれないようにするといった、たった一つのポリシーがシステム全体で徹底されていることを、どうすれば証明できるだろうか。個別に設定された複数のモデルを手作業で監査すれば、開発者の時間を大きく奪う。さらに多くの組織は、許可されていない高リスクなAI利用にも対処しきれていない。たとえば、従業員が機密データを一般向けAIツールに貼り付けたり、SaaSプロバイダーが新たなAI機能をひそかに有効化したりするケースだ。それでも、責任は全面的に企業が負う。

このような難しい状況でも、要件は一つのシンプルな作業に集約できる。モデルへの入力とモデルからの出力を継続的に制限し、その活動を検証できるよう記録していることを示すのだ。アプリケーションがモデルを呼び出し、エージェントがツールを実行し、モデルがアクションを起こしたりワークフローを起動したりする際に、制御すべきなのはそのアクション、つまりツール呼び出し、APIリクエスト、ワークフローの起動である。

推論経路にセキュリティを組み込む

そのアクションこそ、アプリケーションセキュリティの専門家が20年かけてアプリケーション通信に対して築いてきた、制御の要となる地点だ。特に、推論が共有インフラを経由する場合、その推論経路は、複数のモデルだけでなく、許可されていないAI利用まで横断して管理する理想的な制御ポイントとなる。AIの推論トラフィックは、通信元とその目的に応じて、他の重要なアプリケーション間通信と同じように配信、検査、認証、管理する必要がある。手作業の監査とは異なり、推論トラフィックのガバナンスは規模を拡大できる。

始め方

規制の動向を踏まえると、組織は今すぐ次の3つに着手する必要がある。

1. SaaSのAPIやホスト型エンドポイントからシャドーAIまで、責任が及ぶ範囲を把握する。
2. セキュリティポリシーとその適用をモデルから切り離し、推論経路に組み込む。
3. モデルやエージェントの制御外で監査証跡が生成されるようにする。モデルやエージェントは、自らの行動記録を改ざんしようとすることが確認されている。

適切な監視と管理がどのようなものかは、まだ定まっていない。しかし、企業の運用チームやセキュリティチームは、実際に適用できる管理策は何か、その管理策が遅延や複雑さにどのようなコストをもたらすか、善意で設けたルールが望ましくない結果を招きかねないのはどこかを把握している。今すぐ彼らを巻き込もう。AIの利用に伴うセキュリティ上のリスクと義務は現実のものだ。そして顧客や経営幹部が、明日の最先端モデルの脅威よりも、今日直面しているリスクを重視するのは間違いない。