ソートリーダー

AIガバナンスが失敗する理由

Sitaram Srivatsavai
Unite.AI を Google の優先ソースに追加

組織がAIポリシーを持っていないことが問題ではありません。問題は、ポリシーが実際に何もしないことです。

整然とフォーマットされたPDFとデプロイされたモデルに至るまでのどこかで、意図が蒸発します。チームは即興で対応します。例外が蓄積します。ガバナンスはシステムから交渉へと変化します。規制された業界であるヘルスケアやライフサイエンスでは、このギャップは恥ずかしいことだけではありません。運用上のリスクです。

解決策は、さらに多くの文書化ではありません。ガバナンスをソフトウェアとして扱うことです。

ガバナンスギャップはすでに測定可能です

AIの採用は急速に進んでいますが、ガバナンスインフラストラクチャはそれに追いついていません。2025年9月のアーンスト・アンド・ヤングの調査によると、AIシステムを監査する準備が完全に整っている企業は、わずか10%にとどまります。一方で、新しいポネモン研究所の調査によると、92%の組織が、ジェネレーティブAIが従業員が情報にアクセスして共有する方法を変えたと述べています。しかし、18%のみがAIガバナンスをインサイダーリスクプログラムに完全に統合しています。

パターンは一貫しています。AIはすでに日常の仕事に埋め込まれています。監督の仕組みはまだ追いついていません。ガバナンスが文書形式のままである限り、そのギャップは悪化します。

出荷可能なガバナンス

考え方は一見すると単純です。ガバナンス要件を満たさないときにビルドを失敗させられなければ、本番環境を守ることはできません。

実際のガバナンスには入力、出力、適用ポイント、観測可能な結果があります。継続的に実行されます。四半期ごとではありません。重要なのは、作業を行うことによって副産物として証拠を生成し、後から別のコンプライアンスの儀式として追加されないことです。

運用モデルは次のとおりです。

ポリシー → コントロール → 証拠 → メトリック

ポリシーは意図を定義します。コントロールは求められる行動を強制します。証拠は実行を証明します。メトリックは結果を検証します。これは新しい考え方ではありません。成熟したセキュリティとコンプライアンスの仕組みがすでに機能している方法です。変化は、同じロジックをAIに適用することです。

コントロールは提案ではありません。証拠は文書化ではありません。コントロールが証拠を生成するために手動の努力を必要とする場合、それはコントロールではありません。それは希望です。

リスク階層、リスク演劇ではない

すべてのAIシステムに同じ厳密さの審査が必要なわけではありません。低リスクの内部ツールを、臨床的意思決定支援モデルと同じ厳格さで扱うと、組織は停止したり、不必要なリスクにさらされたりします。

NIST AIリスク管理フレームワーク(2023年リリース)は、AIリスクについて考えるための基礎となる構造を提供します。4つの機能にわたるAIリスクをマッピングします。Govern、Map、Measure、Manage。機能的なエンタープライズガバナンスモデルは、このロジックを実用的なリスク階層で構築します。

階層 スコープ コントロール
最小限 内部ツール、機密データなし 登録、軽量チェック
限定 ユーザー向け、中程度のリスク 文書化、プロンプトレビュー、セキュリティテスト
高 規制対象の意思決定、または影響の大きい意思決定 正式なリスク評価、監査ログ、厳格な変更管理
禁止 受け入れられないユースケース 設計およびデプロイ時にブロック

これにより、エンジニアリングチームは、ガバナンスプロセスからほとんど得られないものを得ることができます。明確さです。「何をするべきか?」ではなく、「どの階層か、それが何を引き起こすか?」

良いガバナンスは曖昧さを除去します。優れたガバナンスは議論を除去します。

コードとしてのポリシー:助言から実行可能なルールへ

文書に書かれたポリシーはアドバイザリです。パイプラインにエンコードされたポリシーは技術的に強制できます。

インフラストラクチャがデプロイ前に検証されるのと同じように、AIシステムの利用や展開は自動チェックの結果を条件にできます。チェックは、ユースケースが登録されているか、必要な文書化が存在するか、評価結果が定義されたしきい値を満たしているか、機密データへのアクセスが最小権限の原則に従っているかを確認します。これらのチェックはCI/CDで実行されます。委員会を待つ必要はありません。誰かの記憶や善意に依存しません。

Open Policy Agent — クラウドネイティブコンピューティングファウンデーションの卒業プロジェクト — は、ルールをバージョン管理し、レビューし、エンジニアリングエコシステム全体で一貫して適用する方法を実証しています。パターンは理解されています。ギャップは、AIチームがそれを適用していないことです。

最も安全なAIシステムは、最良のポリシーを持つシステムではありません。技術的にポリシーを破れないシステムです。

LLM固有のコントロール:面白いところ

ジェネレーティブAIは、従来のガバナンスフレームワークが設計されていないリスクのカテゴリを導入します。プロンプトインジェクション、出力操作、ツールの誤用。これらはエッジケースではありません。LLMの動作方式に由来する構造的な特性です。Unite.AIのエージェント型AIのガバナンスに関する報道は、AIシステムが質問に答えるだけでなく行動する段階へ移るにつれて、ガバナンスギャップがさらに顕著になることを指摘しています。

GenAIシステムのための効果的なガバナンスには、LLMの動作に特化したコントロールが必要です。システムの指示とユーザー入力の厳格な分離、ツールアクセスと許可リストの制御、実行前の出力検証、データの漏洩に対する保護、障害時に安全かつ穏当に停止できるデフォルト設定。

これらは、OWASP Top 10 for LLM Applicationsに記録された脆弱性の分類に直接対応しています。このコミュニティ主導の枠組みには、現在18か国から600人を超える専門家が貢献しています。LLMのガバナンスでは、モデルが何を知っているかよりも、システムがモデルに何をさせるかが重要です。

証拠はインフラストラクチャであり、文書化ではありません

監査員は意図を信頼しません。記録を信頼します。

ガバナンスが実行可能なシステムでは、証拠は自動的に生成されます。モデルカードは、目的と制限を記述します。データ文書化は、データの来歴をカバーします。評価レポートは、パフォーマンスと既知のリスクを示します。ログは、決定と変更を記録します。これらのアーティファクトは監査のために存在しません。システムが機能するために必要なので存在します。

最も強力な監査ポジションは、証拠がすでに存在する場合です。誰かがそれを求める前に。これは理論的なものではありません。規制当局はすでにこの方向に動いています。最近の分析によると、規制当局がすぐに尋ねる質問は、単に「それを保持しましたか?」ではなく、「何が起こったか、どのポリシーで、どのデータで、誰の権限で証明できますか?」です。

現実の議論:ガバナンスは加速器

ガバナンスとスピードが相反するという永続的な神話があります。実践では、設計が悪いガバナンスはチームを遅くします。適切に設計されたガバナンスは摩擦を取り除きます。

コントロールが標準化され、チェックが自動化され、期待がコード化されると、チームは交渉を停止し、ビルドを開始します。リリースはより予測可能になります。意思決定のために、ポリシー文書を暗記した少数の専門家が無理を重ねる必要がなくなります。

ガバナンスはインフラストラクチャである場合に拡張されます。ガバナンスが単なる雰囲気頼みでは拡張できません。

目標は、コントロールのためにコントロールをすることではありませんでした。カオスなしの勢いです。正しく行っている組織は、最も詳しいPDFを持つ組織ではなく、正しい行動を最も簡単なパスにしたものです。

Sitaram Srivatsavaiは、CRM、iOS、ウェブプラットフォームを跨ぐ18年以上の経験を持つCRMエンジニアリングのリーダーです。グローバルチームを率いて大規模なエンタープライズソフトウェアを提供し、アーキテクチャレビュー、自動化の近代化、信頼性、規制遵守、スケーラブルなパフォーマンスの確保に焦点を当てています。