ソートリーダー

モデルだけでは足りないAIガバナンス

Zuzana Drotárová
Unite.AI を Google の優先ソースに追加
要点企業におけるAIの失敗の大半はモデルの欠陥ではなく、説明責任の欠落が原因である。
もっと見る
  • 企業におけるAIの失敗の大半はモデルの欠陥ではなく、説明責任の欠落が原因である。
  • エア・カナダは、チャットボットが遺族割引運賃に関して誤ったアドバイスをしたことについて責任を問われた。
  • エージェンティックAIは、自律的な行動がリスクを増幅させるため、既存のガバナンスのギャップを拡大させるだろう。

警告:問題はモデルではない

2023年、ニューヨーク市は、企業が複雑な規制に対応するのを支援するMyCityチャットボットを公開した。狙いは単純で、法律に関する情報にアクセスしやすくすることだった。

しかし実際には、チップの規則から住宅差別、支払いに関する法律まで、単に間違っているだけでなく、法的な誤解を招く回答を生成した。

後の監査では、 利用者からのフィードバックの71.4%が否定的だったことが分かった。根本的な問題を修正する代わりに取られた対応は、免責事項の追加だった。チャットボットは2年以上も「ベータ版」のままで、その後停止された。

この失敗は技術の問題ではなかった。正確性を確保する仕組みも明確な説明責任もなく、問題発生時に介入する手段もなかったため、本番運用で破綻したのだ。

今日の企業AIには同じパターンがある。技術は機能していても、稼働後に安定して運用できるよう組織が整えられていない。

実証から本番運用へ:どこで破綻するのか

実証システムの構築は比較的分かりやすい。用途とモデルを選び、データを整え、支援者を見つければよい。一方、本番でシステムを運用するのは、まったく次元の異なる仕事だ。

その違いは、プールへの飛び込みと、フェリックス・バウムガルトナーが2012年に行った成層圏からの降下との違いに似ている。基本の物理法則は同じでも、条件はまったく違い、失敗した場合の結果も大きく異なる。

本番運用では、AIが実際の意思決定の流れに入り、顧客とやり取りし、法的・業務上の影響を生む。そこで見えてくるのはモデルの欠陥ではなく、ガバナンスの不足だ。

欧州では、これが他の多くの地域より早く表面化する。EU AI法、GDPR、NIS2といった規制は導入を遅らせるのではなく、現実の制約の下でAIを運用できる組織かどうかを明らかにする。

2025年にはEUの大企業の55%がすでにAIを利用していた。導入はすでに大規模に進んでいる。課題は導入後に何が起きるかだ。

その段階で、基本的な運用の問いが浮かび上がる。しかも答えられる人がいないことが多い。AIの出力や自律的な判断の責任者は誰か。想定外の動作をしたら何が起きるのか。被害が報道される前に誰が問題を発見するのか。

法的責任を負うのは技術ではなく企業だ。 エア・カナダのチャットボット (AC.TO )は、近親者の死去に伴う特別運賃について顧客に誤った情報を伝えた。顧客はその説明を信頼したが、後に払い戻しを拒否された。審判機関は、チャットボットは独立した主体ではなく、航空会社に責任があると判断した。

角度は違っても問題は同じだ。 マクドナルドのMcHire システムは、64,000人弱の応募者の機密情報を漏えいさせた。原因は高度な攻撃ではなく、管理者のログインに「admin」と「123456」を使っていたことだった。システムは先進的に見えても、失敗は初歩的だった。

稼働済みのシステムにガバナンスを後付けするのでは遅い。導入は技術上の判断だが、安定した運用は組織の問題だ。多くの企業はそこを過小評価している。

AIリスクを本当に引き受けるのは誰か。誰もいない。

これが問題の核心であり、逆説的に最も議論されていない点でもある。IT部門はインフラを管理し、法務部門はコンプライアンスを扱い、事業部門は用途を推進する。しかし、AIリスク全体を端から端まで引き受ける人はいない。

すると二つの問題がすぐに生じる。誰も責任を負いたくないため、開始の判断が遅れる。止める権限の所在が分からず、停止の判断も同じように遅れる。

データにも表れている。 AIのユースケースのうち10%未満しか 実証から本番へ進まず、多くの組織は測定可能な事業効果を出せずにいる。一方ですでにAIの導入を進める組織も多いが、 ガバナンス成熟度調査によると、適切に構造化され、一貫して適用されるガバナンスを整えていたのはわずか7%だった。

なぜ同じことが繰り返されるのか。大半の枠組みや社内方針が定めるのは「何が起こるべきか」であって、肝心なときに誰が責任を持つかではないからだ。金曜の深夜0時にシステムが誤った出力を始めたら、これは理論上の話ではない。誰が動くのか。誰に決定権があるのか。

規模が大きくなれば、さらに悪化する。システム一つなら非公式に管理できても、30個になれば責任がチーム間で分散し、全体像を把握する人がいなくなる。

コモンウェルス銀行(オーストラリア) (CBA.AX )は分かりやすい例だ。同行は需要の減少を見込み、顧客対応担当者45人をAI音声ボットに置き換えた。だが需要は減らなかった。電話件数が増え、管理職が処理しきれない対応を引き受け、最終的に45人全員を再雇用することになった。追及されても、自動化で業務量が減ったことを示せなかった。

導入前に前提を検証した人はいなかった。その前提が崩れたときに結果を引き受ける人もいなかった。説明責任の空白とは、実際にはこういうことだ。

規則だけでは足りない。仕組みが必要だ

多くの組織に足りないのは方針ではない。問題が起きたときに機能する仕組みだ。

方針は何が起こるべきかを定める。仕組みは、モデルが誤った出力をしたとき、ベンダーが裏側で何かを変更したとき、システムが予期せぬ動作を始めたときに、実際に何が起きるかを決める。

この違いが明らかになるのは、現実の条件で判断を求められる本番運用だ。

失敗には共通の動きがある。それぞれ形は違っても、同じ運用上の不足が現れる。

まず責任者を明確にする

導入したAIシステムには、明確に説明責任を負うオーナーが必要だ。チームや部門ではなく、承認、一時停止、運用終了を判断できる一人の人間でなければならない。

それがなければ、迅速な導入も安全な介入もできない。コモンウェルス銀行の例のように、責任者が不明確なことは直接、運用の失敗につながる。

データと法的根拠が明確でないことが多い

多くのシステムは、文書化されたデータフローや確認済みの法的根拠、本番運用時に適用される義務を明確にしないまま稼働する。

イタリアの規制当局が 2025年にDeepSeekに取った措置 が分かりやすい例だ。問題はモデルの品質ではなく、個人情報の扱いを説明できなかったことだった。その結果、欧州の利用者は突然のサービス中断に直面した。

テストが実際の利用を反映していない

システムはうまく動作する状況で評価されることが多く、失敗が最も重大になる状況は評価されない。

MyCityチャットボットは明確な例だ。労働法、住宅差別、支払い規則といった基本的な境界事例の問題を導入前に発見できなかった。実際の利用者が使うと、失敗はたちまち公になった。

テストの目的は性能だけではない。利用者、規制当局、記者に先んじて、どこでシステムが失敗するかを見つけることだ。

介入の方法が不明確、または遅すぎる

問題が見えていても、一時停止や運用終了の明確な条件や権限がないことが多い。

Zillow Offers はその大規模な例だ。システムはアルゴリズムで住宅の価格を決め、購入した。2021年に市場が冷え込んでも、割高な価格で買い続けた。変化からのずれを適時に検知する仕組みも、停止を判断する明確な時点もなかった。結果は8億8,000万ドルを超える損失と、部門全体の閉鎖だった。

監視は責任を引き受けることではない

監視はしばしばダッシュボードを見ることに縮小されるが、それだけで失敗を防げるわけではない。

重要なのは責任の明確化だ。誰が兆候を追い、何をきっかけに上位へ報告し、誰が行動するのかを定めなければならない。

デロイト・オーストラリアの事例は、それが欠けた場合を示している。政府向け報告書には、架空の引用や不正確な法的参照が含まれていた。納品前に出力を検証する責任者が明示されていなかったためだ。結果は一部返金と信用の毀損だった。

エージェント型AI:今後はさらに難しくなる

生成AIは出力を作る。エージェント型AIは行動する。これによってリスクは根本から変わる。

評価対象が一つの回答ではなくなり、一つの指示が複数のシステムにまたがる判断の連鎖を引き起こす。API呼び出し、データへのアクセス、取引、更新が、各段階で人間を介さずに進むことも多い。

問題が起きたときに問われるのは、もはや正確性ではなく追跡可能性だ。どの段階で問題が起きたか。どのデータを使ったか。誰が行動を許可したか。事後には答えにくいことが多い。

そこで既存の不足が重大になる。責任者の曖昧さ、監視の弱さ、介入手段の欠如は続くだけでなく、影響が積み重なる。誤答なら訂正できても、誤った行動は誰かが気付く前に結果を生む。

初期の兆候はすでにその方向を示している。 Gartner は、2027年までにエージェント型AIプロジェクトの40%超が中止されると見積もる。モデルの制約ではなく、組織がコスト、リスク、成果を制御するのに苦戦するからだ。導入後の生成AIと同じパターンだが、失敗した際の影響はさらに大きい。

規制当局はすでに、単純な原則で対応している。自動化しても説明責任はなくならない。組織への示唆は明確だ。今の責任者と管理体制が不明確なら、エージェントシステムへ拡大しても解決せず、問題が増幅する。

運用できなければ、失うことになる

AI自体はもはや制約ではない。モデルは広く入手でき、能力も高く、ますますコモディティ化している。真の差はAIを構築できるかではなく、稼働後に安定して運用できるかだ。

失敗の大半は構築方法ではなく、運用方法で起きる。成功するのは最先端のモデルを持つ組織ではなく、その周囲に最も明確な運用体制を整えた組織だ。

これは直接確かめられる。最重要のAIシステムについて、三つの問いに答えてほしい。

  • 誰が停止できるのか。
  • 失敗していると、どう判断するのか。
  • 失敗したときに、何が起きるのか。

答えが曖昧なら、そのシステムは本番運用の準備ができていない。

モデルは準備できているかもしれない。組織はできていない。

ズザナ・ドロタロヴァーはアベンガのビジネス分析を率いており、チェコとスロバキアの企業プログラムで約100人のアナリストを指揮しています。彼女は、AIを含む企業のイニシアチブが本番環境で機能するかどうかを決定する運用と意思決定構造に焦点を当てています。