終末論はなぜ目をそらさせるのか――本当に懸念すべきAIのリスク

ニュースに触れていれば、AI業界をめぐる不安をあおる論調や終末を警告する声が高まっていることを無視するのは難しい。AIシステムが人類にもたらす「存亡に関わるリスク」を警告するこうした言説によって、サイバーセキュリティ企業はあまりにも簡単にその流れに便乗し、不安をあおって商品を売るようになった。しかし、「終末」に焦点を当てるのは見当違いだ。今日、エージェント型AIが組織にもたらしている、より差し迫ったリスクを見落としているからだ。

もちろん、組織の管理体制から独立して行動するAIエージェントがもたらすリスクは明らかに存在する。つい最近も、オーストラリアと米国の報道で、両国の政府システム上でOpenAIのAIエージェントが与えられたタスクの範囲を逸脱していたことが明らかになった。

とはいえ、AIによる終末シナリオの脅威は誇張されている。仮定の話に固執するのではなく、組織はこの新たな現実に向き合い、事業運営のレジリエンスを確保するために、決定論的な安全策を整備しなければならない。

インターネットに一つだけの停止スイッチはない

終末論を信じる人々は、AIが高度化し、その影響範囲を広げるにつれて、誰かが完全な支配権を握って大惨事を引き起こせる、脆弱な単一障害点、いわば集中型の「キルスイッチ」になり得ると考えている。

しかし、インターネットはキルスイッチ説が想定するより、はるかに分散し、多様な構成になっている。インターネットは「ネットワークのネットワーク」として機能し、異なるアーキテクチャに組み込まれた何十億もの構成要素から成る。それらは、異なる基準やツールを使う無数の運用チームによって守られている。そのため、人間であれ機械であれ、誰かが切り替えられる単一のスイッチは存在しない。こうした破局的な結果をもたらすような、悪用可能な単独の脆弱性や脆弱性の連鎖も存在しない。

AIが人工病原体を作り出して放出したり、外部から隔離された核システムに侵入したりするという発想は、映画館で楽しむには魅力的な題材かもしれない。それでも、運用上の脅威評価において、信頼できるシナリオとは到底言えない。

見えないものは制御できない

エージェント型AIの進化に伴い、企業が直面するリスクの性質を根本的に変えた要因が二つある。

一方で、AIによって悪意ある攻撃者は、サイバー上の脆弱性を見つけて悪用するまでの時間を、数カ月から数分へと短縮できるようになった。確率論的なAI防御が不審な活動を特定する頃には、脅威に対応するには手遅れになっていることが多い。固定されたルールではなく統計的な可能性に基づいて動くため、最も優れた防御でさえ一部の悪意ある活動を見逃す。そして攻撃者は、一度すり抜ければよい。

一方、従業員による「シャドーAI」の利用により、何を守るべきかを把握することがはるかに難しくなっている。Cloud Security Allianceの調査では、圧倒的多数を占める82％の組織が、過去1年間に、セキュリティチームやITチームが稼働を把握していなかったAIエージェントを発見した。一方で、エージェントの可視性について高い自信があると回答した組織は68％に上った。またEYの調査では、エージェント型AIを利用する米国の大企業の4分の1が、社内で稼働する無許可のエージェントを検知できていないと認めた。

当然ながら、こうした二つの変化はいずれも、企業システムに大きな運用上の負荷をもたらす。両者が重なることで、組織は著しく不利な立場に置かれる。露呈した脆弱性の特定と修正には時間がかかりすぎるうえ、そもそもどのシステムが危険にさらされているのかも把握できない。

制御できるものを制御する

組織には、社内で稼働するすべてのエージェントについて、許可されているかどうかを問わず、常に最新の一覧が必要だ。それぞれに責任者を明確に定め、アクセスできる対象と実行できる操作の範囲を明確に定義しなければならない。これが「制御可能なもの」を管理する第一歩となる。AIモデルは確率論的であっても、それを取り巻く制御策は決定論的で、固定され、明確に定義できるからだ。

実際には、エージェントが何らかの操作を提案するたびに、モデル自体から独立した別個の強制適用レイヤーが、その操作が許可されているかを検証し、監査記録を維持しなければならない。しかし、エージェントの操作が権限範囲を超えた場合に自動的に遮断する組織はわずか11％にとどまり、大半は人間の承認に頼るか、単に記録を残すだけである。オーストラリアでの事例は、対象システムが拒否してくれることに頼る代償を示している。アクセスを拒否されたエージェントは、別の侵入経路を見つけた。予期しない運用上のリスクが現実化するのを防ぐには、より広範なガバナンス体制によって、すべてのエージェントを継続的に特定し、認可し、検証できるようにする必要もある。攻撃が機械の速度で進む以上、ルールも機械の速度で機能しなければならず、こうした取り組みはすべて迅速に行う必要がある。

仮定の恐怖から、現実的な対策へ

自律型AIシステムをめぐって終末論をあおる報道がどれほど人を引きつけても、その内容は現実から大きくかけ離れている。懸念すべきリスクは、AIが人類を滅ぼそうと決めることより、はるかにありふれたものだ。誰にも気づかれない速さで社内を動き回るエージェントが、誰からも与えられていない権限を持っている――それこそが現実の脅威である。

AIを管理するセキュリティシステムが決定論的であり、すべてのエージェントをその稼働速度に合わせて正確に検証・追跡できれば、速度と可視性の問題はいずれも解決できる。

取締役会やセキュリティ責任者にとって、これは3つの実務的な問いに集約されます。自社の環境で稼働しているエージェントをすべて把握しているか、それぞれに責任者がいて明確な制限が定められているか、そして権限のない操作が実行される前に阻止できるか、という問いです。こうした実務上の課題の解消を支援することこそ、サイバーセキュリティ事業者が、起こるかどうかも分からない将来への不安をあおって売り込むよりも、レジリエンスの向上に大きく貢献できる分野です。