賢くなるAIエージェント、広がる攻撃対象領域

AIエージェントが人に代わって会議を予約し、コードを実行し、ウェブを閲覧するようになった瞬間、サイバーセキュリティをめぐる議論は変わった。徐々にではなく、一夜にして、だ。

かつては範囲が限定された予測可能なソフトウェアシステムだったものが、推論し、計画し、さまざまなツールやAPIを使って行動する存在になった。しかも、そうしたツールやAPIの存在を、システムは1年前にはほとんど認識していなかった。

これは胸躍る変化であると同時に、恐ろしい変化でもある。その自律性に伴う攻撃対象領域は膨大で、多くの組織はようやくエージェントを自社のインフラに受け入れる意味を理解し始めたばかりだからだ。

チャットボットから実行主体へ

AIの当初の約束は単純だった。質問すれば答えが返ってくる。一般消費者とのやり取りの多くは今もそうだが、企業の導入現場はもはや違う。現在のエージェントには認証情報やAPIキーが渡され、データの削除や作成、注釈の追加が許されている。さらに、現実に影響を及ぼすシステム内で、実際の操作を行う権限も与えられている。

変化は速かった。2年足らずで、AIエージェントはテキスト生成の道具から、円滑なマルチエージェント構成の運用を可能にする存在へと変わった。メールを読み、ワークフローを起動し、データベースに問い合わせ、場合によっては配下のエージェントを管理している。以前、この水準のアクセスを認めるには長い調達手続きと人間の関与が必要だった。今では設定ファイルと数回のAPI呼び出しで済む。

アクセスの拡大はリスクへの露出も広げる

従来のソフトウェア攻撃には、ある程度予測可能な特徴がある。既知の侵入口、既知の脆弱性、既知の修正パッチがある。AIエージェントは設計上動的であり、このモデルを崩す。決まったコードの実行経路をたどらず、次に何をするか推論するため、その挙動は予測しにくく、事後の監査はさらに難しい。

この予測しにくさは仕事を進めるうえで役立つが、システムの悪用を狙う者にも有利に働く。エージェントが作業の途中で外部APIの呼び出しや第三者のツールの利用を決められるなら、守るべき境界は明確ではない。

セキュリティチームは既知の攻撃対象領域を守り、Kubernetesのコストを監視することに慣れている。エージェントは新たな攻撃対象領域や悪用手法を見つけ続けるが、それをリアルタイムに把握している者はいない。気付かないうちに認証情報を奪われ、AIの「有機体」全体を一手で支配される可能性がある。

プロンプトインジェクションは新たなSQLインジェクション

セキュリティ研究者が繰り返し取り上げる攻撃経路があるとすれば、プロンプトインジェクションだ。仕組みは単純で、コードの脆弱性を突く代わりに、攻撃者がエージェントの入力に紛れ込ませた指示を操作する。ウェブページに埋め込まれた悪意ある指示や、文書、さらにはメールに潜む同様の指示が、その後のエージェントの行動を変えてしまう。

特に厄介なのは、エージェントが指示どおりに動いていることも多い点だ。ウェブ、ユーザーのメッセージ、第三者のツールから得た内容を処理しており、そのどれもが指示の注入経路になり得る。改ざんされた文書を読み、その内容に基づいてAPIを呼び出すエージェントは、すでに乗っ取られている。そして、因果関係がはっきり分かる記録は、おそらく何も残さないだろう。

防御策は存在するが、完全ではない。エージェントの操作をサンドボックスに隔離すること、状況に応じて呼び出せるツールを制限すること、重大な影響を伴うワークフローに人間の確認段階を設けることは、いずれもリスクを減らす。しかし、なくすことはできない。しかも、大半の組織は基本的な対策さえまだ実施していない。

マルチエージェントシステム内部の信頼の問題

マルチエージェントシステムには、過小評価しがちな複雑さが加わる。一つのエージェントが複数のエージェントを統括すると、そこには信頼の階層が生まれる。統括役が指示を下し、配下のエージェントが従う。その統括役が侵害されれば、配下のすべてのエージェントも実質的に侵害されたことになる。被害の及ぶ範囲は急速に広がる。

権限の与えすぎという問題もある。エージェントには必要以上のアクセス権が付与されがちだ。段階的に権限を調整するより、最初から広く与える方が簡単だからだ。調査用エージェントに本番データベースへの書き込み権限は必要ない。

日程調整用エージェントに財務記録へのアクセス権は必要ない。確かに、すべてがつながっていると安心できるかもしれない。しかし、リスクが大きすぎて、得られる効果を目減りさせずに保つことは難しい。実際には境界が曖昧になり、理論上は有効な最小権限の原則も、出荷を急ぐなかでいつの間にか放棄される。

妥当なセキュリティ対策とは

エージェントの導入を安全にする単一の解決策はない。問題が多層的である以上、対策も多層的でなければならない。うまく取り組んでいる組織は、まずアクセス制御から始める傾向がある。各エージェントに明確で狭い活動範囲を定め、機密性の高いシステムや外部サービスに関わる操作には確認手順を組み込む。

観測可能性は予防と同じくらい重要だ。エージェントが予想外のことをしたら、チームには、そのエージェントが受け取った指示の完全な履歴が必要だ。呼び出したツールや返した結果も追跡できなければならない。多くのログ構成は、そこまで細かな記録を想定しておらず、後から追加するのは大変だ。多少の手間が増えても、最初から組み込む価値がある。

攻撃者の視点に立つテストも十分に活用されていない。エージェントへのレッドチームテスト、特に悪意ある指示を注入して結果を観察する試みは、静的なコードレビューでは決して見つからない脆弱性をあぶり出す。考えたくないことだが、いずれこれらのシステムを悪用しようとする者はすでに実行している。先回りすることが、唯一理にかなった対応だ。

おわりに

AIエージェントは組織運営のなかで、さらに大きな役割を担うようになる。その変化はすでにかなり進んでいる。セキュリティをめぐる議論も、急いで追い付かなければならない。リスクは現実にあり、攻撃経路は新しく、先手を打つための時間は短くなっている。

自律型AIシステムの脅威の全体像を理解することは、もはや任意ではない。セキュリティチームとエンジニアリングチームにとって、今取り組める最も重要なことの一つだ。適切に対処するための時計は、すでに動き始めている。