ジェネレーティブからエージェント型AIへの移行：コンテンツリスクから実行暴露へのシフト

エンタープライズAIは急速に進化しています。ジェネレーティブAIがメールの草案を作成し、文書を要約するのを助けるものから、計画、決定、ツールや環境を跨いでタスクを実行する自律システムへと変化しています。

これはジェネレーティブとエージェント型AIの違いです。リスクが変化しています。

ジェネレーティブAIは、コンテンツリスクをもたらしました。例えば、妄想、プロンプトによるデータ漏洩、偏った出力などです。エージェント型AIの暴露は、自律システムを通じて発生します。これらのシステムには、許可、メモリ、機械の速度で利用可能なすべてのツールへのアクセス権があります。

これは、セキュリティ、ガバナンス、またはAIの専門家として、新しいリスクに対する立場を再評価する機会です。

エージェント型AIリスクとは何か

エージェント型AIリスクは、自律的に動作するAIシステムがもたらすセキュリティ、運用、ガバナンス上のリスクを指します。従来の言語モデルとは異なり、エージェント型システムは、テキストを生成するだけでなく、多段階のワークフローを実行し、外部APIリクエストを行い、インハウスアプリケーションを呼び出し、メモリを保存および呼び出すことができます。また、委任されたアイデンティティで動作し、他のエージェントと通信することもできます。

これらは、チャットボットのようなものではなく、むしろジュニアデジタル従業員のようなものです。これは、AIエージェントの攻撃対象領域の巨大な増加を表します。

ジェネレーティブとエージェント型AIの違い：何が変わるのか

ジェネレーティブAIリスクは、出力に焦点を当てています。セキュリティチームは、モデルがデータを漏らしているか、妄想しているか、または有害または非コンプライアンスなコンテンツを生成しているかどうかを確認します。

人間はループの中にいます。AIが提案し、人間が承認します。

エージェント型AIリスクは、行動指向です。セキュリティチームは、エージェントがどのシステムとやり取りするか、どの許可を継承するか、どの程度の計画が達成可能か、そして実行中に欺かれた場合に何が起こるかを自問自答しなければなりません。

違いは小さくても重要です：ジェネレーティブAIはコンテンツを作成します。エージェント型AIは結果をもたらします。これはコンテンツリスクから実行暴露への移行です。

エージェント型AIはどのようにしてエンタープライズの攻撃対象領域を拡大するのか

エージェント型AIは、新しいアプリケーションを追加するのではなく、新しい運用レイヤーを作成します。攻撃対象領域が拡大する方法は以下のとおりです：

1. 権限のあるAIエージェント

ユーザーやサービスアカウントを代表して動作するエージェントが多数存在します。許可のスコープが厳しくない場合、これらは貴重な標的となります。

これにより、混乱した代理人問題、権限の昇格、横方向の移動が発生する可能性があります。これは、クラウド、SaaS、内部システムがエージェントに動的または継承されたアクセスを提供する場合に問題となります。

2. 動的実行パス

従来のアプリケーションの制御フローは決定論的です。エージェント型AIシステムの制御フローは決定論的ではありません。

これらは目標について推論し、行動を実行し、ツールを呼び出し、非決定論的な方法で反省し、改良します。これにより、分析が難しい障害ケース、複雑な依存グラフ、多エージェントシステムでのカスケード障害が発生します。決定論的な制御フローに対して開発されたセキュリティ制御は、ここでは適用できません。

3. 永続的なメモリ

エージェントのメモリによってもたらされる攻撃対象領域は永続的です。

短期または長期のメモリが損なわれた場合、悪意のある状態が複数のセッションを跨いで決定を影響させることができます。これは、単一のプロンプトの注入とは異なり、メモリの損傷により永続性がもたらされます。

4. 機械の速度での意思決定リスク

自律エージェントは、人間が追いつくことができない速度で決定を下します。これにより、迅速なエラープロパゲーション、人間の反応よりも速い悪用サイクル、検出が可能になる前にエスカレーションが発生する可能性があります。

多エージェントシステムでは、影響の範囲は迅速です。悪意のあるエージェントは、障害カスケードをトリガーすることができます。

従来の制御はエージェント型AIでなぜ失敗するのか

大多数の従来のエンタープライズセキュリティモデルは、静的なアプリケーション、予測可能なコールグラフ、人間の承認、データ処理と実行の明確な分離に依存しています。エージェント型AIは、これらの仮定を無効にします。

例えば、従来の制御として入力検証があります。これはシステムの境界を保護します。しかし、エージェント型リスクは通常、ループの中、計画、反省、ツールの段階で発生します。

従来の脆弱性スキャンも、インフラストラクチャとソフトウェアに焦点を当てています。しかし、AIの実行リスクは、エージェントの推論と行動のレイヤーに存在します。

質問は、これ：どうやって、次のアクションを選択できるものを保護するのか。単一のモデルコールを制御で囲むだけでは不十分です。ワークフローを保護しなければなりません。

エージェント型AIを保護する：何が実際に機能するのか

エージェント型AIを保護する場合、周囲の考え方からライフサイクルの考え方への移行が必要です。エージェントは、無限に目標を再解釈することを許可できません。以下の方法でこれを実現できます。

許可される目標のシーケンスを確立し、計画の展開ツリーの深さを規制し、推論のズレを監視し、スコープ外の自作目標を禁止することはすべて重要な制御です。予期せぬ推論の変化は、操作の前触れです。

ツールの実行を強化します。ツールは、計画が現実に接触する場所であり、セキュリティはツールの実行前に許可を確認し、サンドボックス化された実行環境、厳格なパラメータ検証、ジャストインタイムの資格情報転送をカバーする必要があります。ツールの実行はすべて、最初のクラスのセキュリティイベントとしてログに記録されなければなりません。

メモリと権限のスコープを分離します。メモリは、機密性の高いインフラストラクチャとして扱う必要があります。これには、書き込み操作の検証、メモリドメインのパーティショニング、読み取り操作のスコープをタスクごとに制限し、短期間の資格情報を使用し、継承された権限を防止することが含まれます。検証されていない許可の蓄積は、エージェント型AIの重大なリスクです。

多エージェントの調整を保護します。分散エージェントシステムでは、通信自体が攻撃ベクトルとなります。これには、エージェントの認証、メッセージスキーマの検証、制限された通信チャネル、異常な影響パターンの監視が含まれます。調整が予想されるフローから逸脱した場合、自動的に隔離する必要があります。

暴露管理からAIシステムの暴露評価へ

ここで、より広いセキュリティ哲学が重要になります。従来の脆弱性管理は既知の弱点を特定します。しかし、自律AIシステムは、エマージェントな暴露をもたらします：構成、権限設計、統合パス、動的動作によって生じるリスクです。

これは、業界が暴露管理、さらに最近では暴露評価と呼んでいるものと一致しています。

暴露管理は、システム（クラウドアセット、アイデンティティ、アプリケーション、そして今やAIエージェントを含む）が、悪意のあるアクターが利用できるパスウェイをどのように作成するかを、継続的に可視化することです。

自律AIシステムのセキュリティでは、以下のことを尋ねる必要があります：このエージェントは何に到達できるか。どのような許可を集めるか。どのようなシステムをオーケストレートするか。実行はどこで機密データと交差するか。

すでに暴露ベースの戦略を使用してサイバーリスクを軽減しているチームは、AI環境にこれらの原則を拡張するための堅固な立場にあります。例えば、アイデンティティ、クラウド、脆弱性の可視性を統一するプラットフォームは、権限のあるAIエージェントが既存の攻撃パスとどのように交差するかを理解する方法を提供します。

重要なのは、ベンダーのツールそのものではなく、心構えです：

エージェント型AIを保護するには、モデルを保護するのではなく、継続的にその暴露を測定し、軽減する必要があります。

エージェント型AIの実行レイヤーリスクを管理する

エージェント型AIセキュリティの特徴は、攻撃対象領域が応答ではなく、ワークフローであるということです。

実行レイヤーのリスクは多数あります。認証されていないツールの使用、アイデンティティのスプーフィング、権限のクリーク、メモリの毒性、エージェント間の操作、人間がループの中にいるシステムが強制されるなどです。

これらのリスクを軽減するには、アイデンティティ関係、権限の継承、API依存関係、ランタイムアクティビティ、実行テレメトリへの可視性が必要です。

これは、もはやジェネレーティブAIセキュリティだけではなく、AIの運用セキュリティでもあります。

エージェント型AIリスクは架空のものではない

エージェント型AIは、エンタープライズAI採用の進化の次のステップです。これは、効率、自動化、スケーラビリティの約束をもたらします。しかし、AIが何を言っているかから、AIが何をするかへのリスクももたらします。

ジェネレーティブからエージェント型システムへの移行は、以下の点に影響します：

• コンテンツリスクから実行リスクへ
• 静的なプロンプトから動的な実行フローへ
• 人間のレビューから自律的な実行へ
• アプリケーションセキュリティから暴露管理へ

この移行を最初に理解するセキュリティリーダーは、自律性とともに拡大するガードレールを設計できます。そうでない場合、デジタルインサイダーを内部コントロールなしで取得することになります。

エンタープライズでのAIの将来はエージェント型です。AIセキュリティの将来は、暴露ドリブン、ワークフローに応じたもので、機械の速度で動作する必要があります。

一度AIエージェントが実行できるようになると、唯一の実行可能なアプローチは、継続的に何に暴露されているかを理解し（そして軽減する）ことです。