生成からエージェントへ：コンテンツリスクから実行公開へのシフト

エンタープライズAIは急速に進化しています。メールの草案作成や文書の要約を行う生成AIコパイロットが始まりでしたが、現在はツールや環境全体でタスクを計画、決定、実行するシステムに変化しています。

これは生成AIとエージェントAIの違いです。リスクが変化するのを見ています。

GenAIは、ホールシネーション、プロンプトによるデータ漏洩、バイアスされた出力などのコンテンツリスクを引き起こしました。エージェントAIの公開は、許可、メモリ、利用可能なすべてのツールへのアクセス権を持つ自律システムを介して発生します。

これは、セキュリティ、ガバナンス、またはAIの専門家として、新しいリスクについて自分の立場を再評価する機会です。

エージェントAIリスクとは何か?

エージェントAIリスクは、テキストを生成するだけでなく、エンタープライズシステムでマルチステップのワークフローを実行する自律的なAIシステムによって引き起こされるセキュリティ、運用、ガバナンスのリスクを指します。

従来のLLMとは異なり、エージェントシステムはタスクを動的なワークフローに分解し、外部APIリクエストを行い、社内アプリケーションを呼び出し、メモリを保存して呼び出すことができます。さらに、委任されたIDで操作し、他のエージェントと通信することもできます。

言い換えると、チャットボットのように動作するのではなく、ジュニアデジタル従業員のように動作します。これは、AIエージェントの攻撃面を大幅に増加させます。

生成とエージェントAI：何が変わるのか?

生成AIリスクは、出力に焦点を当てています。セキュリティチームは、モデルがデータを漏洩しているか、ホールシネーションしているか、有害または非コンプライアンスなコンテンツを生成しているかどうかを疑問に思うことがあります。

人間は確実にループ内にいます。AIが提案し、人々が承認します。

エージェントAIリスクは、行動指向です。セキュリティチームは、エージェントがどのシステムとやり取りするか、どの許可を継承するか、どのくらいの計画を立てるか、そして実行中に欺かれた場合に何が起こるかを自問自答しなければなりません。

区別は非常に小さくても重要です。生成AIはコンテンツを作成します。 エージェントAIは結果を作成します。これはコンテンツリスクから実行公開への移行です。

エージェントAIはエンタープライズの攻撃面をどのように拡大するか?

エージェントAIは新しいアプリケーションを追加するのではなく、新しい運用レイヤーを作成します。攻撃面がどのように拡大するかは以下のとおりです：

1. 権限のあるAIエージェント

ユーザーまたはサービスアカウントの代わりに動作する多数のエージェントがあります。許可のスコープがしっかりと定義されていない場合、これらは貴重なターゲットになります。

これにより、混乱した代理人問題、特権の昇格、横方向の移動が発生する可能性があります。これは、クラウド、SaaS、内部システムがエージェントに動的または継承されたアクセスを提供する場合に問題になります。

2. 動的実行パス

従来のアプリケーションの制御フローは決定論的です。エージェントAIシステムの制御フローは決定論的ではありません。

目標について推論し、行動を実行し、反省し、改良し、ツールを呼び出すことが非決定論的に行われます。これにより、分析が難しい障害ケース、複雑な依存グラフ、多エージェントシステムのカスケード障害が発生します。決定論的な制御フロー用に開発されたセキュリティコントロールはここでは適用できません。

3. 永続的なメモリ

エージェントメモリによってもたらされる攻撃面は永続的です。

短期または長期のメモリが侵害された場合、悪意のある状態が複数のセッションを横断して決定を影響させることができます。これは、プロンプトの単一のインジェクションとは異なり、メモリの破壊によって永続性が提供されるためです。

4. マシンスピードの意思決定リスク

自律エージェントは人間が追いつくことができないスピードで決定を下します。これにより、マシンスピードの意思決定の課題が生じ、迅速なエラープロパゲーション、人間の反応よりも速い悪用サイクル、検出が可能になる前にエスカレーションが発生します。

多エージェントシステムでは、影響の範囲は迅速です。悪意のあるエージェントは、障害カスケードを連携チェーンでトリガーできます。

従来のコントロールがエージェントAIで失敗する理由

ほとんどの従来のエンタープライズセキュリティモデルは、静的なアプリケーション、予測可能なコールグラフ、人間の承認、データ処理と実行の明確な区別に依存しています。エージェントAIは、これらの仮定を無効にします。

例えば、従来のコントロールである入力検証を考えてみましょう。これにより、システムの境界が保護されます。ただし、エージェントリスクは通常、ループの中央、計画、反省、ツール化の段階で発生します。

従来の脆弱性スキャンも、インフラストラクチャとソフトウェアに焦点を当てています。ただし、AIの実行リスクは、エージェントの推論とアクションのレイヤー内に存在します。

質問は、次のとおりです。自律的に次のアクションを選択できるものをどうやって保護しますか? 単一のモデル呼び出しをコントロールで囲むだけでは不十分です。ワークフローを保護する必要があります。

エージェントAIのセキュリティ：何が実際に機能するのか?

エージェントAIのセキュリティについては、周囲の考え方からライフサイクルの考え方への移行が必要です。エージェントは無限に目標を再解釈することを許可すべきではありません。目標のシーケンスを許可する、計画の展開ツリーの深さを規制する、推論のズレを監視する、スコープ外の自己作成目標を禁止するなどのコントロールが必要です。予期せぬ推論の変化は、操作の前触れであることがよくあります。

ツールの実行を強化します。ツールは、計画が現実と出会う場所です。セキュリティは、ツールの実行前の許可チェック、サンドボックス化された実行環境、厳格なパラメータ検証、およびジャストインタイム資格情報転送をカバーする必要があります。ツールの実行ごとに、主要なセキュリティイベントとしてログに記録する必要があります。

メモリと特権のスコープを分離します。メモリは機密のインフラストラクチャとして扱う必要があります。これには、書き込み操作の検証、メモリドメインのパーティショニング、タスクごとの読み取り操作のスコープの制限、短期間の資格情報の使用、継承された特権の防止が含まれます。検証されていない特権の蓄積は、エージェントAIの重大なリスクです。

マルチエージェントの調整をセキュアにします。分散エージェントシステムでは、通信自体が攻撃ベクトルになります。これには、エージェントの認証、メッセージスキーマの検証、制限された通信チャネル、および異常な影響パターンの監視が含まれます。調整が予想されるフローから逸脱した場合、自動的に隔離する必要があります。

公開管理からAIシステムの公開評価へ

ここで、より広範なセキュリティ哲学が重要になります。従来の脆弱性管理は既知の弱点を特定します。ただし、自律的なAIシステムは、構成、特権設計、統合パス、動的動作から生じるエマージェント公開を導入します。

これは、業界が「公開管理」と呼んでいるもの、さらには最近では「公開評価」と呼んでいるものと一致しています。

公開管理は、クラウド資産、ID、應用プログラム、および今ではAIエージェントを含むシステムが、悪者が利用できるパスを作成する方法に対する継続的な可視性を保持することについてです。

自律的なAIシステムのセキュリティの場合、次のことが重要です。どのエージェントが到達できるか。どのような許可を集めるか。どのシステムをオーケストレートするか。実行と機密データがどこで交差するか。

すでに公開ベースの戦略を使用してサイバーリスクを軽減しているチームは、AI環境にこれらの原則を拡張するための堅固な立場にあります。たとえば、ID、クラウド、脆弱性の可視性を統合するプラットフォームは、特権のあるAIエージェントが既存の攻撃パスと交差する方法を理解する方法を提供します。

重要なのは、ベンダーのツールそのものではなく、心構えです。

エージェントAIを保護するには、モデルを保護するのではなく、公開を継続的に測定して削減する必要があります。

エージェントAIの実行層のリスクを管理する

エージェントAIセキュリティの特徴は、攻撃面が応答ではなくワークフローであるということです。

実行層のリスクは多数あり、認証されていないツールの使用、IDのスプーフィング、特権のクリーク、メモリの毒性、エージェント間の操作、人間がループ内にいるシステムが含まれます。

これらのリスクを軽減するには、IDの関係、特権の継承、APIの依存関係、ランタイムアクティビティ、実行のテレメトリへの可視性が必要です。

これは、もはやGenAIのセキュリティだけではなく、AIの運用セキュリティでもあります。

エージェントAIリスクは架空のものではなく、建築的である

エージェントAIは、エンタープライズAIの採用の進化の次のステップです。効率、自動化、スケーラビリティの約束を持ちます。ただし、AIが何を言っているかからAIが何をしているかにリスクをもたらします。

生成からエージェントシステムへの移行は、以下の点に影響します：

• コンテンツリスクから実行リスク
• 静的なプロンプトから動的な実行フロー
• 人間のレビューから自律的な実行
• アプリケーションセキュリティから公開管理

セキュリティリーダーが最初にこの移行を理解することで、自律性とともに拡大するガードレールを設計できます。そうでない場合、デジタルインサイダーを内部コントロールなしで取得することになります。

エンタープライズにおけるAIの将来はエージェントです。AIセキュリティの将来は、公開駆動型で、ワークフローに応じて、機械スピードの操作に設計されたものでなければなりません。

一度AIエージェントが実行する能力を持つようになると、実行に公開されるものを継続的に理解して軽減する以外のアプローチは実行できません。