Connect with us

AIエージェントの隠れた脅威に新しいセキュリティモデルが求められる

ソートリーダー

AIエージェントの隠れた脅威に新しいセキュリティモデルが求められる

mm

エージェント型AIシステムは、過去1年間で主流になりました。現在、ユーザーの認証、資本の移動、コンプライアンスワークフローのトリガー、企業環境全体での調整など、さまざまな機能に使用されています。

しかし、インフラストラクチャの信頼レベルで、静かに問題が生じています。エージェントシステムは、インサイダー権限を与えられていますが、依然として、自律的な意思決定者をインフラストラクチャの下から保護するように設計されていないコンピューティング環境で実行されています。

従来のセキュリティでは、ソフトウェアは受動的であると想定されますが、エージェントシステムはそうではありません。エージェントシステムは、継続的に、自律的に、委任された権限で推論、記憶、行動します。

また、AIエージェントは、ユースケースに基づいて、電子メールや電話レコードなどの個人データにアクセスする可能性があります。

さらに、ハードウェアベースの保護、たとえば、機密仮想マシンやセキュアエンクレーブは存在しますが、まだ、ほとんどのエージェント型AIデプロイメントのデフォルトの基盤ではありません。結果として、多くのエージェントは依然として、実行中の機密データが基礎となるインフラストラクチャに公開される環境で実行されます。

エージェントはインサイダーであり、ツールではありません

セキュリティチームは、インサイダー脅威を封じ込めることの難しさを既に知っています。これは、Verizonの2025年のデータブリーチレポートで強調されています。このレポートでは、システム侵入が昨年の確認されたブリーチの53%以上を占めていたことが示されています。22%のケースでは、攻撃者は侵入に成功するために盗まれた資格情報を使用しました。これは、技術的な欠陥を利用するのではなく、有効なIDを使用することが多くの場合に成功することを示しています。

ここで、エージェントを考えてみましょう。エージェントは、プロンプトロジック、ツールおよびプラグイン、資格情報、およびポリシーで構成されています。コードを実行し、Webを閲覧するだけでなく、CRMを照会し、電子メールを読み取り、チケットをプッシュすることができます。機能の組み合わせにより、伝統的な攻撃面が現代のインターフェイスに持ち込まれることになります。

このようなインサイダー脅威の危険性は推測ではありません。OWASP(Open Web Application Security Project)は、LLMアプリケーションの重要な脆弱性として「プロンプトインジェクション」をリストしています。特に、連鎖アクションをチェーンするエージェントシステムの危険性を指摘しています。Microsoftの脅威インテリジェンスチームも、AIシステムがツールアクセスをサブバートしてデータ盗難を実行する可能性があることを警告しています。

これらのレポートは、システムとデータへの有効なアクセス権を持つエージェントが所有者に対して反対する可能性があることをタイムリーに思い出させてくれます。しかし、エージェントシステムのリスクランドスケープは単一ではありません。アプリケーションレイヤーの脅威、たとえばプロンプトインジェクションとツールの悪用は、信頼できる指令と信頼できないユーザー入力をモデルが区別できないことから生じます。これは、どれだけのメモリ強化でも解決できない設計上の制限です。

インフラストラクチャレベルでは、別の重要な問題があります。エージェントのいくつかは、プレーンテキストメモリで実行されます。つまり、チャット履歴、APIレスポンス、ドキュメントなどの機密情報が、処理中およびその後もアクセス可能になる可能性があります。OWASPは、このリスクを機密情報漏えい(LLM02)およびシステムプロンプト漏えい(LLM07)として識別しています。コンテキスト分離、名前空間セグメンテーション、メモリスandboxingを重要な安全対策として提案しています。

したがって、ユーザーはこれらのエージェントを単なるアプリケーションとして扱うべきではありません。エージェントは、動的で推論するエグゼキューターであり、独自の性質を考慮したセキュリティモデルが必要です。このアプローチには、モデルの動作を制限するためのソフトウェアコントロールと、データを使用中に安全に保つためのハードウェア保護が必要です。

信頼のアーキテクチャには重大な欠陥があります

現在のセキュリティ慣行は、データを保存および転送中の保護に焦点を当てています。最後の境界、つまり使用中のデータはほとんど公開されたままです。AIエージェントが機密データセットをローンの承認、患者レコードの分析、取引の実行などに推論する場合、そのデータは通常、サーバーのメモリ内で平文で処理されます。

標準的なクラウドモデルでは、インフラストラクチャを十分に制御できる誰でも、ワークロードが実行中の間に何が起こっているかを潜在的に見ることができます。AIエージェントにとって、これらの漏洩は特に危険です。なぜなら、エージェントは仕事をこなすために機密情報にアクセスする必要があるからです。これは、潜在的に攻撃面となる可能性があります。

Lumia Securityが実証したように、ローカルマシンへのアクセス権を持つ攻撃者は、ChatGPT、Claude、Copilotデスクトップアプリケーションのプロセスメモリから直接JWTとセッションキーを取得できます。これらの盗まれた資格情報により、攻撃者は別のユーザーになりすまし、会話履歴を盗み、セッション中にエージェントの行動を変更したり、偽の記憶を植え付けたりするプロンプトを挿入することができます。

例として、AWS CodeBuildのメモリダンプインシデントが2025年7月に発生しました。攻撃者はプロジェクトに秘密のコードを追加し、システムがそれを実行すると、コードはコンピュータのメモリを覗き込み、そこに保存された隠しログイントークンを盗みました。攻撃者はそのトークンを使用してプロジェクトのコードを変更し、他のシステムにアクセスする可能性もありました。

金融機関にとって、静かな操作は存続に関わる問題です。銀行、保険会社、投資会社は、平均的なブリーチコストが1,000万ドルを超えていることをすでに認識しています。また、機密性は機密性と同等に重要であることも理解しています。最近のInformaticaレポートによると、「信頼のパラドックス」は、組織が自律エージェントをより迅速に展開しているにもかかわらず、その出力を検証するのに十分な時間がないというものです。結果として、自動化がエラーまたは偏見をコアプロセスに直接組み込む可能性があります。

機密コンピューティングと分離のケース

漸進的な修正では問題を解決できません。アクセス制御の厳格化や監視の強化は役立ちますが、根本的な問題には対処できません。問題はアーキテクチャ的なものであり、計算が露出されたメモリで行われる限り、エージェントは最も重要な時点で脆弱です。つまり、推論中です。

機密コンピューティングは、ハードウェアベースの信頼できる実行環境(TEE)を介して使用中のデータを保護することを、Confidential Computing Consortium(CCC)が定義しています。これは、エージェントの問題の核心を直接対処します。

AIエージェントにとって、ハードウェアレベルの分離は変革的です。エージェントのID資格情報、モデル重み、独自のプロンプト、および処理する機密ユーザーデータが、実行中にも暗号化されたままであることを可能にします。分離は、インフラストラクチャの制御がワークロードの制御を保証する従来のモデルを明確に破壊します。

リモートアテステーションにより、特定の推論リクエストがハードウェアバックの信頼できる実行環境内で実行されたことを検証可能な暗号証拠が提供されます。この証拠は、ハードウェア測定から生成され、応答とともに提供され、ワークロードがどこで、どのように実行されたかを独立して検証することができます。

アテステーションレコードには、実行されたコードが記載されていません。代わりに、各ワークロードは一意のワークロードIDまたはトランザクションIDに関連付けられ、TEEアテステーションレコードはそのIDにリンクされます。アテステーションは、ワークロードが信頼できる環境内で実行されたことを確認しますが、その内容を公開しません。

このセットアップは、コンプライアンスと監査可能性の新たな基盤を作成します。エージェントのアクションを、アテステーションおよび特定の入力データセットに関連付けることが可能になります。

説明責任のある自律性に向けて

上記のシステムの影響は、基本的なセキュリティを超えています。金融、ヘルスケア、個人情報を規制する法律を考えてみましょう。多くの管轄区域では、情報が処理される場所を制限するデータ主権規則が適用されます。中国では、個人情報保護法およびデータセキュリティ法、特定のデータカテゴリ、たとえば重要な個人データを国内で保存し、海外への転送前に確認することを要求しています。

同様に、UAEやサウジアラビアなどのいくつかの湾岸諸国は、特に金融、政府および重要インフラストラクチャデータの場合に、同様のアプローチを採用しています。

機密コンピューティングは、データを処理中に保護し、ランタイム環境のアテステーションを可能にすることで、セキュリティと監査可能性を強化できます。しかし、処理が行われる場所を変更することはできません。データ主権の規則がローカル処理を要求する場合、または国境を越えた転送に条件を課す場合、信頼できる実行環境はコンプライアンスコントロールをサポートできますが、法的要件を代替することはできません。

さらに、機密コンピューティングにより、複数のエージェントシステムで、エージェント間で情報を共有したり、出力を検証したりすることができますが、機密データを公開せずにセキュアなコラボレーションを可能にします。

ゼロトラストアーキテクチャと組み合わせると、結果はより強力な基盤になります。ゼロトラストは、IDとアクセスを継続的に検証しますが、機密コンピューティングは、ハードウェアのメモリを未承認の抽出から保護し、機密情報が平文で回復されるのを防ぎます。

これらは、実際に重要なものを守ります。たとえば、意思決定ロジック、機密入力、およびアクションを承認する暗号化キーなどです。

自律システムの新しい基準

もしも、すべてのやり取りが人々を危険にさらすものであれば、人々はAIにヘルスケアレコードのようなものを扱わせたり、金融上の決定を下させたりしないでしょう。同様に、企業も、規制上の問題や重要なデータの喪失につながる可能性があるため、最も重要なタスクの自動化を行わないでしょう。

真剣に取り組む人々は、ハイアシュアランスの環境では、アプリケーションレイヤーの修正だけは不十分であることを認識しています。

エージェントが金融的権限、規制データ、または組織間の調整を任せられた場合、インフラストラクチャの漏洩は理論的な懸念を超えています。機密実行がなければ、多くのエージェントはソフトターゲットのままです。キーやロジックは盗まれる可能性があります。近年の大規模なブリーチは、まさにその道の果てを見せています。

プライバシーと完全性は、デプロイ後に追加されるオプション機能ではありません。それらは、シリコンから設計する必要があります。したがって、エージェント型AIを安全にスケールするには、ハードウェアで強化された機密性を、単なる競争上の優位性ではなく、基準と見なす必要があります。

Ahmad Shadidは、O Foundationの創設者であり、スイスを拠点とするA.I.研究ラボで、プライベートA.I.インフラストラクチャの構築と研究に焦点を当て、o.capital、Nasdaqで取引されるquant fund、およびio.netの創設者および元CEOであり、現在はSolanaベースの分散型A.I.コンピューティングインフラストラクチャネットワークの中で最大のものとなっている。