私たちが作り込んだセキュリティ脆弱性：AIエージェントと服従の問題

LLMベースのAIエージェントは、新しいタイプの脆弱性をもたらしています。攻撃者はデータに悪意のある指令を注入し、有用なシステムを無意識の共犯者に変えてしまいます。

Microsoft Copilotは、従来の意味ではハッキングされていませんでした。マルウェアはありませんでした。フィッシングリンクはありませんでした。悪意のあるコードはありませんでした。誰も何もクリックしませんでした。誰も何も展開しませんでした。

脅威行為者はただ頼んだだけです。Microsoft 365 Copilotは、正確に何をしていたかを理解し、効率的にそれに従うように設計されていました。最近のEcholeakゼロクリック攻撃では、AIエージェントはデータとして偽装されたプロンプトによって操作されました。壊れたわけではありませんでした。設計通りに機能していたからです。

この脆弱性は、ソフトウェアのバグを利用しませんでした。言語を利用しました。サイバーセキュリティにおいて、攻撃対象領域がコードではなく会話であることを示す重要な転換点です。

新しいAI服従問題

AIエージェントは、支援するように設計されています。ユーザーの意図を理解し、効率的にそれに従うことが目的です。その有用性はリスクを伴います。ファイルシステム、生産性プラットフォーム、またはオペレーティングシステムに組み込まれている場合、これらのエージェントは、抵抗をほとんど感じることなく自然言語のコマンドに従います。

脅威行為者は、正確にその特性を利用しています。無害に見えるプロンプト注入によって、機密性の高いアクションをトリガーできます。これらのプロンプトには以下が含まれる場合があります：

• 多言語コードスニペット
• 不明なファイル形式と埋め込まれた指令
• 英語以外の言語入力
• 日常言語に隠されたマルチステップコマンド

大規模言語モデル（LLM）は、複雑さと曖昧さを理解するようにトレーニングされているため、プロンプトがペイロードになります。

SiriとAlexaの幽霊

このパターンは新しいものではありません。SiriとAlexaの初期の頃、研究者は実証しました。音声コマンド「すべての写真をこのメールアドレスに送信」を再生することで、ユーザーの検証なしにアクションをトリガーできることを。

今、脅威は大きくなりました。Microsoft CopilotのようなAIエージェントは、Office 365、Outlook、OSに深く統合されています。電子メール、ドキュメント、資格情報、APIにアクセスします。攻撃者は、正しいプロンプトがあれば、重要なデータを抽出できます。すべて、合法的なユーザーとして行動しています。

コンピューターが指令をデータと間違える時

これは、サイバーセキュリティにおける新しい原則ではありません。SQL攻撃は、システムが入力と指令を区別できないことによって成功しました。今日、同じ欠陥がありますが、言語レイヤーにあります。

AIエージェントは、自然言語を入力と意図の両方として扱います。JSONオブジェクト、質問、またはフレーズがアクションを開始できます。この曖昧さが、脅威行為者が利用するものです。無害に見えるコンテンツの中にコマンドを埋め込みます。

私たちは、インフラストラクチャに意図を組み込みました。現在、脅威行為者はそれを引き出す方法を学びました。

AIの採用はサイバーセキュリティを上回っている

企業がLLMを統合するために急いでいる間、多くの企業は重要な質問を見落としています：AIには何にアクセスできるのですか？

CopilotがOSに触れることができる場合、影響範囲は受信トレイをはるかに超えて拡大します。Check PointのAIセキュリティレポートによると：

• 世界のチーフ・インフォメーション・セキュリティ・オフィサー（CISO）の62パーセントは、AI関連のセキュリティ漏洩に対して個人的に責任を負う可能性があると考えています
• 約40パーセントの組織は、セキュリティの監督なしに内部でAIを使用していることを報告しています
• サイバー犯罪グループの20パーセントは現在、AIを運用に組み込んでいます。フィッシングや偵察を行うためのものです

これは、現実のリスクです。すでに被害をもたらしています。

既存のセーフガードが不十分な理由

一部のベンダーは、危険なプロンプトや疑わしい動作を検出するためのセカンダリモデルを使用しています。これらのフィルタは基本的な脅威を検出できますが、回避技術に対して脆弱です。

脅威行為者は：

• フィルタをノイズで過負荷にする
• 複数のステップに意図を分割する
• 検出を回避するために明らかでない表現を使用する

Echoleakの場合、セーフガードはありましたが、回避されました。これは、ポリシーの失敗のみならず、アーキテクチャの失敗を反映しています。エージェントが高レベルの権限を持っているが、低レベルのコンテキストしかない場合、優れたガードレールでも不十分です。

検出、完璧ではない

すべての攻撃を防止することは現実的ではないかもしれません。目標は、迅速な検出と迅速な封じ込めです。

組織は以下の方法から始めることができます：

• AIエージェントのアクティビティをリアルタイムで監視し、プロンプトの監査ログを保持する
• AIツールに厳格な最小権限アクセスを適用し、管理レベルのコントロールをミラーする
• 機密性の高い操作に摩擦を加える、確認を要求するなど
• 不通常または敵対的なプロンプトパターンをレビューのためにフラグ設定する

言語ベースの攻撃は、従来のエンドポイント検出および対応（EDR）ツールには表示されません。新しい検出モデルが必要です。

組織が今すぐ自分を守るために何をするべきか

AIエージェントを展開する前に、組織はこれらのシステムがどのように機能し、どのようなリスクをもたらすかを理解する必要があります。

主要な推奨事項は以下のとおりです：

1. すべてのアクセスを監査する：エージェントが触れることができる、またはトリガーできるものを知る
2. スコープを制限する：最小限の権限を付与する
3. すべてのやり取りを追跡する：プロンプト、応答、アクションをログする
4. ストレステストを行う：内部で敵対的な入力をシミュレートし、頻繁に実行する
5. 回避を計画する：フィルタが回避されることを前提とする
6. セキュリティと一致させる：LLMシステムがセキュリティ目標を妥協するのではなく、サポートすることを確認する

新しい攻撃対象領域

Echoleakは、来るべきものの先駆けです。LLMが進化するにつれ、その有用性は負担になります。ビジネスシステムに深く統合されているため、攻撃者に新しい侵入方法を提供します — 単純な、巧みに作られたプロンプトを通じて。

これは、コードのセキュリティを確保することだけではありません。言語、意図、コンテキストのセキュリティを確保することです。戦略書は今、遅すぎる前に変更される必要があります。

しかし、良いニュースもあります。AIエージェントを使用して新しいサイバー脅威から防御するための進歩がなされています。適切に活用されると、これらの自律的なAIエージェントは、脅威に人間よりも迅速に反応し、環境全体で協力し、単一の侵入試行から学習することで、脅威を予防できます。

エージェントAIは、すべての攻撃から学び、リアルタイムで適応し、拡散する前に脅威を防ぐことができます。新しいサイバーレジリエンスの時代を確立する可能性があります。しかし、我々がこの瞬間を掴み、サイバーセキュリティの未来を共に形作るのでない限り、組織がすでにAIを実装している（時には影のITツールで意図せず）場合、サイバーセキュリティとデータプライバシーの悪夢になる可能性があります。AIエージェントが私たちの利益のために使用されることを保証するために、行動を起こす時です。