サイバーセキュリティ
私たちが構築したセキュリティの脆弱性: AIエージェントと服従の問題
LLMベースのAIエージェントは、新しい種類の脆弱性を導入し、攻撃者がデータに悪意のある指令を注入し、有用なシステムを無意識の共犯者に変える。
Microsoft Copilotは、従来の意味ではハッキングされませんでした。マルウェアはありませんでした。フィッシングリンクはありませんでした。悪意のあるコードはありませんでした。誰も何もクリックしませんでした。誰もエクスプロイトを展開しませんでした。
脅威行為者はただ頼んだだけです。Microsoft 365 Copilotは、正確に何をして欲しいのかを理解するように設計されており、頼まれたことを実行しました。最近のEcholeakゼロクリック攻撃では、AIエージェントはデータとして偽装したプロンプトによって操作されました。壊れているわけではありませんでした。設計通りに機能していたからです。
この脆弱性は、ソフトウェアのバグを利用しませんでした。言語を利用しました。つまり、サイバーセキュリティでは、攻撃対象領域がコードではなく会話であることを示す、重要な転換点に至りました。
新しいAIの服従問題
AIエージェントは、支援するように設計されています。その目的は、ユーザーの意図を理解し、効率的に実行することです。その有用性はリスクを伴います。ファイルシステム、生産性プラットフォーム、またはオペレーティングシステムに組み込まれた場合、これらのエージェントは、最小限の抵抗で自然言語のコマンドに従います。
脅威行為者は、正確にその特性を利用しています。無害に見えるプロンプトの注入によって、機密性の高いアクションをトリガーできます。これらのプロンプトには、以下が含まれる場合があります：
- マルチリンガルなコードスニペット
- 不明なファイル形式と埋め込まれた指令
- 非英語の言語入力
- カジュアルな言語に隠されたマルチステップコマンド
大規模な言語モデル(LLM)は、複雑さと曖昧さを理解するようにトレーニングされているため、プロンプトがペイロードになります。
SiriとAlexaの幽霊
このパターンは新しいものではありません。SiriとAlexaの初期の頃、研究者は、音声コマンドを再生することで、ユーザーの検証なしにアクションをトリガーできることを実証しました。
今、脅威は大きくなりました。Microsoft CopilotのようなAIエージェントは、Office 365、Outlook、およびOSに深く統合されています。彼らは電子メール、ドキュメント、資格情報、およびAPIにアクセスします。攻撃者は、正しいプロンプトが必要です。重要なデータを抽出するために、すべて、有効なユーザーとして装うことによって。
コンピューターが指令をデータと間違える
これは、サイバーセキュリティにおける新しい原則ではありません。SQL攻撃は、システムが入力と指令を区別できないため成功しました。今日、その同じ欠陥が存在しますが、言語レイヤーでです。
AIエージェントは、自然言語を入力と意図の両方として扱います。JSONオブジェクト、質問、またはフレーズは、アクションを開始できます。この曖昧さが、脅威行為者が利用するものです。無害に見えるコンテンツの中にコマンドを埋め込むのです。
私たちはインフラストラクチャに意図を組み込みました。現在、脅威行為者はそれを引き出す方法を学びました。
AIの採用はサイバーセキュリティを上回る
企業がLLMを統合するために急いでいる間、多くの企業は、重要な質問を見落としています: AIは何にアクセスできますか?
CopilotがOSに触れると、爆発の範囲はインボックスをはるかに超えます。Check PointのAIセキュリティレポートによると:
- 世界のチーフ・インフォメーション・セキュリティ・オフィサー（CISO）の62パーセントは、AI関連のセキュリティ侵害に対して個人的に責任を負う可能性があると懸念しています
- 約40パーセントの組織は、セキュリティの管理なしに内部でAIを使用していることを報告しています
- 20パーセントのサイバー犯罪グループは現在、AIを運用に組み込んでいます。フィッシングや偵察を行うために
これは、現実のリスクです。これは、すでに被害をもたらしています。
既存のセーフガードが不足している理由
一部のベンダーは、危険なプロンプトや疑わしい動作を検出するために、セカンダリモデルを使用しています。これらのフィルターは基本的な脅威を検出できますが、回避技術に対して脆弱です。
脅威行為者は:
- フィルターをノイズで過負荷にする
- 意図を複数のステップに分割する
- 検出を回避するために、不明瞭なフレーズを使用する
Echoleakの場合、セーフガードは存在しました – そして、それらは回避されました。これは、ポリシーの失敗を示すものではありません。アーキテクチャの失敗を示しています。エージェントが高いレベルの権限を持っている場合でも、低レベルのコンテキストを持っている場合、良いガードレールでも不足します。
検出、完璧ではない
すべての攻撃を防止することは現実的ではないかもしれません。目標は、迅速な検出と迅速な封じ込めです。
組織は、以下の方法から始めることができます:
- AIエージェントのアクティビティをリアルタイムで監視し、プロンプトの監査ログを保持する
- AIツールに厳格な最小権限アクセスを適用し、管理レベルのコントロールをミラーリングする
- 機密性の高い操作に摩擦を加える、確認を必要とする
- 不通常または敵対的なプロンプトパターンをレビューのためにフラグする
言語ベースの攻撃は、従来のエンドポイント検出および対応(EDR)ツールに表示されません。新しい検出モデルが必要です。
組織が今すぐ自分を守るために何をすべきか
AIエージェントを展開する前に、組織は、これらのシステムがどのように機能し、どのようなリスクをもたらすかを理解する必要があります。
主要な推奨事項は次のとおりです:
- すべてのアクセスを監査する: エージェントが何に触れるか、または何をトリガーするかを知る
- スコープを制限する: 最小限の必要な権限を付与する
- すべてのやり取りを追跡する: プロンプト、応答、および結果のアクションをログする
- ストレステスト:内部で敵対的な入力をシミュレートし、頻繁に
- 回避を計画する: フィルターが回避されることを前提とする
- セキュリティと一致させる: LLMシステムがセキュリティの目標をサポートすることを確認し、損なわない
新しい攻撃対象領域
Echoleakは、来るものの見本です。LLMが進化するにつれて、その有用性は負担になります。ビジネスシステムに深く統合されているため、攻撃者は、シンプルで工夫されたプロンプトを通じて新しい方法で侵入できます。
これは、コードをセキュアにすることだけではありません。言語、意図、コンテキストをセキュアにすることです。プレイブックは、今すぐ変更されなければなりません。遅すぎる前に。
しかし、良いニュースもあります。AIエージェントを使用して、新しいサイバーセキュリティの脅威から守るために、進歩が見られます。適切に活用されると、これらの自律AIエージェントは、脅威に対して人間よりも迅速に反応し、環境全体で協力し、1つの侵入試行から学ぶことで、脅威を予防できます。
エージェントAIは、すべての攻撃から学び、リアルタイムで適応し、脅威が広がる前にそれらを防ぐことができます。サイバーセキュリティの新しい時代を確立する可能性があります。ただし、我々がこの瞬間を把握し、サイバーセキュリティの未来を一緒に形作るのであれば。そうしない場合、この新しい時代は、すでにAIを実装している組織（時には影のITツールで、意図的に実装していない場合もあります）にとって、サイバーセキュリティとデータプライバシーの悪夢になる可能性があります。行動を起こす時です。AIエージェントが私たちの利益のために使用されることを保証するために。
