Amanda Rousseau, プリンシパル AI セキュリティ リサーチャー、Straiker Amanda Rousseau プリンシパル AI セキュリティ リサーチャー、Straiker

マルチモーダル攻撃の来る波：AIツールが新たな脆弱性となる

大規模言語モデル（LLM）は、テキスト、画像、音声、コードを扱うマルチモーダルシステムに進化し、外部ツールやコネクタを強力にオーケストレートできるようになっています。この進化により、組織が認識する必要がある拡大された攻撃面が生まれます。その典型的な例は、社会工学攻撃です。エージェントは人間のように行動するようにトレーニングされており、人間よりも懐疑心が少ないため、エージェントは偽装されたメールと正当な小売業者からのメールの違いを判断することができません。マルチモーダル性とツールアクセスの収束は、AIをアシスタントから攻撃媒体に変えます。攻撃者は、シンプルなテキストプロンプトを使用してツールの誤用をトリガーしたり、未承認のアクションを実行したり、正当なチャネルを介して機密データを抽出することができます。これらの機能は、防御ではなくアクセシビリティのために設計されているため、低スキルな攻撃者でも、コードを1行も書かずにAIシステムを使用して複雑な操作を実行することができます。マルチモーダルAIが脆弱性チェーンとなる方法LLMは、外部システムのオーケストレーターとしてますます重要性を増しています。今日の統合には、API、電子メール、クラウドストレージ、コード実行ツールなどが含まれています。これらのコネクタは、防御ではなくアクセシビリティのために構築されています。これの欠点は、新しい脆弱性の波につながる可能性があることです。1つの例は、プロンプト駆動のツール誤用です。たとえば、攻撃者は、プロンプトインジェクションの指示が挿入された画像を使用できます。画像からテキストを抽出するには、光学文字認識（OCR）ツールが必要です。エージェントは、電子メールに返信し、ターゲットの自宅アドレスにGoogleマップを添付するように指示され、被害者のロケーションを匿名化解除します。別のメカニズムは、クロスモーダルガードレール回避です。これは、ツールの入力と出力点の間に位置するガードレールに関連しています。たとえば、OCRエクストラクターの出力の分析では、出力から発見されたプロンプトインジェクションに対する十分なガードレールがない可能性があります。構造的な弱点もあります。1つの問題は、モデルと呼び出せる外部ツールとの間の緩い、過度に許容的なバインディングです。つまり、シンプルな自然言語プロンプトで、コードの実行、ファイルへのアクセス、電子メールとのやり取りなどの実際のアクションをトリガーすることができます。また、多くのシステムでは、厳格なアクセス制御が欠けているため、AIは、人間が承認することのないデータの書き込み、削除、または変更を行うことができます。問題は、コネクタやMCPスタイルの拡張機能がほとんどの場合、ガードレールがなく、接続されると、個人ストレージ、受信トレイ、クラウドプラットフォームへのAIのリーチが、ほとんどの監視なしに拡大することによってさらに深刻化します。これらの構造的な弱点は、クラシックなセキュリティ問題であるデータの抽出、サンドボックスからの脱出、さらにはメモリの汚染が、巧妙に作成されたプロンプトによってトリガーされる可能性がある環境を作り出します。新たな脅威：次に何が来るのかこの新しい通常では、AIを使用した電子メールと社会工学攻撃が迫っています。フィッシングの量は、攻撃者がLLMを使用するため、通常のスパムフィルタをバイパスすることができるため、増加するでしょう。インボックスに接続されたAIエージェントは、フィッシング攻撃が成功する可能性を高めます。GmailやOutlookにエージェントを接続するユーザーが増えるため、電子メールベースの脅威が増加する可能性があります。攻撃者は、AIにスパムまたはスピアフィッシングキャンペーンを実行するように指示することができます。このシナリオでは、AIからAIへのフィッシングが実行可能になります。マルチモーダルシステムは、コード実行機能を提供することが増えています。エスケープパスにより、攻撃者は基礎となるインフラストラクチャを侵害することができます。サンドボックスからの脱出は、ベンダーの評判上最大の悪夢を表します。長期的なメモリ汚染と遅延トリガーは、さらに脅威をもたらします。永続的なメモリにより、隠されたペイロードが将来のプロンプトでアクティブ化することができます。クロスモーダルトリガー（例：画像またはテキストスニペット）は、時間爆弾の動作を引き起こすことができます。マルチモーダル攻撃がなぜアクセスしやすく危険であるのかAIは攻撃能力を民主化しました。ユーザーは、コードやマルウェアの開発スキルが必要なくなりました。自然言語が、マルウェアの作成またはデータの抽出のインターフェイスになりました。これにより、非技術的な個人でも、プロンプトを使用してマルウェアを作成したり、キャンペーンを実行したりすることができます。AIは、有害な操作の加速と拡大も可能にします。マルチモーダルエージェントは、専門家の努力が必要だった作業を自動化できます。コード、電子メール、調査、偵察は瞬時に生成できます。ユーザーの過信と意図しない公開が、AIの危害の可能性に貢献しています。ユーザーは、AIがアクセスできるものを理解していないことが多く、デフォルト設定は、AIの統合を自動的に有効にします。多くの人は、AIが電子メールまたはドキュメントに過度なアクセス権を与えていることに気付いていません。マルチモーダルセキュリティの原則とコントロール組織は、マルチモーダル攻撃に対するセキュリティ対策を実施する必要があります。セキュリティチームは、ツールへのアクセスをデフォルトで制限する必要があります。オプトインコントロールは、自動的に有効化された統合に取って代わる必要があります。また、AIに接続されたすべてのシステムに対して、最小限の特権アクセスを適用し、書き込み/削除アクセスを削除する必要があります。これには、クロスオリジンルールとドメインのホワイトリスト（インフラストラクチャのホワイトリストであり、LLMレベルのホワイトリストではありません）が含まれます。別の重要なステップは、ツールの呼び出しに対する明示的なガードレールを構築することです。自然言語トリガーを、構造化された型付きコマンドの検証に置き換えます。ガードレールは、入力と出力の両方の絞り込み点である必要があります。その他の重要な原則とコントロールには、以下のものがあります： 機密操作に対する強力な承認ワークフローを適用します。 ユーザーデータを永続的なモデルメモリに配置しない。自動メモリのサニタイズとプロバンスチェックを適用します。 コード実行環境を強化し、分離します。 疑わしい動作や脱出の試みを監視します。 ユーザーの教育と透明性を強化します。 エージェントがリスクの高いタスクを実行するときに、ユーザーにさらに確認を求めます。 AIツールが電子メール、ファイル、またはクラウドリソースにアクセスしていることを明確にします。 ユーザーに、高リスクのコネクタについて警告します。 マルチモーダル攻撃に対する対策AIテクノロジーは、ビジネス操作のエージェントにすばやく変化し、自然言語自体が脆弱性の形となりました。マルチモーダル性とツールアクセスの収束は、攻撃面を拡大し、AIをアシスタントから攻撃媒体に変えました。マルチモーダル攻撃は、LLMとそれが制御する外部システム（例：API、ファイルストレージ、自動化プラットフォーム）の緩い統合を悪用します。脅威が進化するにつれて、組織は、マルチモーダル攻撃パスを明示的に考慮する戦略を採用する必要があります。上記のベストプラクティスを使用して防御を強化することは、AIツールが攻撃者の脆弱性チェーンの一部として意図しない形で機能しないようにするために不可欠です。