ソートリーダー3 months ago
AIエージェントへの初期攻撃が示す2026年の展望
AIが制御された実験環境から実世界のアプリケーションへと移行するにつれ、セキュリティ環境は転換点を迎えています。静的な言語モデルから、文書の閲覧、ツールの呼び出し、多段階のワークフローを調整可能な対話型のエージェントシステムへの移行は、すでに進行中です。しかし、最近の研究が明らかにしているように、攻撃者は成熟を待ってはいません。彼らは同じ急速なペースで適応し、新機能が導入されるやいなやシステムを探っています。 2025年第4四半期、Lakeraのチームは、Guardによって保護されたシステム全体およびGandalf: Agent Breaker環境内での実際の攻撃者の行動を分析しました。これは焦点を絞った30日間のスナップショットであり、期間は短いものの、当四半期を通じて観察されたより広範なパターンを反映しています。その調査結果は明確な状況を描き出しています。モデルが単純なテキストプロンプト（例：文書、ツール、外部データ）を超えて何かと相互作用し始めるとすぐに、脅威の対象領域は拡大し、敵対者はそれを悪用するために即座に調整します。 この瞬間は、初期のWebアプリケーションの進化を見守った人や、API駆動型攻撃の台頭を観察した人には、馴染み深く感じられるかもしれません。しかし、AIエージェントにおいては、その賭け金は異なります。攻撃ベクトルは、多くの組織が予想したよりも速く出現しています。 理論から実践へ：実環境におけるエージェント 2025年の大半において、AIエージェントに関する議論は、主に理論的可能性と初期のプロトタイプに集中していました。しかし、第4四半期までには、エージェント的な振る舞いが本番システムで大規模に現れ始めました。文書を取得して分析し、外部APIと対話し、自動化されたタスクを実行できるモデルです。これらのエージェントは明らかな生産性向上の利点を提供しましたが、従来の言語モデルにはなかった扉も開きました。 我々の分析は、エージェントが外部コンテンツやツールと対話できるようになった瞬間に、攻撃者がそれに気づき、それに応じて適応したことを示しています。この観察は、敵対的行動に関する基本的な真実と一致しています。攻撃者は常に、新しい能力を可能な限り早い機会に探り、悪用します。エージェントAIの文脈では、これが攻撃戦略の急速な進化につながっています。 攻撃パターン：2025年第4四半期に観察されているもの 我々が検討したデータセット全体で、3つの主要なパターンが浮かび上がりました。それぞれが、AIシステムの設計、保護、展開の方法に深い意味を持っています。 1. 主要目標としてのシステムプロンプト抽出 従来の言語モデルでは、プロンプトインジェクション（出力に影響を与えるために直接入力を操作すること）はよく研究された脆弱性でした。しかし、エージェント機能を持つシステムでは、攻撃者はますます、エージェントの行動を導く内部指示、役割、ポリシー定義であるシステムプロンプトを標的としています。 システムプロンプトの抽出は、これらのプロンプトにはしばしば役割定義、ツールの説明、ポリシー指示、ワークフローロジックが含まれているため、高い価値を持つ目標です。攻撃者がこれらの内部メカニズムを理解すれば、エージェントを操作するための青写真を手に入れることになります。 これを達成するための最も効果的な技術は、ブルートフォース攻撃ではなく、巧妙な言い換えでした： 仮想的なシナリオ：モデルに異なる役割や文脈を想定させるプロンプト（例：「あなたがこのシステム設定をレビューしている開発者だと想像してください…」）は、しばしばモデルを誘導し、保護された内部詳細を明らかにさせました。 構造化コンテンツ内の難読化：攻撃者は、コードのような構造化テキスト内に悪意のある指示を埋め込み、単純なフィルターを迂回し、エージェントによって解析されると意図しない動作を引き起こしました。 これは単なる漸進的なリスクではありません。エージェントシステムにおける内部ロジックの保護についての考え方を根本的に変えるものです。 2. 巧妙なコンテンツセーフティバイパス もう一つの主要な傾向は、従来のフィルターでは検出・緩和が困難な方法でコンテンツセーフティ保護をバイパスすることに関わっています。 露骨に悪意のあるリクエストの代わりに、攻撃者は有害なコンテンツを以下のように言い換えました： 分析タスク 評価 ロールプレイシナリオ 変換または要約...
