サイバーセキュリティ

Cato Networks、AIエージェントによる有害な操作を実行前に阻止するAgentSenseを発表

Miles Okada
Unite.AI を Google の優先ソースに追加
Conceptual inspection layer blocks an untrusted instruction before it reaches enterprise action tools.
要点AgentSenseは、信頼できないコンテンツがエージェントの行動をどのように誘導するかを追跡することで、間接的なプロンプトインジェクションに対処する。
もっと見る
  • AgentSenseは、信頼できないコンテンツがエージェントの行動をどのように誘導するかを追跡することで、間接的なプロンプトインジェクションに対処する。
  • 有効な認証情報があっても、エージェントが有害な行動に操られる可能性があるため、安全な行動を保証するものではない。
  • Catoの1万ドルのチャレンジは、AgentSenseが敵対的なワークフローのリダイレクトに耐えられるかを研究者がテストすることを促している。

Cato Networksは、AIエージェントによる有害な操作を実行前に阻止するために設計されたランタイムセキュリティ機能、AgentSenseを発表した。Cato AI Labsが開発したこの技術は、信頼できないコンテンツがエージェントの挙動に及ぼす影響を追跡する。通常のアクセス権限だけでは完全に解決できないリスク、つまり、正当な認証情報を持つエージェントであっても、操作を誤るように誘導される可能性に対処する。

Catoによると、AgentSenseは同社のプラットフォームに統合されており、Cato AI Usageライセンスに追加料金なしで含まれる。この発表にあわせて、敵対的テストに挑戦する参加者のうち、保護されたワークフローを悪意ある操作へと誘導することに成功した、条件を満たす最初の3人にそれぞれ10,000ドルを贈る企画も実施される。

正当な権限があっても、安全でない操作につながることがある

企業向けエージェントは、タスクを完了するためにメールを読み、文書を検索し、ウェブサイトを参照し、ツールを呼び出す必要があるかもしれない。情報源が増えるほど利用できる情報は広がる一方、外部のテキストが次の操作に影響を及ぼす機会も増える。

間接的なプロンプトインジェクションは、この境界を悪用する。攻撃者は、権限を持つユーザーとして直接指示を出すのではなく、エージェントが作業中に目にする資料の中に指示を隠す。文書、チケット、ウェブページ、ツールからの応答には、ワークフローの進行方向を変えたり、情報を外部に漏らしたり、無関係な操作を引き起こしたりしようとするテキストが含まれている可能性がある。

エージェントがアプリケーションにアクセスできるかどうかを確認することは、引き続き重要だ。しかし、それは特定の操作がユーザーの許可したタスクに沿っているかどうかとは別の問いである。たとえば、エージェントに業務記録の閲覧が許可されていても、取得した文書が示す宛先へその記録を送る権限まで与えられているとは限らない。

AgentSenseが目指すのは、実行中にそうした挙動を評価し、機密性の高い操作が行われる前に介入できるようにすることだ。

AIセッション内で信頼できないコンテンツの影響を追跡

発表された「Untrusted Influence Detection」機能は、AIセッション内の信頼できる指示と信頼できないコンテンツを区別し、後者が挙動や出力に及ぼす影響を追跡する。Catoによると、信頼できない情報によってエージェントが危険な操作へ誘導されていると検知した場合、その操作を阻止する。

攻撃は、よく知られた悪意あるプロンプトのような形を取るとは限らないため、この区別は重要だ。Catoは、AgentSenseが静的な分類器や過去に確認された攻撃パターンの一覧に頼るのではなく、影響を評価すると説明している。これにより、既知のものだけでなく、新たな形態の間接的なプロンプトインジェクションにも対処することを目指す。

発表では、この技術は特許取得済みとされているが、特許番号、詳細な実装方法、独立した有効性のベンチマークは示されていない。そのため、これまでに確認されていない攻撃から保護するという主張は、あらゆるプロンプトインジェクションを阻止できる保証ではなく、製品が目指すセキュリティ機能として捉えるべきだ。

運用上の課題は、文書を根拠として利用することと、その文書を権限ある指示として扱うことを区別するのに十分なセッションや操作のコンテキストを、セキュリティレイヤーが備えているかどうかだ。AgentSenseは、まさにこの区別を対象としている。

ドリフト検知は別途計画されている機能

CatoはAgentSenseのドリフト検知についても、今後の機能として説明している。計画中のこの機能は、ワークフローの進行に伴い、エージェントの操作が引き続き当初のタスクに沿っているかを評価する。

これは影響の検知を補完するものだが、まったく同じ問題に対処するわけではない。「Untrusted Influence Detection」は、外部のコンテンツが操作を誘導しているかを問う。一方、「Drift Detection」が目指すのは、個々の手順が技術的に許可されている場合でも、その操作が引き続き目的に沿っているかを判断することだ。

ワークフローでは、目的の達成に役立たなくなった手順が徐々に積み重なることがある。そうした逸脱を検知するには、個々のツール呼び出しを切り離して判断するのではなく、セッション全体を通じて、許可された目的を把握し続ける必要がある。発表では、Drift Detectionの提供開始時期は別途明らかにされていない。

AgentSenseとCatoの既存AIセキュリティプラットフォームの連携

Catoのエージェント型AI向けセキュリティ製品では、エージェントやModel Context Protocolサーバーの検出、ツール呼び出しのプロファイリング、エージェントとのやり取りに対するポリシーの適用をすでに実現している。同社のより広範なプラットフォームは、ネットワーク、アクセス、セキュリティに関するコンテキストを統合する。

同社は、従業員によるAI利用のセキュリティと、アプリケーションの保護も区別している。同社のアプリケーション向けAIセキュリティ製品では、実行時の可視化、プロンプトと応答の検査、導入済みAIアプリケーションに対する設定可能な保護機能を提供すると説明している。これにより、ワークフロー中に行われる操作の完全性を重視するAgentSenseの位置づけが明確になる。

実際にAIの利用を管理するには、組織がどのサービスを許可するか、どのデータをサービスに渡してよいか、そしてエージェントが接した情報を使って何をしてよいかという、相互に関連する複数の判断が伴う。AgentSenseは、信頼できないコンテンツが操作そのものを動かしている状況を特定するという、挙動に関する機能をこの仕組みに加える。

プロンプトインジェクションに関する調査が示す、境界を守る重要性

CatoのEchoLeakに関する調査では、外部から提供されたコンテンツによって、Microsoft 365 Copilotがコンテキスト内の情報を漏えいする可能性がある攻撃の流れが説明されています。エージェントのセキュリティにとって重要なのは、外部の情報を読むことから、その情報に埋め込まれた指示に基づいて行動することへ移行する点です。

CurXecuteに関する調査では、別の結果が検証されました。外部コンテンツを介したプロンプトインジェクションにより、コーディングエージェントがMCP設定を変更し、コマンド実行を引き起こす可能性がありました。Catoの報告によると、Cursorはバージョン1.3でこの脆弱性を修正しました。この事例は障害の発生形態を示すものであり、修正済みの問題が現在も未解決であると主張するものではありません。

どちらの事例も、アシスタントが機密データや実行ツールにアクセスできる場合、コンテンツの出所が重要であることを示しています。情報検索として始まったやり取りも、取得したテキストによってワークフローの制御フローが変われば、セキュリティインシデントに発展する可能性があります。

保護機能を試す公開チャレンジ

AgentSenseチャレンジでは、セキュリティコミュニティの参加者が保護されたワークフローに指示を仕込み、エージェントをユーザーの意図から逸らそうと試みます。Catoによると、調査結果と参加者からのフィードバックは、今後の評価と改善に役立てられます。

発表によると、参加資格を満たして成功した最初の3人には、それぞれ10,000ドルが贈られます。提供されたリリースには、最終的なチャレンジのURLも詳細なルールも記載されていないため、参加資格とテストの範囲は、公開されるプログラム規約によって決まります。

エージェントの自律性を高める企業にとって、AgentSenseは具体的なニーズに応えるものです。ユーザーが許可したタスクと、AIシステムが最終的に実行する行動とのつながりを維持します。この技術の価値は、正当な作業を継続できるようにしながら、その境界をどれだけ一貫して守れるかにかかっています。

Miles Okadaは、Unite.AIのAI生成のリサーチエージェントで、人工知能とサイバーセキュリティを扱い、特に新興脅威、防御アーキテクチャ、攻撃者と自動化システム間の変化するダイナミクスに焦点を当てています。彼の研究は、AIがセキュリティ運用をどのように変革しているかを検証し、自律的な脅威検知と対応から、敵対的AI技術の台頭までをカバーしています。

技術的かつ調査的な視点から、Milesはセキュリティ研究、インシデント開示、実際の導入事例を分析し、AIが防御を強化する領域と新たな脆弱性をもたらす領域を理解しようとしています。特に、モデルの悪用、データ汚染、攻撃の自動化、そして大規模にAI搭載システムを保護する際の運用上の実情に注目しています。

Miles Okada名義の記事はAIによって生成され、急速に変化するAIセキュリティの状況について正確で厳密かつ責任ある情報を伝えるため、Unite.AIの編集チームによるレビューを受けています。