サンディ・ダン、SPLXのCISO – インタビュー・シリーズ

サンディ・ダン、SPLXのCISOは、20年以上のヘルスケアとスタートアップでの経験を持つベテランのCISOで、QuarkIQを通じてCISOコンサルティングを行っています。彼女はOWASP Top 10 for LLM Applications Cybersecurity and Governance Checklistのリーダーであり、OWASP AI Exchange、OWASP Top 10 for LLM、Cloud Security Allianceにも貢献しています。ボイシ州立大学のサイバーセキュリティ教授でもあり、ボイシ州立大学のパーヴェイシブ・サイバーセキュリティ研究所の頻繁なスピーカー、顧問、理事でもあります。サンディは、SANSから情報セキュリティ管理の修士号を持ち、CISSPを含む数多くの認定資格を持っています。

SPLXは、自動化されたレッドチーム、ランタイム保護、ガバナンス、是正、脅威検査、モデルセキュリティを通じてAIシステムにエンドツーエンドの保護を提供するサイバーセキュリティ会社です。同社のプラットフォームは、1時間未満で数千のアドバーサリアルシミュレーションを実行して脆弱性を特定し、デプロイ前にシステムプロンプトを強化し、Agentic Radarという、多エージェントAIワークフローでのリスクをマッピングおよび分析するためのオープンソースツールを含みます。

あなたはAIとサイバーセキュリティの交差点に何が引き付けたのですか？それがあなたをSPLXとOWASPへの役割にどのように導いたのですか？

AIはChatGPTが登場する以前からサイバーセキュリティの会話の一部でしたが、実際の影響は期待していたほどではありませんでした。そこで、ChatGPTが登場したとき、私は失望すると思っていましたが、実際には逆の反応をしました。ChatGPTを初めて使用したとき、私はその能力に驚かされましたが、同時に、それがどれほど迅速に攻撃やプライバシーの悪用に利用される可能性があるかにも恐怖を感じました。その瞬間、私の心に火が点けられました。私はLLMに全力を尽くして、できる限り多くの研究論文を読み、関連するSlackやDiscordコミュニティに参加し、自分の実験を行いました。OWASP Top 10 for LLMsチャンネルに潜伏していたとき、最初のリストが公開されたとき、私はそれが重要なマイルストーンであることを知りました。しかし、CISOとして、私はセキュリティチームがもっと多くの情報が必要であることを感じました。私たちは人々に何を心配するべきかを伝えましたが、しかし何をすべきかを伝えませんでした。私はプロジェクトリーダーのSteve Wilsonに「LLMセキュリティCISOチェックリスト」を作成することを提案しました。それは後に最初のOWASP GenAIサブプロジェクトとなり、多くの追加サブプロジェクトを生み出しました。

その作業を通じて、私はKristian KamberとAnte Gojsalic（SPLXの創設者）に出会い、また多くのAIセキュリティスタートアップにアドバイスをしました。そのうちのいくつかは、約束のあるアイデアを持っていましたが、他のものはそれほどではありませんでした。当時私はB2Bチャットボット会社のCISOで、広範なAIアドバーサリアルテストプレイブックを作成していました。SPLXのデモを見たとき、私はすぐに彼らが私が苦労していた問題を解決していることを認識しました。つまり、攻撃的テストを運用する方法です。SPLXがCISOを必要としたとき、私はすばらしい会社に参加する機会を得て、重要な課題を解決するための不可欠な一員になることを喜びました。

SPLXのCISOとして、あなたは特にエージェントAIに関して、最も新しい攻撃手法を発見していますか？

GenAIシステムの設計のニュアンスにより、GenAIの脆弱性と攻撃を完全に排除することは不可能です。メモリポイズニング攻撃は最近の例です。MINJAはそのような攻撃の一例です。MINJAを使用して、攻撃者は作成されたインタラクションを通じてエージェントのメモリバンクを微妙に汚染し、有害な「記憶」を埋め込むことができます。その結果、後で誤ったまたは危険な行動につながるプロンプトが生成されます。エコーチェンバー攻撃は別の例です。攻撃者はエージェントに繰り返し悪意のあるコンテキストを送信することで、会話のループを作成します。研究者は、安全メカニズムをバイパスするために、複数のターンにわたって有害な指令を強化することができました。

間接的およびクロスモーダルプロンプトインジェクションも別の例です。悪意のある指令は、エージェントが消費する外部コンテンツ such as 画像やドキュメントに隠れています。これらの指令は、ユーザーの直接入力なしに自律的な決定を乗っ取ることができます。

AIエージェントエコシステム攻撃 such as ツールポイズニングには、AIエージェントのデプロイのための全サプライチェーンの慎重なレビューが必要です。攻撃者は、エージェントプラットフォームのための見かけ上は正当なツールを作成しますが、ツールの説明とドキュメントの中に悪意のある指令を埋め込みます。エージェントがこれらのツールをロードすると、埋め込まれた指令はエージェントのコンテキストの一部となり、データの流出やシステムの妥協など、承認されていないアクションを可能にします。

SPLXプラットフォームは、プロンプトインジェクションやアドバーサリアルジャイルブレイク攻撃などのLLM固有の脅威を検出して対応するのをどのように支援しますか？

SPLXは、開発からデプロイまで、そしてリアルタイム運用まで、LLM駆動アプリケーションとマルチエージェントシステム全体を保護するエンドツーエンドのセキュリティプラットフォームです。私たちのAIランタイム保護は、継続的に入力と出力を監視およびフィルタリングすることで、これらの脅威を発生時に停止するように設計されています。AIに対するリアルタイムファイアウォールとして機能し、AIに対して厳格な動作境界を適用します。SPLXのダイナミック検出エンジンは、リアルタイムで悪意のあるアクティビティをフラグし、AIシステムが安全に応答し、意図された境界内に留まることを保証します。

OWASPの更新されたGenAIセキュリティTop 10は、システムプロンプト漏洩やベクターデータベースの脆弱性などの重要なリスクを拡大しています。これらの新しい脅威は、どのようにして進化するアドバーサリアルな景観を反映していますか？

2025年のOWASP Top 10の更新は、LLMとジェネレーティブAIテクノロジーが現実のシナリオでどのように使用されるかについての理解の進化を反映しています。LLMには10を超える脅威があることを認識していますが、目標はトップ10を特定することです。大きな変更点は、LLM07不確実なプラグイン設計がサプライチェーンに含まれており、LLM010モデル盗難が無制限の消費に含まれていることです。これにより、次のものを追加するスペースが生まれました。

1. システムプロンプト漏洩は、システムプロンプトの漏洩がガードレール、ロジックフロー、またはLLMプロンプトに埋め込まれたシークレットを暴露する可能性がある脅威を特定します。

2. ベクターデータベースの脆弱性は、RAGシステム内の潜在的なセキュリティ問題をフラグし、クロステナントデータ漏洩、埋め込みの逆転、または後に危険な出力を生み出すドキュメントの毒物を特定します。

3. 更新は、AIを標的とした攻撃が、作成されたプロンプト攻撃から、全AIサプライチェーンを標的とする複雑な攻撃に進化していることを示しています。現代の攻撃は、全AIシステム、持続性、規模、体系的な影響に焦点を当てた戦略的な思考を示しています。

エージェントアーキテクチャの拡大は、別の重要な開発を認めています。AIシステムが自律性と意思決定能力を高めるにつれて、セキュリティ違反の潜在的な結果は指数関数的に増大します。人間の監視を減らすことで、より強力なアプリケーションを可能にしますが、成功した攻撃の影響を増幅する複合効果が生じます。

あなたの見解では、現在エージェントAIを展開している企業で、最も見過ごされている脆弱性は何ですか？

最も見過ごされている問題は、伝統的なソフトウェアおよびシステムの展開と同じ課題です。最小特権の原則です。人間のユーザーとサービスアカウントの最小特権にまだ苦労している最中です。組織は、エージェントのアイデンティティとアクセスがまだ完全に理解または解決されていない新たな課題に直面しています。エージェントは、ドキュメントを読み取り、外部APIにアクセスし、システムを変更するための広範な権限が与えられています。これは、モデル自体の技術的な欠陥ではありません。基本的なアーキテクチャミスです。過度な権限を持つエージェントが侵害されると、データの流出や金融取引の開始など、壊滅的な被害をもたらす可能性があります。

もう1つの頻繁に見過ごされる問題は、エージェント間の「信頼」関係です。エージェントシステムでは、エージェントはしばしば相互にコミュニケーションおよび協力するように設計されています。私たちは、侵害されたエージェントが正当なエージェントを偽装することができる、新しいクラスの攻撃を目撃しています。基本的に、それはアーキテクチャレベルのトロイの木馬です。

エージェントAIツールをプロダクション環境に展開する際に、企業のセキュリティチームが実行すべき具体的なステップを説明してください。

1. インシデントレスポンスプランから始めます。最悪の日はどのように見えるかを想像し、セキュリティコントロールと可視性が確保されるように逆算します。AIの侵害が発生した場合、セキュリティオペレーションセンターにはプレイブックが必要です。誰が通知されるか。侵害されたエージェントをどのように分離するか。既知の良い状態にロールバックするためのプロセスは何ですか。危機が発生する前に計画を立てることは重要です。

2. 攻撃面のインベントリと脅威評価。保護できないものは何でもありません。最初のステップは、使用中のすべてのAIエージェント、ツール、データアクセスを完全にインベントリ化することです。どのデータにアクセスしますか。どのような権限を持っていますか。侵害された場合の潜在的な影響は何ですか。影響と最も可能性の高い脅威に優先順位を付けます。次に、エグゼクティブチームとリスクアプティチュードについて率直な会話をします。AIの活動の加速は、CISO、リスクオフィサー、法務チーム、エグゼクティブチームがビジネス目標、リスクアプティチュード、セキュリティ予算について本物の会話をすることを強いるでしょう。歴史的に、インシデントが発生しないことを期待して、最小限の予算で十分なセキュリティを実装することができました。AIを搭載した攻撃者は、この戦略を非現実的に入れ替えます。

3. ガードレール、最小特権、モニタリングツールを実装します。エージェントの展開のスコープは重要です。エージェントの目的、境界、権限を定義します。エージェントに全体のSharePointライブラリへのアクセスを許可する必要がない場合は、1つのフォルダへのアクセスのみを許可します。エージェントが呼び出すことができるAPIや実行できるアクションを制限するコントロールを実装します。新しく雇用された、非常に賢いが、多少無茶なことをするインターンを想像してください。彼らには驚くべき能力があることを認識していますが、完全に信頼することはできません。会社内での彼らの行動を制限し、重要なものへのアクセスを許可しない、監視し、絶対にしないべきことをした場合に警報システムを設けるでしょう。

4. 伝統的なセキュリティスタックと統合されるAI固有のセキュリティスタックを実装します。伝統的なセキュリティツールは、GenAIシステムやエージェントシステムの問題に対応するように設計されていません。GenAIおよびエージェントシステムに固有の問題に対処できるツールを実装する必要があります。プロンプトの検証、出力のサニタイズ、エージェントの動作の継続的な監視などです。これらのツールは、GenAIおよびエージェントシステムに特有の、微妙で意味ベースの攻撃を検出できる必要があります。

5. CI/CDパイプラインにAIレッドチームを統合します。エージェントの脆弱性を、変更の重要性と組織のリスクアプティチュードに基づいて継続的にテストする必要があります。最近のGPT-5の更新は、エージェントワークフローへの変化がどれほど混乱をもたらす可能性があるかを示すものです。自動レッドチームを開発ライフサイクルの重要な部分にすることで、更新や変更を行うときに問題を特定することができます。

自動レッドチーム、CIAM、RAGガバナンス、モニタリングを、GenAIリスク管理戦略にどのように統合するべきですか？

重要なのは、それらを個別のイニシアチブではなく、相互に強化する包括的なフレームワークの一部として統合することです。

自動レッドチームから始めます。進化する脅威に対して継続的なアドバーサリアルテストが重要です。SPLXプラットフォームは、さまざまなリスクカテゴリを横断して数千のアタックシナリオをシミュレートし、プロンプトインジェクション、ジャイルブレイク、コンテキスト操作、ツールポイズニングをテストします。重要なのは、これをCI/CDパイプラインの一部にすることです。各エージェントの更新は、デプロイ前にセキュリティ検証される必要があります。

AIシステムのCIAMには、伝統的なアイデンティティモデルを再考する必要があります。AIエージェントには、コンテキストとリスクレベルに基づいて動的に調整できる、粒度の高い権限が必要です。属性ベースのアクセス制御を実装し、エージェントのアイデンティティだけでなく、処理中のデータ、要求されているツール、脅威コンテキストも考慮します。

RAGガバナンスは特に重要です。すべてのベクターストアに取り込まれたコンテンツのデータライナンスを追跡します。アドバーサリアルな例やドキュメントに埋め込まれた悪意のある指令を検出できるコンテンツ検証パイプラインを実装します。

モニタリングの場合、技術的および行動的指標の両方を捉えるテレスコピーが必要です。技術的モニタリングには、入力/出力分析、APIコールパターン、リソース消費が含まれます。行動モニタリングは、意思決定の品質、タスク完了パターン、侵害を示す可能性のあるコンテキストに焦点を当てます。

統合が重要です。レッドチームの結果はCIAMポリシーに情報を提供し、モニタリングシステムはRAGガバナンスプロセスにフィードバックし、すべてのシグナルが中央のエンタープライズリスク管理プラットフォームを通じて調整される必要があります。

AI関連の侵害はまだ初期段階ですが、成長しつつあります。セキュリティリーダーは、次の12〜18ヶ月でどのような傾向に備えるべきですか？

AIインフラストラクチャを含むすべてのものを標的とするサプライチェーン攻撃の大幅な増加を見込んでいます。AIサプライチェーン攻撃は、トレーニングデータセットを汚染したり、モデルリポジトリを妥協したり、ソフトウェアの依存関係に悪意のあるコードを注入して、AIシステムへの恒久的なアクセスを得ることができます。

すでにオートノマスソーシャルエンジニアリングの増加、たとえばディープフェイクのボイスフィッシング事件がありますが、完全にオートノマスな生成への進化が私を最も心配させています。AIエージェントが同時に複数のプラットフォームで、各ターゲットとコンテキストに合わせて、完全なソーシャルエンジニアリングキャンペーンを扱うと、従来の防御では対処できないフォースマルチプライヤー効果が生じます。

私は、AIネイティブな攻撃が、機械のスピードで動作するのを見てきたでしょう。伝統的なセキュリティツールや人間の分析者は、複雑なマルチステージの攻撃をミリ秒単位で実行する攻撃者に対抗できません。

あなたは、ジェネレーティブAIのリスクへの対応として、規制およびコンプライアンスフレームワークがどのように進化することを予想していますか？

革新と責任、透明性、セキュアな開発慣行、サプライチェーンセキュリティに焦点を当てた規制フレームワークの大きな変化を予想しています。

データの出所と完全性に焦点を当てていることを予想しています。規制機関は、AIモデルをトレーニングおよび強化するために使用されるデータの出所を知りたいと考えています。データがサニタイズされたこと、機密情報を含んでいないこと、そして汚染されていないことを確認したいと考えています。

最終的に、セクターごとの規制を予想しています。金融機関が取引のためにAIエージェントを使用する場合と、ヘルスケア会社が診断のために使用する場合のリスクは異なります。

規制機関は、自動レッドチーム、ヒューマンインザループの監視、AIシステムの厳格な監査など、重要な業界に特有の基準を定義し始めるでしょう。生命や死を扱う可能性のあるAIシステムの場合、規制機関はこれらの基準を要求するでしょう。

ボイシ州立大学のサイバーセキュリティ教授およびパーヴェイシブ・サイバーセキュリティ研究所の理事会メンバーとして、次世代のAIセキュリティ専門家をどのように準備していますか？また、現在の進化する景観で最も重要なスキルは何ですか？

批判的思考と問題解決は、サイバーセキュリティでの素晴らしいキャリアを築くために学生が必要とする最も重要なスキルです。しかし、サイバーセキュリティの未来では、サイバー脅威インテリジェンスチーム内でしか見られなかった、人間の心理学や言語学のようなスキルが、さまざまなサイバーセキュリティの役割に利益をもたらすことになります。

人間のスキルやコミュニケーションスキルも重要です。サイバーセキュリティは、ITシステムだけではなく、人々、ビジネス目標を支援し、複雑な技術的リスクを非技術的な利害関係者に翻訳して、会社が正しい決定を下せるようにすることです。サイバーセキュリティの未来は、技術的に優秀で、同時に地に足のついたコミュニケーションスキルを持つ専門家に依存します。

最後に、AIセキュリティの風景は非常に速く進化しているため、迅速に学び、適応することが重要です。

素晴らしいインタビューと詳細な洞察に感謝します。さらに学びたい読者は、SPLXを訪問してください。