デロイトのUSサイバーセキュリティAI＆オートメーションリーダー、キーラン・ノートン – インタビューシリーズ

キーラン・ノートンは、デロイト・トウシュ・トーマツ株式会社のプリンシパル（パートナー）であり、デロイトのUSサイバーセキュリティAI＆オートメーションリーダーです。25年以上の豊富な経験と堅実なテクノロジー背景を持つキーランは、サイバーセキュリティとテクノロジー・リスクマネジメントに関する戦略的かつ実用的な洞察をクライアントに提供することで、エマージング・リスクに対処することに優れています。

デロイト内では、キーランはUSサイバーセキュリティ実践のAI変革努力を主導しています。彼は、AIおよびオートメーション・ソリューションの設計、開発、および市場投入を監督し、クライアントがサイバーセキュリティ能力を強化し、AI/Gen AIテクノロジーを採用しながら関連するリスクを効果的に管理できるようにしています。

外部では、キーランは、クライアントがデジタル・トランスフォーメーションをサポートするために従来のセキュリティ戦略を進化させ、サプライ・チェーンを近代化し、市場投入までの時間を短縮し、コストを削減し、他の重要なビジネス目標を達成するのを支援しています。

AIエージェントがますます自律化するにつれて、企業がまだ十分に理解していない新しいサイバーセキュリティ脅威のカテゴリは何ですか?

新しいAI関連テクノロジーを使用してエージェントを設計、構築、展開、および管理するリスクは理解されているかもしれませんが、運用化は別問題です。

エージェントの自律性と自律性 – ユーザー、データ、および他のエージェントとの関係ややり取りを人間の介入なしに認識、決定、行動、および操作するエージェントの能力 – 可視性と制御を維持する上で課題を生み出す可能性があります。エージェントは、企業内で増え続け、複数のプラットフォームやサービスを増え続ける自律性と意思決定権を持って接続するにつれて、これはますます困難になります。エージェントの自律性/自律性が不十分に保護されている場合、または過剰である場合、またはシャドウである場合に伴う脅威は数多くあります。これには、データ漏洩、エージェント操作（プロンプトインジェクションなどを介して）、およびエージェント間の攻撃チェーンが含まれます。これらの脅威はすべて現在進行形ではありませんが、企業は、AI駆動型能力を採用し、成熟させるときにこれらの脅威をどのように管理するかを検討する必要があります。

AIアイデンティティ管理も慎重に検討すべきリスクです。エージェントのマシンアイデンティティを識別、確立、および管理することは、企業全体でエージェントを展開して使用するにつれて、ますます複雑になります。AIモデル/モデルコンポーネントが繰り返し生成され、破棄され、さまざまな状況下で繰り返し実行されるため、モデルIDを維持する上で課題が生じます。モデルIDは、セキュリティと信頼の観点からエージェントの活動と動作を監視するために必要です。これらを適切に実装および監視しないと、潜在的な問題（パフォーマンス、セキュリティなど）を検出することは非常に困難になります。

AIトレーニングパイプラインでのデータ汚染攻撃についてどれだけ心配するべきですか? また、最も効果的な予防戦略は何ですか?

データ汚染は、AIモデルを開発ライフサイクル中に影響を与える/操作するためのいくつかの方法の1つを表します。汚染は、悪意のある行為者がトレーニングセットに有害なデータを注入したときに発生します。ただし、明示的な敵対行為者以外に、データ生成のミスやシステム上の問題により、データ汚染が発生する可能性があることも重要です。組織がより多くのデータを必要とし、より多くの場所で使用可能なデータを探している場合（例：アウトソーシングされた手動注釈、購入または生成された合成データセットなど）、トレーニングデータを汚染する可能性は高まり、常に簡単に診断できるわけではありません。

トレーニングパイプラインを標的とするのは、敵対者が両方の微妙な影響と明白な影響の両方に使用する主な攻撃ベクトルです。AIモデルの操作により、偽陽性、偽陰性、その他のより微妙な隠蔽的な影響が生じ、AIの予測を変える可能性があります。

予防戦略には、技術的なもの、手続き的なもの、建築的なものがあります。手続き的な戦略には、データ検証/サニタイジングと信頼性評価が含まれます。技術的な戦略には、フェデレーテッドラーニングなどのAI技術を使用したセキュリティ強化が含まれます。建築的な戦略には、ゼロトラストパイプラインの実装と、異常検知を容易にする強力な監視/アラートの実装が含まれます。これらのモデルは、最新のツールや最良の実践を使用していても、データが良ければのみ有効です。データ汚染は、準備ができていない場合、AIのアキレス腱となる可能性があります。

悪意のある行為者は、デプロイ後のAIモデルをどのように操作できますか? 企業は、タンパリングを早期に検出する方法は何ですか?

デプロイ後のAIモデルへのアクセスは、通常、API、埋め込みシステムを介したアプリケーション、またはエッジデバイスへのポートプロトコルを介して行われます。早期検出には、ソフトウェア開発ライフサイクル（SDLC）での早期作業と、モデル操作技術および優先順位付けされた脅威ベクトルを理解することが必要です。検出と保護の方法を考案するには、これらの方法を使用します。モデル操作には、APIハイジャック、メモリ空間（ランタイム）の操作、およびモデルドリフトによる遅く/徐々に進行する汚染が含まれます。これらの方法を考慮すると、早期検出戦略には、エンドポイントテレメトリ/監視（エンドポイント検出および応答と拡張検出および応答を介して）、セキュアな推論パイプラインの実装（機密コンピューティングとゼロトラストの原則を含む）、およびモデルウォーターマーキング/モデル署名の有効化が含まれる場合があります。

プロンプトインジェクションは、デプロイ後のモデル攻撃のファミリーであり、データを意図しない方法で抽出すること、通常のユーザーに意図しないシステムプロンプトを公開すること、および組織に悪影響を与える可能性のあるモデル応答を誘発することなど、さまざまな目的で使用できます。プロンプトインジェクションのリスクを軽減するためのガードレールツールは市場にありますが、サイバー攻撃と同様に、攻撃技術と防御対策は常に更新されています。

従来のサイバーセキュリティフレームワークは、AIシステムのユニークなリスクに対処するにはどれだけ短所がありますか?

一般的に、サイバーセキュリティフレームワークは、ガイダンスと標準（例：NIST、ISO、MITREなど）と関連付けられます。これらの組織のいくつかは、AIシステムの保護に関する更新されたガイダンスを公開しており、非常に役立ちます。

AIはこれらのフレームワークを無効にはしません – 伝統的なサイバーセキュリティのすべてのドメインに対処する必要があります – 必要なのは、これらのニュアンスに対処するためにプロセスとプログラム（例：SDLC）を更新することです。AIワークロードを保護するためのコントロールを埋め込み、自動化する（可能な場合）ことが、最も効率的で効果的な方法です。

戦術レベルでは、従来のペネトレーションテストとルールベースの検出のためのスケールの問題を生み出すため、可能な限り自動化を重視していることにも触れておく価値があります。

Generative AIまたは大規模言語モデルを展開する組織のサイバーセキュリティ戦略には、どのような主な要素が含まれるべきですか?

Generative AI（GenAI）または大規模言語モデル（LLM）を展開するためのサイバーセキュリティ戦略を開発する場合、ワンサイズフィットオールアプローチはありません。多くのことが、組織の全体的なビジネス目標、IT戦略、業界の焦点、規制の足跡、リスク許容度など、および検討中の特定のAIユースケースに依存します。例えば、社内でのみ使用されるチャットボットは、患者さんの健康結果に影響を与える可能性のあるエージェントとは非常に異なるリスクプロファイルを持っています。

それでも、すべての組織が対処すべき基本的なものがあります：

• 準備評価を実施する – これにより、現在の能力のベースラインが確立され、優先順位付けされたAIユースケースを考慮して潜在的なギャップが特定されます。組織は、既存のコントロールを拡張してGenAIのニュアンスなリスクに対処する方法、および新しいテクノロジーを実装する必要性または現在のプロセスを強化する必要性を特定する必要があります。
• AIガバナンスプロセスを確立する – これは、組織内で新しいものかもしれませんが、リスクマネジメントプログラムの変更です。これには、エンタープライズ全体のAI有効化機能を定義し、ビジネス、IT、製品、リスク、サイバーセキュリティなど、事業のさまざまな部門からのステークホルダーをガバナンス構造の一部として含めることが含まれます。さらに、関連ポリシー（使用許可ポリシー、クラウドセキュリティポリシー、第三者テクノロジーリスクマネジメントなど）を定義/更新し、組織全体でAIリテラシーとAIセキュリティ/セーフティをサポートするためのL&D要件を確立することが含まれます。
• 信頼できるAIアーキテクチャを確立する – AI/GenAIプラットフォームおよび実験サンドボックスの立ち上げに伴い、既存のテクノロジーおよび新しいソリューション（例：AIファイアウォール/ランタイムセキュリティ、ガードレール、モデルライフサイクル管理、強化されたIAM機能など）を開発および展開環境に統合する必要があります。これは、繰り返し可能でスケーラブルな方法で実行する必要があります。
• SDLCを強化する – 組織は、AI開発者とAIソリューションの保護、セキュリティ、および信頼を構築するために取り組むリスクマネジメントチームの間で、密接な統合を構築する必要があります。これには、AI開発および採用チームと協力して、セキュアなソフトウェア開発の実践とコントロール要件の標準/統一セットを確立することが含まれます。

「AIファイアウォール」の概念を簡単に説明できますか? また、それは従来のネットワークファイアウォールとどのように異なりますか?

AIファイアウォールは、特に大規模言語モデルを含むAIシステムの入力と出力を監視および制御するために設計されたセキュリティ層です。悪用、機密データの保護、およびAIの責任ある動作を確保するために使用されます。従来のファイアウォールがIPアドレス、ポート、および既知の脅威に基づいてネットワークを保護するのとは異なり、AIファイアウォールは自然言語のやり取りを理解および管理することに重点を置いています。有害なコンテンツ、データ漏洩、プロンプトインジェクション、およびAIの非倫理的な使用を、ポリシー、コンテキスト感覚のあるフィルタ、およびモデル固有のガードレールを適用することでブロックします。要するに、従来のファイアウォールはあなたのネットワークを保護するのに対し、AIファイアウォールはあなたのAIモデルとその出力を保護します。

AIファイアウォールまたはガードレールの使用を規定する現在の業界標準または新興プロトコルはありますか?
モデル通信プロトコル（MCP）は、普遍的な標準ではありませんが、企業がAI/GenAIソリューションの多様性を管理するための構成負担を軽減するために業界全体で浸透しつつあります。MCPは、学習を含むAIモデル間の情報交換（完全性と検証を含む）の方法を規定します。MCPは、AIモデルに対するTransmission Control Protocol（TCP）/Internet Protocol（IP）スタックと考えることができます。これは、集中型、連邦型、または分散型のユースケースで特に役立ちます。MCPは現在、概念フレームワークであり、さまざまなツール、研究、およびプロジェクトを通じて実現されています。

この分野は急速に進化しており、次の数年間で大幅に変化する可能性があります。

AIは、5年前と比較して、今日の脅威検出と対応の分野をどのように変換していますか?

商用のセキュリティ・オペレーション・センター（SOC）プラットフォームは、高品質の大量のデータと高度なAI/MLモデルを使用して脅威の検出と分類を改善し、自動化、ワークフロー、および自動修復の機能を使用して検出から緩和までの時間を短縮しています。さらに、一部のプラットフォームは、トリアージと対応をさらにサポートするためにコパイロット機能を導入しています。

さらに、SOC内で特定の役割を果たすエージェントが開発されています。実用的な例として、デロイトのマネージドサービスオファリングにデプロイするために「デジタル・アナリスト」エージェントを構築しました。エージェントは、レベル1アナリストとして機能し、インバウンドアラートをトリアージし、脅威インテリジェンスおよびその他のソースからのコンテキストを追加し、人間のアナリストが確認および対応するためにアクションを推奨します（広範なケース履歴に基づいています）。

次の3～5年間で、AIとサイバーセキュリティの関係はどのように進化すると思いますか? AIはリスクよりも解決策になるでしょうか?
次の3～5年間でAIが進化するにつれて、サイバーセキュリティに貢献できますが、同時にリスクももたらす可能性があります。AIは攻撃面を拡大し、防御の観点から新しい課題を生み出すでしょう。さらに、敵対的なAIは攻撃の実行可能性、速度、および規模を高めるでしょう。これにより、さらに多くの課題が生じます。一方で、サイバーセキュリティのビジネスでAIを活用することで、サイバー作戦の有効性、効率性、敏捷性、およびほとんどのドメインでの速度を改善する機会が生まれます。最終的には、「火を以て火を制す」シナリオが生まれます。

素晴らしいインタビュー、ありがとうございました。読者はデロイトを訪問したいと思います。