マインドガードのDr. Peter Garraghan氏、CEO、CTO、共同創設者 – インタビューシリーズ

Dr. Peter Garraghanは、マインドガードのCEO、CTO、共同創設者です。マインドガードは、人工知能セキュリティテストのリーダーです。ランカスター大学で設立され、最先端の研究によって支えられています。マインドガードは、組織が従来のアプリケーションセキュリティツールでは対処できない新しい脅威から人工知能システムを保護できるようにします。ランカスター大学のコンピュータサイエンス教授として、ピーターは人工知能セキュリティの国際的に認められた専門家です。彼は、人工知能に対する脅威に立ち向かうために、先進的な技術を開発することに生涯を捧げてきました。1100万ユーロ以上の研究資金と60を超える科学論文を発表しており、彼の貢献は科学的イノベーションと実用的な解決策の両方に及んでいます。

マインドガードの創設の背景を教えてください。学術界からサイバーセキュリティスタートアップを立ち上げることを決めた理由は何ですか?

マインドガードは、学術的な洞察を現実世界に役立つものに変えるという願望から生まれました。コンピューティングシステム、人工知能セキュリティ、機械学習を専門とする教授として、私は人々の生活に大きな影響を与える科学を追求するよう駆り立てられてきました。2014年から、人工知能と機械学習を研究し、その社会への変革の潜在性と、それがもたらすリスクを認識しています。既存のツールはこれらの課題に対処するために設計されていませんでした。そこで、私は科学者とエンジニアのチームを率いて、人工知能セキュリティの革新的なアプローチを開発しました。マインドガードは、研究に基づいたベンチャーとして誕生し、業界への応用に重点を置いて、人工知能の脅威から保護するための有形な解決策を構築することに焦点を当てました。

大学から会社をスピンアウトさせる際に直面した課題と、それらをどのように克服したかについて教えてください。

マインドガードは2022年5月に正式に設立され、ランカスター大学から大きな支援を受けましたが、大学からスピンアウトするには、研究スキルだけでなく、資金を調達し、価値提案を洗練し、テクノロジーをデモ用に準備する必要がありました。すべてを教授としての役割とバランスさせる必要がありました。学者は研究者として訓練を受け、新しい科学を追求するように訓練されています。スピンアウトは、画期的なテクノロジーだけでなく、そのテクノロジーがビジネスのニーズにどのように対応し、ユーザーと顧客を引き付け、維持する価値を提供するかに基づいて成功します。

マインドガードのコア製品は、数年間の研究開発の結果です。初期の研究段階が商業的な解決策にどのように進化したかについて教えてください。

研究から商業的な解決策への道は、意図的で反復的なプロセスでした。10年以上前に、私のランカスター大学のチームは、人工知能と機械学習のセキュリティにおける基本的な課題を探究し始めました。伝統的なセキュリティツール、コードスキャニングとファイアウォールが対応できない、インスタンス化された人工知能システムの脆弱性を特定しました。

時間の経過とともに、私たちの焦点は研究の探究から、プロトタイプの構築と、実際のシナリオでのテストに移りました。業界パートナーと協力し、アプローチを洗練し、実用的なニーズに応えることを保証しました。多くの人工知能製品は、適切なセキュリティテストや保証なしにリリースされており、組織を脆弱にし、ガートナーの調査では、29%の企業が人工知能システムを導入してセキュリティ侵害を報告しており、内部監査官の10%のみが人工知能リスクの可視性を持っていることを強調しています。この問題に照らして、解決策の商業化の時期が来たと感じました。

マインドガードの旅程における重要なマイルストーンを教えてください。

2023年9月、IQ CapitalとLakestarがリードする300万ポンドの資金調達を実施し、マインドガードの解決策の開発を加速しました。Snyk、Veracode、Twilioの元幹部からなる優れたリーダーチームを確保し、会社を次の段階に進めることができました。今年のInfosecurity Europeで、英国最も革新的なサイバーセキュリティSMEに選ばれたことを誇りに思います。現在、15人のフルタイム従業員、10人の博士研究員（さらに多くの研究員を積極的に募集しています）を擁し、セキュリティアナリストとエンジニアをチームに迎えるための募集を進めています。将来的には、ボストンを拠点とする投資家からの新たな資金調達ラウンドにより、米国でのプレゼンスを拡大する計画を立てています。

企業が人工知能を採用するにつれて、最も緊急なサイバーセキュリティ脅威について教えてください。

多くの組織は、人工知能に関連するサイバーセキュリティリスクを軽視しています。人工知能が実際にどのように機能するか、あるいはそれがビジネスに与えるセキュリティ上の影響を理解することは、非専門家にとって非常に困難です。私は、人工知能セキュリティを解明することに多くの時間を費やしています。経験豊富なテクノロジー専門家であっても、インフラセキュリティとデータ保護の専門家であってもです。最終的には、人工知能はソフトウェアとデータがハードウェア上で実行されるものですが、従来のシステムとは異なる独自の脆弱性を導入し、テストも困難です。

マイクロソフトのAIコンテンツフィルタの脆弱性を発見しました。どのようにしてこれらの発見がプラットフォームの開発に影響しましたか?

マイクロソフトのAzure AIコンテンツセーフティサービスで発見した脆弱性は、プラットフォームの開発に直接影響するものではありませんでした。むしろ、プラットフォームの能力を実証するものでした。

Azure AIコンテンツセーフティは、AIアプリケーションを有害なコンテンツから保護するサービスです。テキスト、画像、ビデオ内の有害なコンテンツを制限するために設計されています。私たちのチームが発見した脆弱性は、AIテキストモデレーション（有害なコンテンツをブロックする）とプロンプトシールド（ジャイルブレイクやプロンプトインジェクションを防ぐ）に影響しました。もしもこれらの脆弱性が見過ごされていたら、より広範な攻撃を引き起こし、ジェネレーティブAIベースのシステムの信頼性を損ない、AIを使用するアプリケーションの完全性を危険にさらす可能性がありました。

「ジャイルブレイク」と「プロンプト操作」が人工知能システムで重要な概念である理由と、それらが独自の課題を提起する理由について教えてください。

ジャイルブレイクは、悪意のあるアクターが、LLMを意図しない方法で操作できるプロンプトインジェクションの脆弱性の一種です。LLMが処理する入力には、設計者による既定の指示と信頼できないユーザー入力が含まれており、攻撃者は既定の指示を上書きすることができます。これは、SQLインジェクション脆弱性がデータベースクエリを変更できるようにするのと似ています。しかし、LLMのコードは人間が読み取ることができない巨大な数字の行列であるため、これらのリスクは実行時にのみ検出できます。

たとえば、マインドガードの研究チームは、オーディオ入力の中に秘密のオーディオメッセージを埋め込むことで、ジャイルブレイク攻撃の一種を実験しました。このメッセージは人間の耳には聞こえないものの、LLMによって認識され、実行されます。各埋め込まれたメッセージには、ジャイルブレイクコマンドと特定のシナリオ用に設計された質問が含まれていました。たとえば、医療チャットボットのシナリオでは、隠しメッセージはチャットボットに危険な指示を提供するようにプロンプトする可能性があり、チャットボットの回答が真剣に受け取られた場合に重大な評判の損失につながる可能性があります。

マインドガードのプラットフォームは、ジャイルブレイクやその他のセキュリティ脆弱性をAIモデルやビジネスがそれらを実装した方法で検出します。セキュリティリーダーは、AIを使用したアプリケーションが設計時にセキュアであり、継続的にセキュアであることを保証できます。

マインドガードのプラットフォームは、LLMからマルチモーダルシステムまで、さまざまなタイプのAIモデルに対する脆弱性をどのように対処していますか?

私たちのプラットフォームは、プロンプトインジェクション、ジャイルブレイク、抽出（モデルの盗難）、逆工学（データの逆算）、データ漏洩、回避（検出の回避）など、AIにおける幅広い脆弱性に対処しています。すべてのAIモデルタイプ（LLMやマルチモーダル）には、これらのリスクに対する脆弱性があります。マインドガードでは、大規模なR&Dチームを擁し、新しい攻撃タイプを発見し、プラットフォームに実装して、ユーザーが最新のリスクに対して最新の情報を得られるようにしています。

AIシステムのセキュリティを確保する上で、レッドチームテストが果たす役割と、プラットフォームがこの分野で革新をもたらす方法について教えてください。

レッドチームテストは、AIセキュリティの重要なコンポーネントです。悪意のある攻撃をシミュレートすることで、AIシステムの脆弱性を特定し、組織がリスクを軽減し、AIの採用を加速するのに役立ちます。レッドチームテストは重要ですが、AIにおけるレッドチームテストには標準化が欠けており、脅威評価と対策戦略に一貫性が欠けているため、システムの安全性を比較したり、脅威を効果的に追跡したりすることが困難です。

この問題に対処するために、MITRE ATLASアドバイザーを導入しました。これは、AIレッドチームテストの報告を標準化し、体系的なレッドチームテストの実践を容易にする機能です。これにより、企業は今日のリスクを効果的に管理し、AIの能力が進化するにつれて将来の脅威にも対処できるようになります。マインドガードのプラットフォームには、R&Dチームによって開発された高度な攻撃の包括的なライブラリが備わっており、伝統的なモデルとジェネレーティブAIモデルを含む、マルチモーダルAIレッドチームテストをサポートしています。プライバシー、完全性、悪用、可用性への主要なリスクに対処し、企業がAIシステムを効果的に保護できるようにします。

マインドガードの製品は、企業が大規模にAIを導入するMLOpsパイプラインにどのように適合するかについて教えてください。

マインドガードは、既存のCI/CDオートメーションとすべてのSDLCステージにシームレスに統合するように設計されています。モデル統合には、推論またはAPIエンドポイントのみが必要です。現在の解決策は、AIモデルに対する動的アプリケーションセキュリティテスト（DAST-AI）を実行します。これにより、顧客はAIを使用するすべてのビルドと購入ライフサイクル全体でAIの継続的なセキュリティテストを実行できます。企業では、セキュリティチームがAIの開発と使用をしている開発者からのリスクを迅速に特定して対応するために使用され、AIガードレールとWAFソリューションのテストと評価、カスタマイズされたAIモデルとベースラインモデルのリスク評価に利用されます。ペネトレーションテスターとセキュリティアナリストは、マインドガードを使用してAIレッドチームテストの取り組みを拡大し、開発者はAIデプロイメントの統合された継続的なテストから利益を得ます。

素晴らしいインタビュー、詳しく知りたい読者はマインドガードを訪問してください。