Dr. Peter Garraghan, CEO, CTO & Co-Founder at Mindgard – Interview Series

Dr. Peter Garraghanは、MindgardのCEO、CTO、共同創設者であり、人工知能セキュリティテストのリーダーです。ランカスター大学で設立され、最先端の研究によって裏付けられたMindgardは、組織が従来のアプリケーションセキュリティツールでは対処できない新しい脅威から人工知能システムを保護できるようにします。ランカスター大学のコンピューターサイエンス教授として、ピーターは人工知能セキュリティの国際的に認められた専門家です。彼は、人工知能に直面する成長する脅威に対抗するための高度な技術を開発することに生涯を捧げてきました。11.6百万ユーロ以上の研究資金と60以上の科学論文を発表しており、彼の貢献は科学的イノベーションと実用的な解決策の両方にわたります。

マインドガードの設立の背景について話してください。学術界からサイバーセキュリティスタートアップを立ち上げることに至ったのはどういった経緯でしたか?

マインドガードは、学術的な洞察を現実世界の影響力に変えるという願望から生まれました。コンピューティングシステム、人工知能セキュリティ、機械学習を専門とする教授として、私は人々の生活に大きな影響を与える科学を追求するよう駆り立てられてきました。2014年から、私は人工知能と機械学習を研究し、その社会を変革する潜在性と、国家による攻撃や選挙干渉などの重大なリスクを認識してきました。既存のツールはこれらの課題に対処するために設計されていませんでした。そこで、私は科学者とエンジニアのチームを率いて、人工知能セキュリティで革新的なアプローチを開発しました。マインドガードは、有形な解決策を構築することに焦点を当てた研究駆動型のベンチャーとして登場しました。最先端の研究と産業応用へのコミットメントを融合させました。

大学から会社をスピンアウトさせる際に直面した課題と、それらをどのように克服したかについて説明してください。

私たちは正式に2022年5月にマインドガードを設立しました。ランカスター大学は素晴らしいサポートを提供しましたが、大学からスピンアウトするには、研究スキルだけでなく、資本を調達し、価値提案を洗練し、テクノロジーをデモのために準備する必要があります。すべてを教授としての役割とバランスさせながら行う必要がありました。学者は研究者として訓練され、新しい科学を追求するように訓練されています。スピンアウトは、革新的なテクノロジーだけでなく、ビジネスのニーズにどれほどよく対応し、ユーザーや顧客を引き付けて維持できるかに成功するのです。

マインドガードのコア製品は、数年間にわたる研究開発の結果です。初期の研究が商業化された解決策にどのように進化したかについて話してください。

研究から商業化された解決策への道のりは、意図的で反復的なプロセスでした。それは10年以上前に、私のランカスター大学でのチームとともに、人工知能と機械学習のセキュリティにおける基本的な課題を探求し始めたときに始まりました。伝統的なセキュリティツール、コードスキャニングやファイアウォールでは対処できない、インスタンス化された人工知能システムの脆弱性を特定しました。

時間の経過とともに、私たちの焦点は研究の探索からプロトタイプの構築と実稼働シナリオでのテストに移りました。産業パートナーと協力して、アプローチを洗練し、実用的なニーズに応えることを保証しました。多くの人工知能製品は、十分なセキュリティテストや保証なしに発売されており、組織を脆弱にしていました。これは、ガートナーの調査によっても裏付けられています。ガートナーによると、29%の企業は人工知能システムの展開でセキュリティ侵害を報告しており、内部監査担当者のおよそ10%のみが人工知能リスクの可視性を持っています。そこで、解決策の商業化の時期が来たと感じました。

2022年の設立以来、マインドガードの旅における主なマイルストーンについては?

2023年9月、IQ CapitalとLakestarが主導する300万ポンドの資金調達を実現し、マインドガードのソリューションの開発を加速させました。Snyk、Veracode、Twilioの元従業員で構成される優れたリーダーチームを確保し、会社を次のステージに押し進めることができました。この年、Infosecurity EuropeでUKの最も革新的なサイバーセキュリティSMEに認定され、誇りです。現在、15人のフルタイム従業員、10人の博士研究員（さらに多くの研究員を積極的に募集中）を擁し、セキュリティアナリストやエンジニアを募集しています。将来的には、ボストンを拠点とする投資家からの新しい資金調達により、米国での存在感を拡大する計画です。

企業が人工知能を採用するにつれて、現在直面している最も緊急なサイバーセキュリティ脅威については?

多くの組織は、人工知能に関連するサイバーセキュリティリスクを軽視しています。人工知能が実際にどのように機能するか、あるいはそれがビジネスにどのようなセキュリティ上の意味を持つかを理解することは、非専門家にとって非常に困難です。私自身、インフラセキュリティやデータ保護の専門家である熟練した技術者であっても、人工知能セキュリティを神秘的に扱うことに多くの時間を費やしています。最終的には、人工知能は本質的にソフトウェアとデータがハードウェア上で実行されるものですが、従来のシステムとは異なる独自の脆弱性を導入し、伝統的なソフトウェアよりもテストが難しくなります。

マイクロソフトのAIコンテンツフィルタなどのシステムで発見された脆弱性は、プラットフォームの開発にどのように影響しましたか?

マイクロソフトのAzure AIコンテンツセーフティサービスで発見された脆弱性は、プラットフォームの開発を形作るものではなく、むしろその能力を示すものでした。

Azure AIコンテンツセーフティは、AIアプリケーションを有害なコンテンツから保護するためにテキスト、画像、ビデオの有害なコンテンツを制限するサービスです。私たちのチームによって発見された脆弱性は、AIテキストモデレーション（ヘイトスピーチ、性的コンテンツなど有害なコンテンツをブロック）とプロンプトシールド（ジャイルブレイクやプロンプトインジェクションを防止）に影響しました。チェックされなければ、これらの脆弱性はより広範な攻撃を開始したり、GenAIベースのシステムへの信頼を損なったり、AIを使用した意思決定や情報処理に依存するアプリケーションの完全性を損なったりする可能性があります。

2024年10月時点で、マイクロソフトはこれらの問題に対処するためのより強力な緩和策を実装しました。ただし、私たちはAIガードレールの強化された監視を続けることを主張しています。追加のモデレーションツールや有害なコンテンツやジャイルブレイクに耐性のあるLLMの使用は、堅牢なAIセキュリティを確保するために不可欠です。

AIシステムにおける「ジャイルブレイク」と「プロンプト操作」の重要性と、それらが独自の課題を提示する理由について説明してください。

ジャイルブレイクは、LLMを悪用して、設計者の意図とは反対の命令に従わせることができるプロンプトインジェクションの脆弱性の一種です。LLMが処理する入力には、アプリケーションデザイナーによる既存の命令と信頼できないユーザー入力の両方が含まれ、攻撃者が既存の命令を上書きすることができます。これは、SQLインジェクション脆弱性が信頼できないユーザー入力を使用してデータベースクエリを変更できるようにするのと似ています。ただし、LLMのコードは人間が読み取ることができない巨大な数字の行列であるため、これらのリスクは実行時にのみ検出できます。

例えば、マインドガードの研究チームは最近、音声入力の中に秘密のオーディオメッセージを埋め込むという洗練されたジャイルブレイク攻撃を調査しました。これらのメッセージは人間の耳には聞こえないものの、LLMによって認識され、実行されます。各埋め込まれたメッセージには、特定のシナリオ用に設計された質問とともに、カスタマイズされたジャイルブレイクコマンドが含まれていました。医療チャットボットのシナリオでは、隠しメッセージはチャットボットに、メタンフェタミンの合成方法などの危険な指示を提供するように促すことができ、これがチャットボットの応答として真剣に受け取られれば、重大な評判の被害につながる可能性があります。

マインドガードのプラットフォームは、AIモデルと企業がそれらをアプリケーションに実装した方法におけるこれらのジャイルブレイクやその他のセキュリティ脆弱性を特定し、セキュリティリーダーがAI駆動型アプリケーションが設計段階からセキュアであり、残り続けることを保証できるようにします。

マインドガードのプラットフォームは、LLMからマルチモーダルシステムまで、さまざまなタイプのAIモデルにおける脆弱性をどのように対処しますか?

私たちのプラットフォームは、プロンプトインジェクション、ジャイルブレイク、抽出（モデルの盗難）、逆変換（データの逆工学）、データ漏洩、回避（検出の回避）など、人工知能における幅広い脆弱性に対処します。すべてのAIモデルタイプ（LLMまたはマルチモーダル）には、これらのリスクに対する脆弱性があります。マインドガードでは、大規模なR&Dチームが新しい攻撃タイプを発見してプラットフォームに実装することに専念しており、ユーザーは最新のリスクに対して最新の情報を入手できるようになっています。

AIシステムのセキュリティを確保する上でレッドチームの役割は何ですか?また、あなたのプラットフォームはこの分野でどのように革新していますか?

レッドチームは、AIセキュリティの重要なコンポーネントです。悪意のある攻撃をシミュレートすることで、レッドチームはAIシステムの脆弱性を特定し、組織がリスクを軽減し、AIの採用を促進するのに役立ちます。レッドチームは重要ですが、AIにおけるレッドチームは標準化が欠けているため、脅威の評価と対策戦略に一貫性が欠け、システムの安全性を比較したり、脅威を効果的に追跡したりすることが難しくなります。

これに対処するために、MITRE ATLAS™ Adviserという機能を導入しました。これは、AIレッドチームの報告を標準化し、体系的なレッドチームの実践をストリームライン化するように設計されています。これにより、企業は現在のリスクを管理し、AIの能力が進化するにつれて将来の脅威にも対処する準備ができます。私たちのR&Dチームによって開発された高度な攻撃の包括的なライブラリを備え、マインドガードはマルチモーダルAIレッドチームをサポートし、伝統的なモデルとGenAIモデルをカバーしています。私たちのプラットフォームは、プライバシー、完全性、悪用、可用性への主要なリスクに対処し、企業がAIシステムを効果的に保護できるようにします。

あなたの製品は、企業が大規模にAIを展開するMLOpsパイプラインにどのように適合しますか?

マインドガードは、CI/CDオートメーションとすべてのSDLCステージにシームレスに統合するように設計されています。モデル統合には、推論またはAPIエンドポイントのみが必要です。私たちのソリューションは、AIモデルに対する動的アプリケーションセキュリティテスト（DAST-AI）を実行します。これにより、顧客はビルドと購入のライフサイクル全体でAI全体に対して継続的なセキュリティテストを実行できます。企業では、セキュリティチームがAIを構築して使用する開発者からのリスクを可視化して迅速に対応し、AIガードレールとWAFソリューションのテストと評価、およびカスタムAIモデルとベースラインモデル間のリスクを評価するために使用されます。ペネトレーションテスターとセキュリティアナリストは、AIレッドチームの取り組みを拡大するためにマインドガードを利用し、開発者はAIデプロイの継続的なテストに利益を得ます。

素晴らしいインタビュー、詳細についてはマインドガードを訪れてください。