ヴァーチューAIのBo Li CEO – インタビュー・シリーズ

Bo Li、ヴァーチューAIのCEOは、人工知能システムの安全性とセキュリティの分野で著名な研究者であり、起業家です。イリノイ大学アーバナ・シャンペーン校の教授としても活動しながら、ヴァーチューAIを率いています。彼女の研究は、機械学習のセキュリティ、信頼できるAI、対抗的なロバスト性に焦点を当てています。彼女のキャリアは、学術と産業の両方にわたっており、先端のAI研究を実用的なアプリケーションに応用し、組織がより安全で堅牢なAIテクノロジーを構築するのに役立っています。

ヴァーチューAIは、企業環境で使用されるAIシステムの保護と管理に特化した企業です。同社のプラットフォームは、自動化されたレッドチーム、リアルタイムのガードレール、継続的なモニタリングなどの機能を提供し、プロンプトインジェクション、ホールシネーション、データ漏洩などの脆弱性を特定します。AI開発と展開のワークフローに直接統合することで、同社は組織が、大規模な言語モデルとAIパワードアプリケーションの使用を安全に拡大し、厳格なセキュリティと管理基準を維持するのに役立っています。

あなたが純粋に学術的なキャリアからヴァーチューAIの設立と経営に移った動機は何ですか？また、業界が大規模に解決できていない問題は何ですか？

従来のセキュリティツールは、予測可能なアプリケーションと固定パスに基づいて設計されました。自律的に推論し、適応し、行動するシステムに対応するように設計されていませんでした。私と私の共同創設者は、基礎的なAIセキュリティ研究と企業が実際に利用できるものとの間にギャップがあることを認識しました。研究は存在しましたが、実用的な現実はありませんでした。私たちはそれを変えることを目指しました。

ヴァーチューAIは、大規模な言語モデルと自律エージェントの安全性、セキュリティ、コンプライアンスに焦点を当てています。企業が今日最も軽視しているのはどの分野ですか？

企業は、これらの分野すべてをある程度理解しています。特にセキュリティについては、まだ大きなギャップがあります。

企業は、表面的なレベルでモデルセキュリティを真剣に受け止めてきました。しかし、エージェントは別の問題です。エージェントは、企業インフラストラクチャの最も機密性の高い部分へのアクセス権を持ち、コードの実行、APIの呼び出し、ウェブの閲覧、データ、財務、運用に触れる連鎖的な決定を下します。ほとんどのセキュリティチームは、そのようなシステムについて推論するように設定されていません。彼らが持っているツールはそれに対応するように設計されていません。

リスクは理論的なものではありません。エージェントシステム用に特別に設計されたセキュリティがなければ、小さな故障が急速に拡大します。予期せぬツールの呼び出し、曖昧な指示、ガードレールをすり抜けたプロンプトなど、どれでも、許可されていないアクションやデータ漏洩にエスカレートする前に誰も何かが間違っていることに気付くことはありません。

継続的なレッドチームは、ヴァーチューAIのアプローチの重要な要素です。システムが本稼働環境で稼働している場合に、どのような種類の故障やリスクが表面化することがありますか？

ほとんどの深刻なものです。

制御された環境では、モデルとエージェントをテストします。プロダクションでは、システムをテストします。それらは異なるものです。モデルがツール、リトリーバルパイプライン、ユーザー入力、他のエージェントに接続されたとき、動作空間は、事前展開テストでは捉えられない方法で拡大します。「安全に構成された」エージェントは、実際のデータベース、新しいMCPサーバー、または他のエージェントに接続されたときに、非常に異なるように行動する可能性があります。システムは非決定論的になり、評価中に存在しなかったコンテキストに基づいて決定を下し始めます。

それが、実際に重要な故障が見つかるときです。

実践では、AIの「安全性」をどのように測定しますか？特に、システムがファインチューニング、リトリーバル、ツール使用を通じて進化する場合にはどうですか？

実践では、AIの安全性は、単一の静的なベンチマークを通じて測定することはできません。現代のAIシステムは、ファインチューニング、リトリーバル増強、ツールまたはエージェントの相互作用を通じて継続的に進化します。代わりに、安全性は、AIアプリケーションの全ライフサイクルにわたるシステムレベルの特性として評価する必要があります。これには、多様なレッドチーム攻撃でモデルとエージェントをストレステストすること、プロンプト、ツールの呼び出し、アクションなどのリアルタイム動作をモニタリング、リスクポリシー（例：悪用、ホールシネーション、プライバシーリーク、許可されていないアクション）に対する結果を評価することが含まれます。

たとえば、我々の賞を受賞した論文（National Security AgencyとNeurIPSでのベストペーパー）、DecodingTrustは、基礎モデルに対する包括的なセキュリティと安全性のテストを提供しました。我々のDecodingTrust-Agentプラットフォームは、ネイティブのレッドチームエージェントをホストするリアリスティックなエージェントシミュレーターを構築し、ダイナミックで適応的な継続的なレッドチームテストを実行しました。

重要なのは、安全性の測定は継続的で適応的である必要があることです。プロンプト、リトリーバルソース、またはツールへの更新は、新しい脆弱性を導入する可能性があるためです。実践では、自動化されたレッドチーム、ランタイムガードレール、観察可能性を組み合わせて、モデル応答だけでなく、実際の世界で動作するエンドツーエンドのAIシステムの安全性を測定することを意味します。

あなたの研究の背景は、ロバスト性、プライバシー、対抗的な攻撃にわたっています。どの分野が、実世界の防御に翻訳するのが最も難しいでしょうか？

ロバスト性、プライバシー、対抗的な攻撃に関する研究を実世界の防御に翻訳することは、実際には非常に実行可能です。実際、我々のグループの多くの研究ディレクションは、実際に展開されたAIシステムで観察された実践的なセキュリティ課題から直接インスパイアされています。実際の困難性は、防御を構築することではなく、動的で実世界の環境で信頼できるセキュリティ保証を提供することです。

学術研究では、我々のグループは、認定されたロバスト性とプライバシーガランティーなどの重要な進歩を遂げてきましたが、これらの結果は、複雑なプロダクションシステムで完全に当てはまらない仮定に依存しています。現代のAIアプリケーションは、新しいデータ、ファインチューニング、リトリーバルパイプライン、ツール統合を通じて継続的に進化し、時間の経過とともに新しい脆弱性を導入する可能性があります。

したがって、有効なAIセキュリティは、一時的な保護に依存するのではなく、継続的なレッドチーム、リスク発見、適応的なガードレールを必要とします。これがヴァーチューAIの背後にある哲学です。長年のAIセキュリティ研究と自動化された大規模なレッドチーム、リアルタイム保護を組み合わせて、実践的かつスケーラブルなセキュリティを実現し、実世界のAIシステムを継続的に識別して防御を更新することを可能にします。

自律的なAIエージェントのセキュリティを守ることは、従来のソフトウェアやチャットボットのセキュリティを守ることと、根本的に何が異なりますか？

エージェントは静的なプログラムではありません。予測可能なパスに従ったり、展開時に描かれた境界内に留まることはありません。

伝統的なセキュリティは、固定された実行パス、安定したAPI、決定論的動作を前提としています。自律的なエージェントは、これらのすべての仮定に違反します。エージェントは、次に何をするかについて推論し、コンテキストに基づいてツールを選択し、単一の実行で複数のシステムに影響を及ぼします。

プロンプトをスキャンしたり、モデルを強化したり、単一のAPI呼び出しを監視したりして、仕事が完了したと考えることはできません。エージェント全体をシステムとして保護する必要があります。つまり、推論、ツールの使用、環境、そして下流で起こることすべてを保護する必要があります。

これが、ポイントコントロールが解決できない核心的な問題点です。そう設計されていないからです。

エージェントが複数のシステム、ツール、データソースを同時に操作できる場合、既存のセキュリティツールはどこで不足していますか？

エージェントが実際にどのように動作したかを、エンドツーエンドで見ることができないままにします。

ほとんどのツールは、明確な境界と安定した動作を持つアプリケーションに対して設計されています。単一のAPI呼び出しがどのように見えたかを知ることができますが、エージェントが5つのツール呼び出しを通じて推論して結果を生み出した方法を知ることはできません。

可視性のギャップが問題です。アクションと決定の全連鎖が見えなければ、管理したり、事後に監査したりすることはできません。

リアルタイムガードレールは、単なるモニタリングやログ記録と比較して、リスクをどのように軽減しますか？

ログは、被害が既に発生した後に何が間違っていたかを教えてくれます。それはフォレンジックとコンプライアンスに役立ちますが、何も止めることはできません。

自律的なエージェントの場合、行動と検出の間の遅延は、実際に高価になる可能性があります。すでに悪いAPI呼び出しを実行したり、データを漏洩させたエージェントは、ログパイプラインが追いつくのを待っていません。

リアルタイムガードレールは、実行前にアクションを傍受します。エージェントがポリシーの外れたことを試みると、実行前にブロックまたはフラグが付けられます。

組み合わせも重要です。リアルタイムの防止と、すべてのエージェントとツールの相互作用に対して一貫した統一的な適用ポイントは、パッシブな個々のコンポーネントの監視とは異なるリスクプロファイルです。

ヴァーチューAIは、深く技術的な研究者によって設立されました。商業的に推進されるAIスタートアップと比較して、製品の決定をどのように形作っていますか？

AIセキュリティとガバナンスは、根本的に深い技術的な問題です。保護するシステム、たとえば大規模な言語モデル、多モーダルモデル、エージェントシステムは、先端の研究に基づいて構築されています。これらのシステムに対する有効なセキュリティソリューションを設計するには、強力な基礎的なAIの専門知識が不可欠です。

多くの場合、AIセキュリティにおける最大の課題は、先端のレッドチームアルゴリズムがAIエージェントの脆弱性を特定した場合に、どのようにそれを実用的な防御に翻訳するかです。ヴァーチューAIでは、研究と展開のギャップを閉じることが、我々が運営し、経験豊かなものです。

我々の研究者は、新しいモデルアーキテクチャ、エージェントワークフロー、進化する攻撃手法を継続的に研究しています。一方、エンジニアリングチームは、これらの洞察を直接生産システムに統合します。

新しい脆弱性、たとえば新しいプロンプトインジェクションパターンまたはエージェント操作戦略を特定した場合、それを新しい検出モデル、ガードレール、またはレッドチーム戦略に迅速に翻訳できます。これは、四半期ごとの製品ロードマップ上で発生するのではなく、継続的に発生します。

結果として、我々の製品は、最先端で企業に適したものであり、組織がAIシステムを構築して展開するときにセキュリティを維持するのを助けます。多くの顧客は、研究主導のアプローチが、安全性とコンプライアンスを維持しながら迅速に進むことを可能にしていることを伝えています。

対照的に、純粋に商業的に推進されるチームは、顧客が今日求めているものを最適化する傾向がありますが、AIシステムの迅速に進化する脅威のランドスケープに遅れる可能性があります。AIセキュリティでは、脅威は技術自体と同じ速度で進化します。研究を第一に据える基盤は、我々に新しいリスクを早期に予測し、広範囲にわたる問題になる前に防御を構築することを可能にします。

企業がヴァーチューAIに最初に来訪したときに最も共通する誤解は何ですか？

企業がヴァーチューAIに最初に来訪したときに最も共通する誤解の1つは、AIセキュリティが単に従来のセキュリティツールまたは基本的なコンテンツモデレーションフィルタを適用することで解決できるということです。

実際には、AIシステムは、プロンプトインジェクション、脱獄、ホールシネーション駆動の悪用、データ漏洩などの新しい脆弱性を導入します。これらのリスクは、モデル自体の動作と推論から生じ、周囲のインフラストラクチャだけから生じるものではありません。

したがって、AIシステムを保護するには、AIモデルとエージェントの入力、出力、決定プロセスを理解するセキュリティメカニズムが必要であり、これは基礎的なAI研究能力を必要とします。

これが、我々がAIネイティブセキュリティを強調する理由です。自動化されたレッドチームを使用して脆弱性を発見し、リアルタイムのガードレールを使用してポリシーを適用し、システムレベルの観察可能性を使用してプロンプト、ツールの呼び出し、エージェントのアクションを監視することです。

一度企業がAIのリスクが従来のソフトウェアリスクと異なることを理解すると、AIを保護するには、根本的に新しいセキュリティスタックが必要であることをすぐに認識します。

実践では、「責任あるAIの展開」とは、今日の企業が製品を出荷する際にどのように解釈されますか？理論ではなく、実践ではどうですか？

スピードと安全性は、反対のものではありません。多くの企業は、真剣にセキュリティを考えることは、より多くのレビューサイクル、より多くのゲート、製品が出荷される前により多くの摩擦を意味するという仮定をしています。

実践では、エージェントを自信を持って展開する企業は、セキュリティをプロセスに組み込むのではなく、最後にボルトオンするのではなく、展開前に自動化されたレッドチーム、実行中のリアルタイムコントロール、エージェントの全ライフサイクルにわたる中央集権的な可視性を持つ企業です。

それはコンプライアンスの演習ではありません。それが、実際に迅速に進むことを可能にするものです。なぜなら、プロダクションで発見するべきものを、以前に発見できなかったからです。

責任ある展開とは、具体的には、エージェントが何ができるかを知ること、エージェントが何をしているかを確認すること、そして何かが間違っている場合にそれを止めることができることを意味します。

責任あるAI開発により、大規模なAIシステムの展開が継続的に自信を持って行えるようになり、AIのイノベーションを遅くするのではなく、安全性とコンプライアンスを維持することができます。

素晴らしいインタビュー、詳しく知りたい読者はヴァーチューAIを訪問してください。