Vin Sharma、Vijil共同創業者兼CEOへのインタビュー

Vin SharmaはVijilの共同創業者兼CEOであり、サイバーセキュリティ、オープンソース、クラウドコンピューティング、AIインフラの分野で30年以上の経験を持つ。同社を創業する前は、AWSでAmazon SageMakerとAmazon Bedrockの深層学習エンジニアリングを率い、Intelでデータセンターインフラの開発に携わり、Hewlett-Packardでは製品開発とエンジニアリングの職務を担った。信頼性の高いUNIXシステムを対象とする自動レッドチームテストからキャリアをスタートさせた経験が、企業向けAIエージェントの信頼性、セキュリティ、安全性を高めるという現在の取り組みの基盤となっている。

Vijilは、企業向けAIエージェントの信頼性を支えるインフラを提供し、組織がエージェントの動作を評価し、制御を適用し、ライフサイクル全体を通じてレジリエンスを高められるよう支援している。同社のアプローチでは、テスト、セキュリティ、継続的なフィードバックを組み合わせ、エージェントの動作を組織の意図する目的やポリシーに沿わせる。このインタビューでは、Sharmaが信頼の定義と測定方法、エージェントのテストが従来のソフトウェアセキュリティと異なる理由、そしてエージェントの自律性が高まるなかで企業に必要となる監督体制について語る。

Vijilを創業する前、AWS、Intel、Hewlett-Packardなどの企業で30年以上にわたり働いてきました。AIの信頼性とセキュリティには、会社を立ち上げるほど大きな未解決の課題があると、最終的に確信したのはなぜですか？

30年前にセキュリティ系スタートアップに入社する前、私は大学院でAIと機械学習を研究していました。それ以来、UnixやLinuxをベースとするオペレーティングシステムに軍用レベルのセキュリティを組み込む製品チーム、オンラインバンキング向けの安全なウェブサーバーを開発するチーム、クラウドコンピューティング向けの信頼実行環境を開発するチーム、データ分析プラットフォームに暗号化を組み込むチームに携わり、そして最近では一巡して、AWSで企業向けのAI/MLサービスの構築に取り組みました。こうした経験を通じて、インテリジェントなシステムそのものを構築するよりも、知能を備えたシステムに信頼性を組み込むほうが難しいという確信を持つようになりました。AI業界は概してエージェントの能力向上に注力しているようですが、エージェントに拡張可能な監督・制御の仕組みを組み込むことにも、同じだけのリソースを投じる必要があると考えています。特定の組織のニーズに合わせた指標や仕組みがなければ、最初の熱狂的な導入の波は、リスクと投資収益率（ROI）という暗礁に乗り上げて勢いを失うでしょう。企業が、エージェントが自社の最善の利益にかなうよう機能していることを証明できなくなるからです。

Vijilは、企業がAIエージェントの信頼性、セキュリティ、安全性を十分に検証できないために、多くのエージェントが本番環境に投入されないという考えを基盤としています。企業がAIの試作段階から本番環境への導入へと進むなかで、信頼性に関する最大の課題はどこに現れていると感じますか？

自律性を高めながらエージェントの導入を拡大するうえでのボトルネックは、組織がエージェントに期待する動作を明確に定め、実際にそのとおり動作しているかを検証できるかどうかです。それだけではありません。エージェントが動作する規模と速度に対応して、それを実行できなければなりません。エージェントが別のエージェントの動作を測定し、修正できる方法が必要だというのは理にかなっています。特に大きな課題は二つあります。一つは、何を測定すべきか、つまりエージェントにおける「良い」とは何かを把握すること。もう一つは、何を修正すべきか、つまり委任者が意図する動作を引き出すために、エージェントシステムのどの要素を調整すべきかを見極めることです。対象となるのは、モデルとそのパラメーター、システムプロンプト、ユーザーの指示、エージェントの実行基盤、あるいは複数エージェントシステムのグラフです。

VijilはAIエージェントの「信頼」をどのように定義し、測定していますか？また、企業環境でエージェントを稼働させる準備が整っているかを判断する際、どのようなシグナルやベンチマークが最も重要ですか？

私たちは信頼を、自律型エージェントに委任することで期待される利益を、エージェントがこちらの意図を裏切るリスクに応じて割り引いたものと定義しています。つまり、通常の状況、ノイズの多い状況、敵対的な状況のいずれでも正しく動作し、失敗した場合には影響範囲を最小限に抑えられるエージェントは信頼できるということです。信頼は、信頼性、セキュリティ、安全性という三つの柱に沿って測定できます。多様な状況下で期待どおりに動作するエージェントは信頼性が高く、敵対的な状況下でも期待どおりに動作するエージェントはセキュリティが確保されており、ビジネス上、法的、技術的なリスクを最小限に抑えられるエージェントは安全です。

AIエージェントは、モデル、ツール、データソース、メモリー、外部システムを組み合わせているため、予測できない動作をすることがあります。エージェントのテストは、従来のアプリケーションセキュリティテストや一般的なモデル評価とどのように異なりますか？

従来型のソフトウェアで起きる障害のパターンは、今ではよく理解されています。大まかに言えば、不正な形式の入力を処理できないこと、ロジックやシステム設計の弱点、実装上のバグ、攻撃に対する潜在的な脆弱性、出力による意図しない副作用などです。こうした障害のテストは、適切に予測できます。エージェントは、障害が起きる可能性のある領域を大幅に広げます。その範囲は、モデル評価、単体テスト、統合テスト、アプリケーションセキュリティテスト、侵入テスト、コンプライアンスチェックでは到底扱いきれないほどです。エージェントに伴う新たなリスク領域をテストするには、委任者が定めた目的、ユーザーのペルソナ、そしてエージェントが稼働する組織、業界、地域のポリシーに照らして、エージェントの動作を評価する新たな指標と仕組みが必要です。

これまでAmazon SageMakerとAmazon Bedrockのディープラーニングエンジニアリングを率いてきたご経験があります。AWSでAIインフラを構築した経験から得たどのような教訓が、Vijilでエージェントのセキュリティと信頼性に取り組むうえで最も大きな影響を与えていますか？

最も大きな教訓は、サービスの信頼性、セキュリティ、コンプライアンスに関する問題は、開発サイクルの早い段階で発見するほうが、従来のようにリリース直前に発見するよりはるかに効果的かつ効率的だということです。さらに悪いのは、サービスの本番稼働後に問題が見つかることです。その場合、サービスの障害を知らせる電話で目を覚ますことになります。

Vijilは、エージェントのデプロイ前のテストだけでなく、本番環境での保護と継続的な改善にも取り組んでいます。エージェントが実際のユーザーやデータ、企業システムとやり取りし始めて初めて明らかになるのは、どのようなリスクでしょうか？

現実世界には、私たちを驚かせる可能性が無限にあります。そして、予想外の事態に直面したエージェントは、間違いを犯しやすくなります。ミームの生成で間違いを犯すエージェントを気にする人はいません。しかし、金融アドバイザー、パラリーガル、弁護士、看護師、医師、患者、あるいは受託者としての行動を証明する必要がある業界の専門家を支援したり、その役割を担ったりするエージェントは、許容範囲を厳密に定め、慎重に監視し、エージェントの振る舞いを速やかに正常な状態に戻せなければ、機能しません。

単に応答を生成するのではなく、行動を起こせる自律性の高いエージェントを企業が導入するなかで、セキュリティモデルはどのように進化させる必要がありますか？権限、アイデンティティ、アクセス制御といった従来の概念で十分でしょうか？

いいえ。エージェントが組織内で行動主体となるにつれ、検証可能な固有のアイデンティティを付与する必要があります。また、リソースへのアクセス権を持つツールなどの機能要素と同様に、その振る舞いも規定する役割を割り当て、強制アクセス制御ポリシーを適用しなければなりません。さらに、意図された目的から逸脱していないかを継続的に監視し、攻撃を受けても回復力を保てるよう導く必要があります。

Vijilは600万ドルのシードラウンドから1,700万ドルのシリーズAへと進み、約20人の創業チームを築き、年間経常収益で初めて100万ドルを達成しました。初期の技術構想から商業導入へと進むうえで、特に重要だった決断は何でしょうか？

私たちは早い段階で、顧客が選ぶプラットフォームと統合できる信頼のレイヤーを構築することを選びました。一方で、オープンモデルを使うマルチエージェントシステムについて、企業がより高度なカスタマイズ、きめ細かな制御、低コストを求めるようになると予想していました。単体製品ではなくプラットフォーム層を構築するという長期的な戦略は、私たちに競争上の優位性をもたらしますが、同時に難しい状況も生み出します。大規模なエージェントのガバナンスに取り組む準備ができた企業を見つけるのは、既存システムをそのまま移行するサービスを販売するほど簡単ではありません。

1995年、信頼性の高いUNIXシステム向けの自動レッドチームテストの開発からキャリアをスタートされました。約30年を経た今、推論し、適応し、外部ツールを使えるAIエージェントをテストする場合、レッドチームの原則はどのように変わったのでしょうか？

従来、レッドチーム演習とは、組織の防御体制を協調的な攻撃に対してテストすることを意味していました。基本原則は今も変わりません。テスト対象の組織の弱点を探るため、管理された条件下で攻撃を連携させる必要があります。しかし、ソフトウェアシステムをテストするためにレッドチーム演習があらかじめ台本化されていた時代の手法は、もはや十分ではありません。AIエージェントは決定論的なソフトウェアとは異なり、環境に適応するよう設計されているため、同じ攻撃を再現性のある形で繰り返すことができないからです。私は、エージェントを企業のように扱うべきだと考えています。したがって、エージェントのレッドチームテストでは、その目的に合わせて手法を適応させ、ユーザーの意図から逸脱していないか、また、置かれた環境のポリシーを回避しようとする意思と、それを実行する能力があるかを探る必要があります。

今後、AIエージェントの独立したテストや測定可能な信頼基準は、企業が導入する際の必須条件になるとお考えですか。また、そのレベルの保証を標準的な慣行にするには、業界全体で何が必要でしょうか？

現在、開発者はエージェントの能力を評価し、レッドチームはプロンプトインジェクションやジェイルブレイクへの耐性をテストしています。また、GRCチームも、規制への準拠を確認するテストに着手したばかりです。エージェントのライフサイクル全体を通じて、モデル、ツール、リソース、ワークフロー、対象環境が変化するなか、その振る舞いをバックグラウンドで継続的に検証する体制を導入している組織は、ごくわずかです。さらに重要なのは、本番環境でのエージェントの実際の振る舞いを仕様に照らして追跡し、エージェントを継続的に改善するフィードバックループを実現できる点で、Vijilは企業を独自に支援していることです。攻撃を受けても生き残るエージェントとは、適応することで回復力を保つエージェントです。

素晴らしいインタビューをありがとうございました。企業向けAIエージェントのテスト、保護、継続的な改善について詳しく知りたい方は、Vijilをご覧ください。