チェックポイントのCTOジョナサン・ザンジャー氏に聞く – インタビュー・シリーズ

ジョナサン・ザンジャー氏は、チェックポイントの最高技術責任者であり、エリート軍事情報機関での経験、深いAIの専門知識、スタートアップおよびグローバル企業での運用リーダーシップを兼ね備えた稀有な人物です。現在の役職に就く前は、TrigoのCTOとして、次世代のAIおよびコンピュータビジョンシステムの開発を指揮し、スケールでの無摩擦小売および損失防止を可能にしました。また、TrigoでのシニアR&Dリーダーとして、イスラエルのエリートユニット8200で10年以上勤務し、サイバーR&D部門の責任者として、国家規模のインテリジェンスおよびサイバーセキュリティイニシアチブに貢献し、最高の国家認識を獲得しました。

チェックポイント・ソフトウェア・テクノロジーは、サイバーセキュリティの世界的リーダーであり、AI駆動のクラウド配信セキュリティソリューションを提供し、企業および政府をますます複雑化するデジタル脅威から保護します。同社は、100,000以上の組織にサービスを提供し、ネットワーク、クラウド環境、エンドポイント、ユーザーを保護するための包括的なプラットフォームを提供し、事前防御アプローチにより、攻撃が発生する前にそれを阻止することを目的としています。同社の統合アーキテクチャは、人工知能とリアルタイムの脅威インテリジェンスを活用して、セキュリティ操作を簡素化し、リスクを軽減し、組織がAI、クラウドコンピューティング、分散システムを採用しながら安全に拡大できるようにします。

あなたは大規模なサイバーセキュリティおよびAIイニシアチブを率いてきました。TrigoではAI駆動のシステムを構築し、現在はチェックポイントでAI戦略を担当しています。制御された環境から生産環境への移行で、特にツールや企業データへのアクセスが許可されている場合に、AIシステムで観察される特定の故障モードについて教えてください。

生産環境では2つの点が根本的に変わります。まず、スケールがエッジケースを日常的なイベントに変えます。0.1パーセントの偽陽性率はラボでは優れていますが、数百万のインタラクションを処理する場合、それは注意が必要な数千のインシデントに変わります。テストでの統計的アウトライアはスケールでの運用的現実に変わります。

2つ目は、生産環境では対立的な公開が発生します。制御された環境では、入力は善意で予測可能です。現実の世界では、一部のユーザーと脅威行為者はシステムを欺くために、利用可能なすべての信頼されていないデータチャネルを積極的に利用しようとします。デモから生産への移行はスケールの問題ではありません。それは協力的な環境から争いの環境への移行であり、それには根本的に異なる設計の前提が必要です。

エージェントシステムでは、モデルがAPIを呼び出し、コードを実行し、アクションを連結することができます。セキュリティチームがまだ適切にインストルメントしていない最も重要な攻撃面は何ですか?

最もチームが軽視している重要な表面はデータそのものです。エージェントシステムは通常、信頼されていないデータソース — 受信メール、Webサイト、Jiraチケット、オープンソースコード、外部ドキュメント — にアクセスします。そのデータは、モデルが推論プロセスの一部として分析および処理されます。

これにより、2つの具体的なリスクが生じます。まず、メモリ汚染 — 操作されたコンテンツが、明らかなプロンプトインジェクションなしに、モデルの将来の応答や決定を微妙に形作ることです。2つ目は、間接的なプロンプトインジェクション — 攻撃的な指令が外部データに埋め込まれ、エージェントがそれを見つけたときに効果的に内部からモデルを脱獄させることです。攻撃者は直接プロンプトに触れません。エージェントがそれを見つける場所に指令を植え付けるだけです。

プロンプトインジェクションは、モデル問題としてしばしば説明されますが、実践ではシステムレベルの問題になります。エンタープライズは、モデル入力、ツールの実行、機密データへのアクセスを分離するために、アーキテクチャをどのように再設計する必要がありますか?

プロンプトインジェクションは、普遍的な問題ではありません。与えられた入力が有効か攻撃的かは、完全にコンテキストに依存します。テクニカルヘルプデスクのエージェントに「管理者のパスワードを変更してください」と尋ねることは、完全に妥当です。一方、オンライン小売業者のチャットボットに同じ要求をすると、それは攻撃です。

これがアーキテクチャが重要な理由です。システムには、決定論的および非決定論的メカニズムの両方が必要です。決定論的制御は、エージェント、ユーザー、システムの定義された役割に基づいて、ツールおよびデータへのアクセスを管理します。非決定論的、モデルベースの制御は、言語、コンテキスト、意図を理解する能力を追加します。両方の層 — 厳格なポリシーの適用と知的コンテキストの推論 — が必要です。どちらか一方だけでは不十分です。

多くのAIエージェントは、データの取得と外部データソースに依存しています。これらのパイプラインでのデータ汚染とコンテキスト操作のリスクについてはどうでしょうか? また、それらを実行時にどのように軽減できますか?

リスクは、データフローの方向によって異なります。内部データソースの場合、主なリスクは機密データ漏洩 — PII露出、顧客間のデータ共有、内部情報が未承認の第三者に公開されることです。外部データソースの場合、リスクには、検証されていない情報からのモデルバイアス、取得されたコンテンツに埋め込まれた間接的なプロンプトインジェクション、信頼できないまたは操作されたソースへの依存が含まれます。

軽減策は、トランザクションレベルで、リアルタイムで実行する必要があります。すべてのエージェントトランザクションを両方向で保護する必要があります。機密データが内部から外部へ漏洩していないこと、および外部からシステムまたはモデルへの汚染されたまたは攻撃的な情報が流入していないことを確認する必要があります。これをインジェスト時のみで解決することはできません。コンテキストは動的であり、脅威の状況は継続的に変化します。

あなたのAIディフェンスプレーンは、従業員のAI使用、応用、エージェントシステム全体にわたる統一された制御レイヤーを導入します。分散型AIスタック全体でポリシーを観察および適用するシステムを構築する際の最大のアーキテクチャ上の課題は何でしたか?

私たちは、エージェントワークロードがエンドポイント、アプリケーション、SaaSサービス、クラウドワークロード — すべてが「エージェントのインターネット」と呼ばれるハイパーコネクトされたものにわたって拡大する将来を信じています。AIディフェンスプレーンのアイデアは、この進化するエージェントインフラストラクチャを単一のウィンドウ内で発見、管理、保護することです。

コアアーキテクチャ上の課題は、すべてのエージェントのリスクプロファイルとコンテキストを動的に評価し、すべてのエージェントトランザクションに対してリアルタイムで保護を開発することです。そのためには、生産環境のスピードとスケールで、実際の脅威に対して高いブロック率を維持し、誤検知を最小限に抑えることが必要です。分散型で急速に進化するAIスタック全体で一貫したポリシーを観察および適用するシステムを構築するには、AIアクティビティを基礎レベルで抽象化および評価する方法を再考する必要がありました。

プラットフォームは、言語やワークフローを問わず、機械のスピードでリアルタイムの意思決定を強調しています。生産環境では、AI駆動のアクションの深い検査と制御の必要性と、待ち時間の制約をどのようにバランスさせていますか?

私たちは、脅威防止のために特別に設計されたファウンデーションモデルを開発およびトレーニングし、蒸留技術を使用して非常に効率的にします。そのため、推論を迅速に実行でき、計算機を最小限に抑えながら、最大の精度を維持できます。マルチ言語およびマルチモーダル対応を含む画像および音声分析を実行できます。

このアプローチにより、エージェントトランザクションを深く検査できますが、ボトルネックにはなりません。遅延を引き起こすセキュリティは、バイパスされます。ワークフローに目立たないセキュリティで、有意義な制御を実施するものが、実際に展開され、維持されます。

AIエージェントは、ツールの使用を通じて、複数のシステムで委任されたアクセス権を増やしています。エージェントが動的にスコープを拡大する場合に、組織は非人間のアクターのアイデンティティおよびアクセス管理をどのように再考する必要がありますか?

多くの組織が犯す間違いは、AIエージェントを人間のユーザーの延長または従来のサービスアカウントとして扱うことです。どちらのモデルも適切ではありません。エージェントを「デジタル従業員」とみなすと便利です。定義された役割、責任、境界を持つエンティティです。

エージェントのアイデンティティは、3つの次元で定義される必要があります。エージェントが実行する特定のワークフロー、エージェントを所有または作成したユーザー、および現在エージェントとやり取りしているユーザーです。これら3つの要因すべてが、エージェントが行うべきことを形作ります。その他に、組織はエージェントに対してゼロトラストの原則を適用する必要があります。起源に基づいて信頼を仮定しないこと、動作を継続的に検証すること、常に最小特権アクセスを適用することが必要です。そうしないと、エージェントは誰もが意図したよりも多くの権限を蓄積します。

大多数の企業には、コパイロット、プラグイン、内部スクリプトを通じて、影のAI使用があります。セキュリティチームは、AIが機密データとどのようにやり取りしているかについてのリアルな可視性を得るために、どのようなテレメトリを収集する必要がありますか?

可視性は、エージェントトランザクションレベルで動作する必要があります。プロンプトと応答のみでなく、ツールの呼び出し、ツールによって返されるデータ、およびその結果として起こるアクションを含めます。セキュリティチームは、完全なチェーンを確認する必要があります。何が要求されたか、どのデータにアクセスしたか、どのツールが呼び出されたか、どのパラメータが渡されたか、そして次に何が起こったかです。

トランザクションレベルのテレメトリがなければ、露出、誤用、影響についての基本的な質問に答えることはできません。影のAIは、存在すること自体が危険ではありません。管理や洞察なしに動作することによって危険です。

エージェントシステムのレッドテーミングは、静的アプリケーションのテストとは根本的に異なります。マルチステップワークフロー全体で対立的な動作をシミュレートする方法と、最もよく発見される種類のエクスプロイトについて教えてください。

私たちは、世界最大のAIレッドテーミング演習であるGandalf (https://gandalf.lakera.ai) を運営しています。これは、実際のユーザーがAIエージェントを操作してガイドレールを破壊しようとする、クラウドソーシングされたプラットフォームです。これにより、実際のユーザーが使用する実際の対立的なテクニックのユニークで継続的に成長するデータセットが得られます。私たちは、このデータセットを使用して、レッドテーミング能力を駆ります。私たちが最もよく見る攻撃は、ユーザーがエージェントを段階的に操作して制約を破るものです。間接的なプロンプトインジェクション、創造的な再構成、コンテキスト操作、およびマルチステップのやり取りを通じた信頼の段階的な搾取が含まれます。これらの問題は、個々のプロンプトのみをテストすると見えません。シーケンスと持続的な対立キャンペーンをテストする必要があります。

攻撃者がシステムを継続的にプローブするために自動エージェントを使用し始めると、防御はリアルタイムの適応型コントロールに移行し、AIによって駆動されるものになりますか? また、そのアーキテクチャは実践ではどのように見えますか?

はい。静的防御では、継続的に動作する自動攻撃者に対抗することはできません。防御は適応型で、ランタイム駆動型で、自動化されたものになる必要があります。これは、AIの動作をリアルタイムで監視し、ポリシー違反時に即座に適用することを意味します。AI駆動の攻撃のスピードとスケールは、同等の高速で、機械のスピードでの防御によってのみ対抗できます。

実践では、セキュリティはルールセットではなく、フィードバックループになります。AIシステムは、動的に観察され、評価され、制約されます。運用するスピードとスケールで、組織がAIを安全に企業規模で展開したい場合、これは不可欠な移行です。

素晴らしいインタビュー、ありがとうございます。詳しく知りたい読者は、チェックポイント・ソフトウェア・テクノロジーを訪問してください。