ソートリーダー
November 17, 2025
AIアプリケーションのガードレールを見直す
As AIアプリケーションが単純なチャットボットを超えて、ユーザーの代理で行動できるエージェントシステムに進化するにつれて、リスクは指数関数的に増大する。エージェントアプリケーションはツールを介して行動を起こすことができ、これにより、ユーザーアプリケーションとデータの状態を変更するためにそれらのツールを操作できる攻撃者向けに新しい脅威ベクトルが開かれる。伝統的なガードレールとセキュリティモデルは、狭い、明確に定義された脅威に対して設計されたものだが、現代の攻撃技術の多様性と創造性に対してスケールすることが難しい。 この新しい現実には、パラダイムシフトが必要である: AIを使用してAIを防御することにより、今日の敵の発明性と予測不可能性に匹敵する適応性とスケーラビリティのあるセーフガードを可能にする。拡大したリスクの理解AIは、CRMsからカレンダー、電子メール、ワークフロー、ブラウザなど、すべてのソフトウェアレイヤーに浸透している。会話アシスタントとして始まったものが、独立した行動をとることができる自律エージェントになっている。例として、OpenAIの新しい「エージェント」は、インターネットを閲覧したり、オンラインでタスクを実行したりできる。これらの機能は、巨大な生産性を解放するが、未知の攻撃面も露呈する。リスクは、データ漏洩を超えて、行動操作、モデル回避、プロンプトインジェクション攻撃など、モデルそのものの論理を標的とする、動的に進化する脅威を含む。企業にとって、この変化は、セキュリティがAI自体と同じ速度で進化する必要があることを意味する。テクノロジーとセキュリティのリーダーにとっての課題は、イノベーションを保護することと、それを遅くすることの間のバランスをとる方法を見つけることである。これは、セキュリティとAI開発チームの間で長年存在する緊張関係である。伝統的なガードレールの限界現在のほとんどのAIセキュリティツールは、特定のタイプの攻撃を認識するように設計された静的、狭い機械学習モデルに依然として頼っている。各新しい回避またはプロンプトインジェクション方法は、モデルを再トレーニングまたは再配置することを必要とする。 この反応的なアプローチは、悪意のあるアクターが予測可能な方法で行動することを前提としている。しかし、実際は、攻撃者は自らAIを利用して、従来の防御が予測できない、適応性のある、創造的で、迅速に進化する脅威を生成している。さもなければ、最先端のガードレールと呼ばれるものは、範囲と能力が限られていることが多い。彼らは、特に訓練されたシナリオ内でのみ有効である。古いパラダイムでは、新しい攻撃ごとに別々のモデルを訓練する必要があり、これは潜在的な搾取技術が数百に上る場合には、もろいそして持続不可能なアプローチである。さらに、セキュリティとAIチームの間には文化的な断絶が続いている。AI開発者は、セキュリティを速度を妨げるものとして見ることが多い。一方、セキュリティチームは、何かが失敗した場合に責任を負う。 このコラボレーションの欠如により、多くの組織が設計上脆弱になっている。必要なのは、AIライフサイクルにシームレスに統合される防御であり、摩擦なく監視を提供するものである。スクリプトの反転: AIを使用してAIを防御するこれらの課題に応じるために、新しいセキュリティパラダイムが登場している: AIが悪意のあるAIを攻撃し、ユーザーのAIを防御する。静的ルールや手作りの署名に頼るのではなく、このアプローチは、大規模言語モデル（LLM）の生成力と分析力により、AIシステムを探査し、保護する。 AI駆動のレッドチーム: LLMは、モデル回避、プロンプトインジェクション、エージェントの誤用など、幅広い敵対的な行動をシミュレートできる。組織は、非同期または「ローグ」モデルを解き放ち、アプリケーションを創造的にテストすることで、攻撃者がそれを利用する前に脆弱性についてより豊富でリアルな理解を得ることができる。 継続的、適応的な防御: 同じAIシステムは、各攻撃から学び、自動的に防御を強化するように訓練できる。数百の狭いスコープのモデルを管理するのではなく、組織は、多様な脅威を認識し、適応し、遅延とパフォーマンスを一貫して維持することができる、単一のスケーラブルな防御レイヤーを展開できる。 これは、手動のポイントインタイムテストから、保護されるシステムとともに進化する生きたガードレールへの根本的なシフトを示す。自己防御エコシステムの構築AIがAIを防御することは、検出を改善するだけでなく、防御の姿勢全体を変換する。適切に統合されると、これらのシステムは: 多くの攻撃タイプにわたって保護を容易にスケールできる。 新しい脅威に遭遇するたびに、継続的に改善される。 AIとセキュリティチームの間のギャップを埋め、イノベーションを妨げない監視を可能にする。 AIシステムがデジタル環境で自律的に行動することによって導入される複雑なリスクサーフェスに対する可視性を提供する。 目標は、攻撃者のように考えるセキュリティシステムを構築し、彼らの動きを予測し、同じ速さで進化することである。適応的なマインドセットの必要性業界は転換点に立っている。2023〜2024年の初期のハイプの後、多くの企業のAIイニシアチブは、生産性の頭風に当たったときに停滞した。これは、潜在的な欠如ではなく、インフラストラクチャとセキュリティパラダイムが追いつかなかったためである。AIが今や重要なワークフローに統合されるにつれて、設計上のセキュリティの欠如の結果は、さらに拡大する。組織は、AIシステムが他のAIシステムを継続的に監視、テスト、強化する、適応的なセキュリティマインドセットを採用する必要がある。これは、最初から知的なガードレールを埋め込むことを意味する。ソフトウェアがネイティブにAIベースでないと考えることは愚かであり、AIがネイティブにセキュアでないと考えることは危険である。生きたAIガードレールAIはソフトウェアの新しい基盤であり、どの基盤と同様に、その強度は、どれだけのストレスに耐えられるかによって決まる。静的防御はこの瞬間を満たすことができない。セキュリティの次の時代は、自己学習システム（AIがAIを防御する）に属するだろう。これは、脅威の速度、創造性、スケールに匹敵する。AIが自らを守ることを学ぶことでのみ、AIが私たちを助けて構築する将来を守ることができる。
