ソートリーダー

あなたのエージェントはもうチャットボットではありません——それでもなぜまだチャットボットのように扱っているのですか?

mm
Unite.AI を Google の優先ソースに追加

ジェネレーティブAIの初期の頃、チャットボットが誤動作した場合の最悪のシナリオは、たいていの場合、単に公開的な恥辱でした。チャットボットは事実を妄想した、偏ったテキストを吐き出した、またはあなたに名前を呼んだ。そんなことだった。でも、今、私たちは鍵を渡しました。

エージェントの時代へようこそ。

チャットボットからエージェントへ:自律性のシフト

チャットボットは反応的でした。彼らは自分のレーンに留まっていました。質問をして、答えを得ます。しかし、AIエージェント——特にツールの使用、コードの実行、永続的なメモリを使用して構築されたもの——は、複数のタスクを実行し、APIを呼び出し、コマンドを実行し、コードを書き込み、デプロイすることができます。

つまり、彼らはただのプロンプトに反応しているのではなく、決定を下しています。セキュリティのプロのように、あなたも知っているように、システムが世界で行動を開始すると、安全性と制御について真剣に考える必要があります。

2023年に私たちが警告したこと

OWASPでは、2年以上前にこのシフトについて警告を始めました。OWASP Top 10 for LLM Applicationsの最初のリリースでは、用語を生み出しました:過剰なエージェンシー。

アイデアはシンプルでした:モデルにあまりにも多くの自律性を与えると——あまりにも多くのツール、権限が多すぎる、監視が不足している——それらは、制限されたアシスタントではなく、自由なエージェントのように動作し始めます。もしかしたら、会議のスケジュールを設定します。もしかしたら、ファイルを削除します。もしかしたら、高価なクラウドインフラストラクチャを過剰にプロビジョニングします。

注意しないと、混乱した代理人……または悪意のあるスリーパー・エージェントのように動作し始め、サイバーセキュリティ・インシデントで悪用されるのを待つことになります。最近の実世界の例では、Microsoft CopilotSalesforceのSlack製品などの主要ソフトウェア製品のエージェントは、昇格された特権を使用して機密データを漏洩させるように欺かれる可能性があることが示されました。

そして今、その仮説はサイファイのように聞こえるよりも、Q3のロードマップのように聞こえます。

MCPを紹介:エージェント制御レイヤー(あるいはそうでない?)

2025年まで急いで行き、エージェントの機能の爆発を処理するために設計された新しい標準とプロトコルの波を見ています。最も顕著なものは、アンソロピックのモデルコンテキストプロトコル(MCP)——AIエージェントセッション全体で共有メモリ、タスク構造、ツールアクセスを維持するためのメカニズムです。

MCPをエージェントのコンテキストをツールや時間を超えてまとめるための接着剤と考えてください。コーディングアシスタントに「これまでに何をしましたか。これを実行することが許可されています。これを覚えておくべきです」と伝える方法です。

これは必要なステップです。しかし、新しい質問も提起しています。

MCPは機能を可能にするものですが、ガードレールはどこにありますか?

今のところ、MCPの焦点は、エージェントが何を実行できるかを拡大すること——それらを抑制すること——ではなく、向けられています。

ツールの使用とメモリをセッションやチームを超えて維持することを支援するプロトコルですが、まだ次のような重要な懸念に対処していません:

  • プロンプトインジェクション耐性:攻撃者が共有メモリを操作した場合に何が起こりますか?
  • コマンドのスコーピング:エージェントは権限を超えて行動するように欺かれることができますか?
  • トークンの悪用:メモリ漏洩はAPI資格情報またはユーザーデータを公開する可能性がありますか?

これらは理論的な問題ではありません。セキュリティ上の影響を調査した最近の調査では、MCPスタイルのアーキテクチャは、プロンプトインジェクション、コマンドの悪用、さらにはメモリの毒性に対して脆弱であることがわかりました。特に、共有メモリが適切にスコープ化または暗号化されていない場合にそうです。

これは、クラシックな「権力と監視のない」問題です。外骨格を構築しましたが、オフスイッチの場所をまだ見つけていません。

CISOが今すぐ注意する必要がある理由

私たちは将来のテクノロジーについて話しています。開発者がすでに使用しているツール、そしてこれはエンタープライズへの大規模なロールアウトの始まりにすぎません。

コーディングエージェントであるClaude CodeやCursorは、エンタープライズのワークフロー内で実際の勢いを得ています。GitHubの内部調査では、Copilotはタスクを55%高速化できることが示されました。最近、アンソロピックは、Claude Codeの使用の79%が自動タスク実行に焦点を当てていることを報告しました。コードの提案だけでなく。

それは本物の生産性です。しかし、それは本物の自動化でもあります。これらはもうコパイロットではありません。彼らはますます単独で飛行しています。コックピット?それは空です。

マイクロソフトのCEOであるSatya Nadellaは最近、AIはマイクロソフトのコードの30%を書いていると述べました。アンソロピックのCEOであるDario Amodeiはさらに進んで、AIが6か月以内に新しいコードの90%を生成すると予測しました。

しかし、それはソフトウェア開発だけではありません。モデルコンテキストプロトコル(MCP)は、コーディングを超えて、電子メールの整理、会議の準備、セールスプラン、ドキュメントの要約、その他の一般ユーザーのための高レベルな生産性タスクを包含するツールに統合されています。多くのユースケースはまだ初期段階ですが、急速に成熟しています。これにより、賭けが変わります。これは、CTOやエンジニアリングのVPだけが関心を持つべき話題ではありません。ビジネスユニットのリーダー、CIO、CISO、チーフAIオフィサーも含め、すべての人が注意を払う必要があります。エージェントが機密データとクロスファンクショナルワークフローを実行し始めると、ガバナンス、リスク管理、戦略的計画が最初から会話の一部であることを確認する必要があります。

次に何が必要か

これらのエージェントをチャットボットではなく、実際のセキュリティ要件を持つ自律システムとして考えることを止める時です。那は:

  • エージェントの特権境界:あなたがすべてのプロセスをルートとして実行しないように、エージェントにはツールやコマンドへのアクセスがスコープ化されている必要があります。
  • 共有メモリのガバナンス:コンテキストの永続性は監査され、バージョン管理され、暗号化される必要があります。特に、セッションやチームを超えて共有される場合です。
  • 攻撃シミュレーションとレッドチーム:プロンプトインジェクション、メモリの毒性、コマンドの悪用は、トップレベルのセキュリティ脅威として扱われる必要があります。
  • 従業員のトレーニング:AIエージェントの安全で効果的な使用は、新しいスキルです。人々はトレーニングが必要です。これにより、彼らはより生産的になり、知的財産をより安全に保つことができます。

組織が知的エージェントに飛び込むときは、歩く前に走るよりも優れています。範囲、データ、権限が限られているエージェントで経験を積み、組織のガードレールを構築し、経験を積み、そしてより複雑で、自律的で、野心的なユースケースに移行します。

あなたはこれを座視することはできません

あなたがチーフAIオフィサーかチーフインフォメーションオフィサーか、最初の懸念は異なるかもしれませんが、あなたの進む道は同じです。コーディングエージェントや自律的なAIシステムからの生産性の向上は無視できないほど魅力的です。如果あなたがまだ「待ってみる」アプローチを採用している場合、あなたはすでに後れを取っています。

これらのツールはもう実験的ではありません——急速にテーブルステークスになりつつあります。マイクロソフトはすでにAIを使用して大量のコードを生成し、競争上の立場を向上させています。Claude Codeのようなツールは、開発時間を短縮し、複雑なワークフローを自動化し、世界中の多くの企業で実行されています。エージェントを安全に活用する方法を学ぶ企業は、より迅速にシップし、より迅速に適応し、競争相手を上回るでしょう。

しかし、安全性のないスピードは罠です。適切なコントロールなしに自律エージェントをビジネスに統合することは、ダウンタイム、データ漏洩、規制への反発のレシピです。

これは行動する瞬間です——しかし、賢く行動してください:

  • エージェントのパイロットプログラムを立ち上げる、しかし、コードレビュー、ツールの権限、サンドボックス化を必要とします。
  • 自律性を必要なものに限定する——すべてのエージェントにルートアクセスや長期的なメモリが必要ではありません。
  • 共有メモリとツールの呼び出しを監査する、特に長期的なセッションや共同のコンテキストを超えて。
  • 攻撃をシミュレートする、プロンプトインジェクションとコマンドの悪用を使用して、攻撃者がそうする前に現実世界のリスクを暴露します。
  • 開発者と製品チームをトレーニングする、スコープの制御、フォールバックの動作、エスカレーションパスを含む、安全な使用パターンについて。

セキュリティと速度は相互に排他的ではありません——あなたが意図的に構築する場合。

AIエージェントをコアインフラストラクチャとして扱う企業——玩具や玩具から脅威になったものとして扱わない企業——が繁栄するでしょう。他の企業は、混乱を片付けること——または、悪い場合には、見ているだけ——のために残ります。エージェントの時代がここにあります。ただ反応しないでください。準備します。統合します。セキュリティを確保します。

スティーブ・ウィルソンは、ExabeamのチーフAIオフィサーであり、グローバル企業向けの高度なAI駆動型サイバーセキュリティソリューションの開発を主導しています。経験豊富なテクノロジー専門家として、ウィルソンはグローバル2000企業向けの大規模クラウドプラットフォームとセキュアシステムの構築を経てきました。彼は、AIとセキュリティの分野で、深い技術的専門知識と実際の企業での応用を結び付けることで広く尊敬されています。ウィルソンはまた、モダンソフトウェアスタックにおけるGenAIシステムのセキュリティを確保するための実践的なガイドである「The Developer’s Playbook for Large Language Model Security」(O’Reilly Media)の著者でもあります。