ソートリーダー8 months ago
あなたのエージェントはもう単なるチャットボットではない――なぜまだそのように扱うのか？
生成AIの黎明期、誤動作するチャットボットの最悪のシナリオは、多くの場合、単なる世間体の悪さに過ぎませんでした。チャットボットが事実を幻覚したり、偏ったテキストを吐き出したり、あるいはあなたを罵倒したりすることもありました。それだけでも十分に問題でした。しかし今、私たちは彼らに鍵を手渡してしまったのです。 エージェントの時代へようこそ。 チャットボットからエージェントへ：自律性への転換 チャットボットは反応的でした。彼らは自分のレーンを守っていました。質問をすれば、答えが返ってくる。しかし、ツール使用、コード実行、永続的メモリを備えて構築されたAIエージェントは、多段階のタスクを実行し、APIを呼び出し、コマンドを実行し、自律的にコードを書き、デプロイすることができます。 言い換えれば、彼らは単にプロンプトに応答しているのではなく、意思決定を行っているのです。そして、どんなセキュリティの専門家も言うように、システムが現実世界で行動を起こし始めたら、安全性と制御について真剣に考えるべき時です。 2023年に私たちが警告したこと OWASPでは、2年以上前からこの転換について警告を始めました。OWASP LLMアプリケーション・トップ10の最初のリリースで、私たちは「過剰な自律性（Excessive Agency）」という用語を作り出しました。 その考えは単純でした：モデルに過度の自律性――多すぎるツール、過剰な権限、不十分な監視――を与えると、それは制限されたアシスタントというより、自由なエージェントのように振る舞い始めるということです。あなたの会議をスケジュールするかもしれません。ファイルを削除するかもしれません。過剰で高価なクラウドインフラをプロビジョニングするかもしれません。 注意しないと、それは混乱した代理人のように振る舞い始める…あるいは、さらに悪いことに、サイバーセキュリティインシデントで悪用されるのを待つ敵のスリーパーエージェントのようになるかもしれません。最近の実世界の例では、Microsoft CopilotやSalesforceのSlack製品などの主要ソフトウェア製品のエージェントが、昇格した権限を使用して機密データを外部に流出させるよう騙される脆弱性があることが示されました。 そして今、その仮説はSFのようではなく、あなたの今後の第3四半期のロードマップのようになってきています。 MCPの紹介：エージェント制御レイヤー（それとも？） 2025年に時を進めると、このエージェント機能の爆発的増加を扱うために設計された新しい標準やプロトコルの波が見られます。その中で最も注目されているのが、AnthropicのModel Context Protocol（MCP）――長期間存続するAIエージェントセッション間で、共有メモリ、タスク構造、ツールアクセスを維持するためのメカニズムです。 MCPを、ツールと時間を超えてエージェントのコンテキストをまとめる接着剤と考えてください。これはあなたのコーディングアシスタントに「これまでにあなたが行ったこと。これがあなたに許可されていること。これがあなたが覚えておくべきこと」を伝える方法です。 これは非常に必要な一歩です。しかし同時に、新たな疑問も提起しています。 MCPは能力拡張装置。ガードレールはどこにある？ これまでのところ、MCPに関する焦点は、エージェントができることを拡大することにあり、彼らを抑制することには向けられていません。 このプロトコルは、エージェントタスク間でのツール使用の調整やメモリの保持に役立ちますが、以下のような重要な懸念にはまだ対応していません： プロンプトインジェクション耐性：攻撃者が共有メモリを操作したらどうなるか？ コマンドスコープ：エージェントは、その権限を超えるように騙される可能性はあるか？ トークン悪用：漏洩したメモリブロブがAPI認証情報やユーザーデータを暴露する可能性はあるか？ これらは理論上の問題ではありません。セキュリティへの影響に関する最近の調査では、MCPスタイルのアーキテクチャは、特に共有メモリが適切にスコープ化または暗号化されていない場合、プロンプトインジェクション、コマンドの誤用、さらにはメモリ汚染に対して脆弱であることが明らかになりました。...
