AIエージェントは行動できる準備ができている。ほとんどの企業はそれを許可する準備ができていない。

生成AI時代の大半において、私たちはモデルが何を言うか、そして私たちがそれに何を入力するかに焦点を当ててきました。プロンプトを検査し、応答をフィルタリングし、モデルにレッドチームを行い、入力と出力の周囲に制御を構築します。これらの保護は依然として重要ですが、AIが主に人間が消費する何かを生成する世界向けに設計されたものです。

エージェントはその方程式を変えます。情報を単に消費したり生成したりするだけではありません。彼らは行動します。

エージェントはツールを実行し、サブエージェントを呼び出し、他のエージェントと協働し、APIを呼び出し、データにアクセスし、認証情報を使用し、MCPサーバーを呼び出し、コードを生成・実行し、目的達成のために一連の意思決定を自律的に行うことができます。執拗な追求です。これが起こると、中心的な質問はもはやモデルが安全な応答を生成したかどうかだけではなく、エージェントが取る行動が実行に際して安全かどうかということになります。

OpenAIからの最近の開示は、その区別がますます重要になることを示しています。OpenAIは予期しない、または懸念されるモデルの挙動を体系的に報告する、一方で、より広範な安全性の取り組みは、モデルがより大きな自律性とツールへのアクセスを得るにつれて生じるリスクにますます対処しています。

教訓は、エージェントが本質的に安全でないということではなく、セキュリティ境界が移動したということです。

エージェントシステムは別の運用モデルを必要とする

エージェントAIは単なる別のアプリケーションアーキテクチャではありません。ソフトウェア自体が、仕事の進め方をますます決定しています。

エージェントは障害に直面し、何が起こったかを解釈して別の道を選択できます。事前に明示的に設計されていない方法でツールを組み合わせることができます。同じワークフローの一部としてコードを生成し、そのコードを実行することも可能です。アクションのシーケンスはエージェントが実行されるたびに変わることがあります。

同時に、このソフトウェアを作成する人々の数は劇的に拡大しています。私たちが市民開発者の台頭について書いたように、AIは自分を開発者と考えたことのない人々をソフトウェア作成者に変えています。マーケター、財務アナリスト、あるいはオペレーションリーダーが、欲しいものを説明すれば、実際のビジネスシステムと連携できるエージェントを作成できるようになりました。

これは、誰がソフトウェアを構築できるか、そしてそのソフトウェアが何ができるかという点で、並外れた拡大です。また、組織はビジネスのはるかに多くの領域で、はるかに多くの自律ソフトウェアが稼働することを意味します。

答えは単に昨日の制御をこの新しい環境に適用することではありません。企業がこれらのシステムを安全に運用できない場合、代替策はそれらを制限し、最終的には達成しようとしている生産性向上自体を遅らせることになるでしょう。

エージェントが行動する場所に制御が必要です

AIがより自律的になるにつれて、課題はモデルに何を入力するかを制御することから、モデルの決定が行動になるときに何が起こるかを制御することへとシフトします。

エージェントは、承認されたユーザー、適切なプロンプト、正当な認証情報、ツールへの認可されたアクセスから始まることがあります。しかし、これらがすべて、以降のすべてのアクションが実行すべきであることを保証するわけではありません。

ここでランタイムが重要になります。組織はエージェントが誰であるかだけでなく、現在何をしているのかについて質問する必要があります。

• どのツールを呼び出しているか、
• どのリソースにアクセスしているか、どのコードを実行しようとしているか、
• どのサブエージェントや他のエージェント間の通信が行われているか、
• そのアクション直前に何が起きたか、そしてその振る舞いが許容範囲内にあるかどうか、
• ランタイムでエージェントが内部で何をしているか。

そしてそれが行われない場合、システムは実行前にリアルタイムで介入できる能力が必要です。

これは重要な区別です。可観測性は何が起きたかを教えてくれます。ランタイム制御はエージェントの実行層を抑制する能力を提供します。

エージェントの振る舞いが非決定的で多次元的であるため、これは特に重要になります。ブロックされたアクションは、エージェントが目的に向かって別のアプローチを試す原因となります。一見無害なツール呼び出しでも、直前の状況によってリスクが生じることがあります。単に観察したり「検出して応答」するだけでは、エージェントへのアクセスと実行を実際に制御するには手遅れです。

ランタイムはインラインかつ同期的である必要があり、AIの速度に追いつくことが求められます。このようなアプローチを受け入れる上での根本的な課題は、より長い分析と検出手法に依存する、AI以前の時代の考え方に基づいていることです。これらの原則は今日の世界ではもはや適用されません。

ランタイムセキュリティには制御だけでなくコンテキストが必要です

新興AIリスクへの対応として、自律性を削減する傾向があります。エージェントに付与する権限を減らしたり、人間の承認をより頻繁に求めたり、動作環境を制限したりします。これらのコントロールは、特に高リスクな行動に対しては適切な場合があります。

しかし、それが長期的な運用モデルになることはできません。

人間がすべての重要な決定を承認しなければならない場合、自治エージェントの価値の大部分が失われます。厳格なヒューマン・イン・ザ・ループのやり取りに依存することで、最も有能な人材さえ「ボタンを押すだけ」の役割に変えてしまいます。これは、エージェント組織が基盤としているコードベースの範囲や相互依存性を把握する能力に直接影響します。

エージェントAIの経済的約束は、ソフトウェアが意味のある作業を独立かつ継続的に（24時間365日）完了できることに正確に由来します。したがって、目標は自律性を排除することではなく、より大きな自律性を安全に運用できるようにすることです。

それには、エージェント自身の推論プロセスの外部に独立したコントロールが必要です。Anthropicのエージェント的ミスマッチに関する研究は、意図的に構築されたシミュレーションで実施されており、なぜこれが重要なのかを示しています。システムがより自律的になるにつれて、元の目的が明確であっても、実際の挙動がオペレーターの期待と乖離する可能性があります。

実務上の意味は明快です。組織はエージェントに何をさせたかだけを理解するだけでは不十分です。実際に何をしているかを把握し、制御できなければなりません。

エージェント自体はもはや難題ではなくなった

業界はエージェントの能力向上に莫大なエネルギーを注いできました。現在、能力が企業導入の主要な制約ではなくなる時点に急速に近づいています。

制約はコントロールです。

エージェントがより自律的になるにつれて、その行動の影響は拡大し、予測可能なソフトウェア向けに設計されたコントロールは効果が薄れます。企業はエージェントの行動を継続的に可視化し、なぜその行動が重要なのかを理解するコンテキストを持ち、すべての意思決定に人間を介在させずに介入できる能力が必要です。

それはソフトウェアの運用方法を変えることを意味します。

• 開発者は、エージェントが実際にどのように振る舞うかを理解する必要があり、設計上の振る舞いだけで判断してはいけません。
• プラットフォームおよびセキュリティチームは、エージェントがシステムやツールを横断して行動しても、執行可能な境界を確立する必要があります。
• ビジネスリーダーは、より大きな自律性がコントロールの喪失を意味しないことに自信を持つ必要があります。

これは、別のアプリケーションを保護したり別のモデルを統治したりすることとは根本的に異なります。私たちは企業環境に自律的なアクターを導入しています。すなわち、推論し、意思決定し、行動を起こすシステムです。組織がそれらの行動をリアルタイムで見て制御できなければ、最終的にはエージェントができることを制限せざるを得ず、自律性が本来創出すべき価値の多くが失われます。

答えは、すべての悪い決定を防げると仮定することではありません。システムがより自律的かつ非決定論的になるほど、保証がますます困難になります。

目標は、悪意あるまたは破壊的な行動が望ましくない結果につながらないようにすることです。

これには、エージェントの周囲に新たな運用層を設ける必要があります。その層は行動を継続的に観測し、コンテキスト内での行動を理解し、エージェント実行スタック全体にわたって境界を強制し、意図しないまたは受容できない行動が不可逆的な結果になる前に介入します。

次の企業AIフェーズは、エージェントの能力だけで定義されるわけではありません。安全に付与できる自律性の度合いが、今後の鍵となります。