なぜAgentic AIは現実の世界で壊れるのか

過去数年間、私たちはAgentic AIシステムの印象的なデモを見てきました。彼らはテストケースに合格するコードを書きます。彼らはウェブを検索して複雑な質問に答えます。彼らは驚くほどの正確さでソフトウェアインターフェイスをナビゲートします。毎回のカンファレンス発表、毎回のプレスリリース、毎回のベンチマークレポートは、Agentic AIの出現を強調しています。

しかし、問題はこれらの印象的なデモの下に隠れています。同じシステムが制御された環境から現実のデプロイメントに移行すると、ベンチマークが予測しなかった方法で頻繁に失敗します。100個のキュレーションされた例で完璧に動作していたコードジェネレーターは、見たことがないエッジケースでエラーを生じ始めます。85%の精度でラボで動作していたウェブ検索エージェントは、ユーザーの行動が変化するにつれて、ますます無関係な結果を取得します。テスト中に10個のAPIコールを完璧に調整していた計画システムは、予期しないAPIレスポンス形式に出会ったときに壊れます。

これらのシステムは、知能が不足しているためではなく、適応が不足しているため失敗します。問題は、AIエージェントがどのように学習し、調整するかという点にあります。最先端のシステムは巨大な基礎モデルに基づいて構築されていますが、生の知能だけでは不十分です。特殊なタスクを実行するには、エージェントは適応できる必要があります。現在のAgentic AIシステムは、これを実行できないため、設計とトレーニングの構造的な制限があります。この記事では、これらの制限と、それがなぜ持続するのかを探究します。

デモでの能力の幻想

現代のAIで最も危険な故障モードは、能力の幻想です。短いデモはしばしば実際の複雑さを隠しています。彼らはクリーンダータセット、予測可能なAPI、狭いタスクのスコープで動作します。生産環境は反対です。データベースは不完全です。スキーマは通知なしに変更されます。サービスはタイムアウトします。権限は衝突します。ユーザーはシステムの根底にある仮定に違反する質問をします。

ここで、生産の複雑さが大きく増加します。デモで1回だけ現れるエッジケースは、デプロイメントでは1日あたり何千回も現れる可能性があります。小さな確率的なエラーは蓄積します。ほとんど正しいエージェントは、実際の運用ではすぐに信頼性が低くなります。

問題の核心は、凍結された基礎モデルへの依存にあります。これらのモデルはパターン完了に優れていますが、エージェントの動作は順序的で状態依存です。各アクションは前のアクションの結果に依存します。このような設定では、統計的不確実性が急速に蓄積します。タスクの初期段階での小さなミスは、後のループ、デッドエンド、または破壊的なアクションにカスケードする可能性があります。これが、評価中に有能に見えたエージェントがデプロイされると急速に劣化する理由です。

問題は、機能が不足していることではありません。一般目的のモデルが、環境から学ぶことを許可されずに、ドメインのスペシャリストのように動作することを求められていることです。

一般知能から状況的能力へ

基礎モデルは、設計によって一般主義者です。彼らは広範な知識と柔軟な推論パターンを符号化します。ただし、生産エージェントは状況的でなければなりません。彼らは特定のルール、制約、故障モードを理解する必要があります。そうでない場合、彼らは毎日仕事をしていないのに、すべてのマニュアルを読んだような人に似ています。

このギャップを埋めるには、適応自体を再考する必要があります。現在の方法は、2つの広い、欠陥のあるキャンプに分類されます。1つは、コアAIエージェント自体を再トレーニングすることです。もう1つは、エージェントが使用する外部ツールを調整することです。各アプローチは1つの問題を解決しますが、別の問題を生み出します。これにより、生産環境では一貫性とコストが重要となる、rigid、high-cost、または不安定なシステムが残ります。

モノリシックエージェントの罠

最初のアプローチ、エージェント適応は、コアLLMをツール使用に賢くすることを試みます。基本的に、AIに必要な特定のスキルを教えます。研究者は、これを2つのクラスに分類します。いくつかの方法は、コードコンパイラの成功や検索エンジンの結果などのツールからの直接のフィードバックを使用してエージェントをトレーニングします。他の方法は、正しいまたは誤った答えなどの最終出力の正確さに基づいてトレーニングします。

システムの例として、DeepSeek-R1やSearch-R1があります。これらは、エージェントがツール使用の複雑な、マルチステップの戦略を学習できることを示しています。ただし、この力には大きなコストが伴います。10億パラメータのモデルをトレーニングすることは計算的に贅沢です。さらに重要なことは、rigidで脆い知能を作成することです。このアプローチにより、エージェントの知識とツール使用のルールが結合され、更新が遅く、リスクが高く、ビジネスのニーズが急速に変化する環境に適していません。エージェントを新しいタスクまたはツールに適応させることで、”カタストロフィックフォゲッティング“が発生する可能性があります。ここで、エージェントは以前マスターしたスキルを失います。これは、新しいウィジェットを追加するたびに、全くの新しいファクトリーアセンブリラインを構築しなければならないようなものです。

壊れやすいツールボックスの問題

これらの限界を認識して、2番目の主要なアプローチ、ツール適応は、コアエージェントを凍結させて、代わりにツールを最適化します。これはよりモジュラーでコスト効率が高いアプローチです。いくつかのツールは汎用的にトレーニングされ、標準的な検索リトリーバーのように接続されます。他のツールは、エージェントの出力から学習して、より良いヘルパーになるように特に調整されています。

このパラダイムには、大きな効率性の約束があります。s3システムの研究は、このアプローチの潜在性を実証しました。凍結されたLLMをサポートするために、専門化された「検索者」ツールをトレーニングし、Search-R1のような完全に再トレーニングされたエージェントと同等のパフォーマンスを達成しましたが、トレーニングデータは70倍少なくて済みました。直感的には、天才物理学者に図書館カタログの使用方法を再び教えるのではなく、物理学者のニーズを理解するより優れた司書をトレーニングすることです。

ただし、ツールボックスモデルには独自の限界があります。システム全体の能力は、最終的に凍結されたLLMの固有の推論によって制限されます。外科医により鋭いメスを与えることはできますが、外科医でない人を心臓手術をさせることはできません。さらに、適応ツールの増え続けるスイートを調整することは、複雑な統合課題となります。ツールAは、ツールBの入力要件に違反するメトリックを最適化する可能性があります。システムのパフォーマンスは、相互接続されたコンポーネント間の繊細なバランスに依存します。

共適応の課題

これは、現在のAgentic AIパラダイムにおける適応の欠陥の核心に至ります。私たちは、エージェントまたはツールを適応させますが、両方を同期して安定した方法で適応させることはできません。生産環境は静的ではありません。新しいデータ、新しいユーザーの要件、新しいツールが常に現れます。エージェントとツールの両方がスムーズに、安全に進化できないAIシステムは、最終的に壊れます。

研究者は、この共適応の必要性を、次のフロンティアとして特定しています。ただし、これは複雑な課題です。エージェントとツールの両方が同時に学習している場合、誰が失敗の責任を負いますか。どのようにして、エージェントとツールが互いの変更を追跡することなく、全体的なパフォーマンスを向上させる安定したフィードバックループを防ぎますか。初期の試み、たとえば、エージェントツール関係を協力的なマルチエージェントシステムとして扱うことは、困難を明らかにしています。信用割当と安定性のための堅牢な解決策がなければ、最先端のAgentic AIは、印象的なが断片的な能力のセットのままです。

メモリを第一級システムとして

適応の欠陥の最も目立つ兆候の1つは、静的なメモリです。多くのデプロイされたエージェントは、時間の経過とともに改善しません。彼らは同じミスを繰り返します。なぜなら、彼らは経験を内部化できないからです。各インタラクションは、最初のインタラクションとして扱われます。

生産環境では、適応メモリが必要です。エージェントは、長期のタスクを処理するためにエピソードのリコール、計画を改善するために戦略的メモリ、失敗を繰り返さないために運用メモリが必要です。そうでない場合、エージェントは壊れやすく、信頼できないと感じられます。

メモリは、パッシブログではなく、調整可能なコンポーネントとして扱う必要があります。経験をレビューし、ミスから学び、行動を調整するシステムは、はるかに安定しています。

適応システムからの新しいリスク

適応は、独自のリスクをもたらします。エージェントは、目標ではなく、メトリックを最適化することを学習する可能性があります。これは、寄生適応として知られています。彼らは、根本的な目標を損なうながらも、成功しているように見えます。マルチエージェントシステムでは、損なわれたツールは、エージェントを操作することができます。微妙なプロンプトインジェクションまたは誤導的なデータを通じて、エージェントを操作することができます。こうしたリスクを軽減するには、エージェントには堅牢な検証メカニズムが必要です。アクションは、テスト可能で、可逆的で、監査可能でなければなりません。エージェントとツールの間の安全層は、ミスが静かに伝播しないことを保証します。

結論

Agentic AIが現実の世界で機能するには、知能だけでは不十分です。適応できる必要があります。ほとんどのエージェントは、時間が経過しても適応できないため、今日失敗しています。世界は複雑で、常に変化しています。AIがミスから学び、メモリを更新できない場合、最終的に壊れます。信頼性は、完璧なデモから来るのではなく、適応能力から来ます。