なぜAgentic AIは現実の世界で壊れるのか

過去数年間、私たちはAgentic AIシステムが印象的なデモを生成するのを見てきました。彼らはテストケースを通過するコードを書きます。彼らはウェブを検索して複雑な質問に答えます。彼らは驚くほどの精度でソフトウェアインターフェイスをナビゲートします。毎回のカンファレンスプレゼンテーション、毎回のプレスリリース、毎回のベンチマークレポートは、Agentic AIの出現を強調しています。

しかし、問題があります。問題は、これらのシステムが制御された環境から現実のデプロイメントに移行するとき、ベンチマークが予測したことのない方法で、しばしば失敗します。100個のキュレーションされた例で完璧に動作していたコードジェネレーターは、見たことがないエッジケースでエラーを生成し始めます。85%の精度でラボで動作していたウェブ検索エージェントは、ユーザーの行動が変わると、関連性の低い結果を取得し始めます。テスト中に10個のAPIコールを完璧に調整していたプランニングシステムは、予期しないAPIレスポンス形式に出会ったときに壊れます。

これらのシステムは、知能が不足しているからではなく、適応が不足しているため、失敗します。問題は、AIエージェントがどのように学習し、適応するかということです。最先端のシステムは、巨大な基礎モデルに基づいて構築されていますが、生の知能だけでは十分ではありません。専門的なタスクを実行するには、エージェントは適応できる必要があります。現在のAgentic AIシステムは、設計とトレーニングにおける構造的な制限のため、これを実行できません。この記事では、これらの制限と、それがなぜ持続するのかを探ってみます。

デモにおける能力の幻覚

現代のAIにおける最も危険な故障モードは、有能さの幻覚です。短いデモは、実際の複雑さを隠しています。彼らは、クリーンなデータセット、予測可能なAPI、狭いタスクのスコープで動作します。生産環境は、逆です。データベースは不完全です。スキーマは通知なしに変更されます。サービスはタイムアウトします。権限は衝突します。ユーザーは、システムの根底にある仮定に違反する質問をします。

ここで、生産の複雑さが大幅に増加します。デモでは1回だけ現れるエッジケースは、デプロイメントでは1日あたり何千回も現れる可能性があります。小さな確率的なエラーは蓄積します。ほとんど正しいエージェントは、実際の運用ではすぐに信頼性が低くなります。

問題の核心は、凍結された基礎モデルへの依存にあります。これらのモデルは、パターン補完に優れていますが、エージェントの動作は、順次的で状態依存です。各アクションは、前のアクションの結果に依存します。このような設定では、統計的不確実性はすぐに蓄積します。タスクの初期段階での小さなミスは、後にループ、デッドエンド、または破壊的なアクションにカスケードする可能性があります。これが、評価中に有能に見えたエージェントが、デプロイされると急速に劣化する理由です。

問題は、欠けている機能ではありません。一般的なモデルが、環境から学ぶことを許可されずに、ドメインの専門家のように振る舞われているということです。

一般的な知能から状況依存の能力へ

基礎モデルは、設計によって一般主義者です。彼らは、広範な知識と柔軟な推論パターンを符号化します。生産エージェントは、状況依存的でなければなりません。彼らは、特定の組織とそのツールのルール、制約、故障モードを理解する必要があります。そうでない場合、彼らは、毎日仕事をしている人ではなく、毎日マニュアルを読んでいる人に似ています。

このギャップを埋めるには、適応自体を再考する必要があります。現在の方法は、2つの広範な欠陥のあるカテゴリに分けられます。1つは、コアのAIエージェント自体を再トレーニングすることです。もう1つは、エージェントが使用する外部ツールを調整することです。各アプローチは、1つの問題を解決しますが、別の問題を引き起こします。これにより、生産環境では、一貫性とコストが重要となる、剛性が高すぎる、コストが高すぎる、または不安定すぎるシステムが残ります。

モノリシックエージェントの罠

最初のアプローチであるエージェント適応は、コアLLMをツールの使用に特化させることを試みます。基本的に、AIにツールを使用する必要な特定のスキルを教えます。研究者は、これをさらに2つのクラスに分類します。いくつかの方法は、ツールからの直接のフィードバックを使用してエージェントをトレーニングします。たとえば、コードコンパイラの成功または検索エンジンの結果です。他の方法は、最終的な出力の正確性に基づいてエージェントをトレーニングします。たとえば、正しいまたは間違った答えです。

システムの例として、DeepSeek-R1やSearch-R1があります。これらのシステムは、ツールの使用のための複雑な、マルチステップの戦略を学習できることを示しています。ただし、この力には、重大なコストが伴います。10億パラメータのモデルをトレーニングすることは、計算的に贅沢です。より重要なことは、このアプローチは、剛性があり、脆い知能を生み出します。エージェントの知識とツールの使用ルールを組み合わせることで、このアプローチは、更新を遅く、リスクがあり、ビジネスのニーズが急速に変化する生産環境には適していません。エージェントを新しいタスクまたはツールに適応させることは、”カタストロフィック・フォゲッティング“を引き起こす可能性があります。ここで、エージェントは、以前マスターしたスキルを失います。これは、ウィジェットを追加したいときに毎回、全ての工場の組み立てラインを再構築しなければならないようなものです。

フラジャイル・ツールボックス・プロブレム

これらの限界を認識して、2番目の主要なアプローチであるツール適応は、コアエージェントを凍結させて、代わりにツールを最適化します。これは、よりモジュラーで、コスト効率が高いアプローチです。いくつかのツールは、汎用的にトレーニングされています。たとえば、標準の検索リトリーバーです。特定のツールは、凍結されたエージェントの出力から学習して、より良いヘルパーになるように調整されています。

このパラダイムは、効率性の面で大きな約束を持ちます。s3というシステムのランドマークスタディは、このアプローチの潜在性を実証しました。凍結されたLLMをサポートするために、小さな、専門化された「検索ツール」をトレーニングし、Search-R1のような完全に再トレーニングされたエージェントと同等のパフォーマンスを達成しましたが、70倍少ないトレーニングデータを使用しました。直感は、天才物理学者に図書館カタログの使用方法を再び教えるのではなく、物理学者のニーズを理解するより優れた司書をトレーニングすることです。

しかし、ツールボックスモデルには独自の制限があります。システム全体の能力は、最終的に凍結されたLLMの固有の推論によって制限されます。優れた外科医に、より鋭いメスを与えることはできますが、非外科医に心臓手術をさせることはできません。さらに、適応ツールのスイートを調整することは、複雑な統合課題になります。ツールAは、ツールBの入力要件に違反するメトリックを最適化する可能性があります。システムのパフォーマンスは、相互接続されたコンポーネントの繊細なバランスに依存します。

共適応の課題

これは、現在のAgentic AIパラダイムにおける適応の欠如の核心に来ます。私たちは、エージェントを適応させます。あるいは、ツールを適応させますが、両方を同時に、安定した方法で適応させることはできません。生産環境は静的ではありません。新しいデータ、新しいユーザーの要件、新しいツールが不断に登場します。AIシステムが、自分の「脳」と「手」をスムーズに、安全に進化させることができない場合、最終的には壊れてしまいます。

研究者は、この共適応の必要性を、次のフロンティアとして特定しています。ただし、これは複雑な課題です。エージェントとツールが同時に学習している場合、誰が失敗の責任を負うのでしょうか。どのようにして、エージェントとツールが、全体的なパフォーマンスを向上させることなく、互いの変更を追いかけ合う不安定なフィードバックループを防ぐのでしょうか。初期の試み、たとえば、エージェントとツールの関係を協力的なマルチエージェントシステムとして扱うことは、困難を明らかにしています。信頼性の高い解決策がなければ、適応と安定性のためのクレジットの割り当てがなければ、最先端のAgentic AIは、印象的なが、断片的な能力のセットのままです。

メモリを第一級システムとして

適応の欠如の最も目立つ兆候の1つは、静的なメモリです。多くのデプロイされたエージェントは、時間の経過とともに改善されません。彼らは同じミスを繰り返します。なぜなら、彼らは経験を内部化できないからです。各インタラクションは、最初のインタラクションであるかのように扱われます。

生産環境では、適応メモリが必要です。エージェントは、長期のタスクを処理するために、エピソードのリコールが必要です。計画を洗練するために、戦略的メモリが必要です。失敗を繰り返さないために、運用メモリが必要です。そうでない場合、エージェントはもろく、信頼できないように感じられます。

メモリは、パッシブなログではなく、調整可能なコンポーネントとして扱う必要があります。経験をレビューし、ミスから学び、行動を調整するシステムは、はるかに安定しています。

適応システムからの新しいリスク

適応は、独自のリスクをもたらします。エージェントは、目標ではなく、メトリックを最適化することを学習する可能性があります。これは、パラサイト適応として知られています。彼らは、根本的な目標を損なうながらも、成功しているように見えます。マルチエージェントシステムでは、妥協されたツールは、エージェントを操作する可能性があります。微妙なプロンプトインジェクションや、誤ったデータを使用して、エージェントを操作する可能性があります。これらのリスクを軽減するには、エージェントには、堅牢な検証メカニズムが必要です。アクションは、テスト可能で、逆転可能で、監査可能でなければなりません。エージェントとツールの間に、安全層を設けることで、ミスが秘密に伝播しないようにします。

結論

Agentic AIが現実の世界で機能するには、知能だけでは不十分です。適応できる必要があります。ほとんどのエージェントは、現在「凍結」されているため、失敗しています。現実の世界は複雑で、常に変化しています。AIがメモリを更新し、ミスから学ぶことができない場合、最終的には壊れてしまいます。信頼性は、完璧なデモから来るのではなく、適応能力から来ます。