Xiaowei Jiang, TacnodeのCEO兼チーフアーキテクト Xiaowei Jiang TacnodeのCEO兼チーフアーキテクト

AIの記憶危機：デジタル暗黒時代を築いている

数百万のAIエージェントが本稼働システムに導入されています。ほとんどのエージェントは運用経験を共有できません。これがなぜアーキテクチャの選択が重要となるのか、それが正しい場合に何が変わるのかについて説明します。14時06分、顧客がオンラインでノートパソコンを注文します。チェックアウトエージェントは、運用データベースを照会します。購入履歴はきれいです。金額は正常範囲内です。配送先は以前に使用した住所です。デバイスと場所は最近の成功した注文と一致しています。すべて正常に見えます。エージェントは注文を承認します。同時に、行動エージェントはデータレイクハウス内のクリックストリームデータを処理します。セッションから、パターンを導き出します。ユーザーは直接チェックアウトURLに到達し、ブラウジングや比較行動はありません。このシグナルは単独では弱いですが、アカウントの乗っ取りシナリオでは、通常の購入と組み合わせて既知の前触れとなります。行動エージェントは、この解釈を後で分析およびモデル訓練のために導出された知識として記録します。チェックアウトエージェントはそれを見ません。シグナルが計算されなかったことや、無視されたことではなく、知識がチェックアウトエージェントが承認時に参照しないシステム内に存在するためです。各エージェントは、見える範囲内で正しく動作します。各エージェントは自分が所有するシステムに結論を書き込みます。しかし、1つのエージェントによって導かれた洞察は、他のエージェントが並行して動作している場合、決定時に不可視です。ノートパソコンは出荷されます。36時間後、請求が争われます。調査により、アカウントが前日乗っ取られたことが確認されます。攻撃者は、トランザクションを正常な範囲内に保ち、チェックアウトエージェントの決定コンテキスト外に存在する唯一の早期警告を利用しました。失敗は、データが不足していたこと、処理が遅かったこと、モデルが悪かったことではありませんでした。エージェントのシロ化でした。知識が形成されましたが、共有されませんでした。これは、ほとんど誰も話していない問題を明らかにします。決定を下すAIエージェントが他のAIエージェントがすでに発見したものにアクセスできないアーキテクチャを構築しています。印刷機が解決した問題印刷機の前に、知識は脆弱でした。学者が死んだとき、学んだものの多くも死にました。ロンドンの数学者が数十年かけて発見した原理は、50年後にパリの数学者によって独立して再発見されました。進歩はありましたが、ローカルで遅く、繰り返しリセットされていました。印刷機は、個人の知能を高めるものではありませんでした。知識を外部化しました。知識は、単一の心に結び付けられるのをやめ、創造者の生涯を超えて持続するようになりました。洞察は共有され、再訪問され、世代を超えて構築されるようになりました。那が進歩を積み上げることを可能にしました。私たちは、印刷機の前の間違いをAIで繰り返す危険にさらされています。ほとんどの組織は、現在、AIエージェントを本稼働システムに展開しています。多くの組織は、顧客サポート、ソフトウェア開発、研究、不正検出などの分野で積極的に実験をしています。これらのエージェントは、通常、モダンなマイクロサービスアーキテクチャに合わせて、独立したサービスとして展開され、それぞれが独自のデータと運用境界を持っています。同じ組織内でも、エージェントは独自の運用経験から洞察を導き出しますが、関連する決定を下す他のエージェントと知識を共有することはほとんどありません。結果として、運用的な洞察は断片化しています。ローカルの決定は改善するかもしれませんが、経験はシステム全体で蓄積しません。1つのエージェント内に閉じ込められたブレークスルーは、複合できないブレークスルーです。今回の制限要因は、知能や速度ではありません。それは記憶です。AIシステムが発見したものを外部化して共有する方法がない場合、進歩はリセットされるよりも積み上げられることが少なくなります。共有メモリが実際にどのようなものかより大きなコンテキストウィンドウは、個々の推論を豊富にしますが、エージェント間で持続的な経験を生み出すわけではありません。共有メモリは、モデルを改善することではなく、エージェントが決定時に見ることができるものを変更することで、結果を変えます。シロ化されたシステムでは、各エージェントは独自の境界内で正しく推論します。チェックアウトエージェントはトランザクションリスクを評価します。行動エージェントはクリックストリームパターンを分析します。各エージェントは、結論を自分が所有するシステムに書き込みますが、その結論は、並行して動作している他のエージェントには不可視です。決定はローカルでは正しいですが、グローバルでは不完全です。共有メモリレイヤーがある場合、その境界は消えます。行動エージェントがセッションを処理すると、意味のあるシグナルが導かれます。アカウント乗っ取りの初期試みに関連するナビゲーションパターンです。オフライン分析のためにその洞察を保存するのではなく、行動エージェントは、シグナルをアクティブなセッションにリンクして共有メモリに書き込みます。その後すぐ、チェックアウトエージェントが購入を評価すると、同じメモリを照会します。トランザクションはまだ正常に見えます。しかし、追加のコンテキストが見えるようになります。行動警告が存在することになります。それがなければ、存在しなかったでしょう。どちらのシグナルも単独では決定的なものではありません。しかし、ともに、さらに検証するためのしきい値を超えます。エージェント自体に何も変化はありません。モデルは再訓練されません。中央のコントローラーは介入しません。違いは、可視性にあることです。1つのエージェントによって形成された洞察が、もう1つのエージェントに、まだ重要である間に利用可能になります。重要なのは、その洞察が持続することです。結果が後にわかると、シグナルと結果の関連付けが記録されます。時間の経過とともに、システムは、どの弱い指標が重要であるか、また、どのような条件下で重要であるかという経験的記録を蓄積します。将来の決定は、単一のインタラクションやエージェントを超えた経験によって情報を得ます。共有メモリは、データウェアハウスでも運用データベースでもありません。低遅延の基盤であり、シグナル、解釈、関連付けが、生み出したインタラクションを超えて存続し、他のエージェントによって関連する決定時に照会可能です。これが経験が複合する方法です。単一のモデル内ではなく、システム全体でです。エージェントシロの背後にあるアーキテクチャトレードオフエージェントシロは、実装ミスではありません。エンタープライズアーキテクチャが、別の種類の消費者を念頭に設計された結果です。数十年間、生産システムは、機能別にワークロードを分離しました。運用システムは、低遅延、一貫性のあるトランザクションに最適化されました。一方、分析システムは、大規模な集約と歴史的なパターンの発見に最適化されました (OLTP vs. OLAP)。この分離は、洞察がどのように消費されるかを反映していたためです。分析結果は、人間のために生成され、決定の重要なパス外で非同期的に到着することが期待されていたためです。AIエージェントは、このアーキテクチャ分離を継承しますが、適していません。結果は、単に遅れた洞察だけではありません。構造的な盲点が生じます。分析システムで生成された洞察は、設計により、リアルタイムの決定がすでに下された後で発見されます。シグナルは存在しますが、決定時に表面化できないため、自動的な意思決定者によって継続的に照会されることを意図していないシステムに存在します。アーキテクチャは壊れてはいません。ただし、自律システムの要件に合っていないのです。未発見の分野：コンテキストエンジニアリング共有メモリは、ほとんどのチームが解決する準備ができていない問題を導入します。どの経験が持続するべきかを決定することです。AIシステムは、生の経験を大量に生成します。トランザクション、クリック、メッセージ、アクション、結果です。すべてを保存することは、実用的でも有益でもありません。意図的な選択がない場合、共有メモリはノイズになります。課題は、データを収集することではなく、他のエージェントが使用できるコンテキストに経験を形作ることです。これがコンテキストエンジニアリングの役割です。コンテキストエンジニアリングは、観察が持続的なシグナルになるかどうか、また、シグナルがどのように表現されるか、また、他のエージェントにいつ公開されるかを決定することです。生のイベントとエージェントの推論の間に位置し、瞬間的なアクティビティを共有された、意思決定に関連する理解に変換します。実践では、パターン、指標、条件付き関連付けを優先し、生の経験のほとんどを消えさせます。弱いシグナルまたはエッジケースは、単独では重要ではないかもしれませんが、蓄積され、適切なタイミングで提示されれば、貴重なものになります。コンテキストエンジニアリングは、共有メモリが単に経験を保存するのではなく、経験を複合できるかどうかを決定します。これを正しく行うと何が起こるかこれは将来の懸念事項ではありません。インフラストラクチャチームによって今日行われているアーキテクチャ上の決定です。デフォルトパスは分離です。AIエージェントは独立して動作し、独自の経験のみに依存します。各エージェントは、ローカルでは正しい決定を迅速に下しますが、知能は頭打ちになります。同じエッジケースが繰り返され、弱いシグナルは再発見され、失敗はより速く、より多く繰り返されます。代替案は共有メモリレイヤーです。導出されたコンテキストが持続し、決定時に可視化される場合、経験は蒸発しなくなります。洞察は、1つのインタラクションやエージェントを超えて利用可能なままです。弱いシグナルは、蓄積によって意味を持ちます。決定は、モデルが変わることではなく、エージェントが孤立して推論しないことによって改善されます。これには、大きなモデル、リアルタイムの再訓練、または集中管理は必要ありません。メモリを、低遅延アクセス、持続性、共有の可視性を備えた、第一級のアーキテクチャレイヤーとして扱う必要があります。アーキテクチャのデフォルトは、すぐに固まります。共有メモリなしで構築されたシステムは、エージェントが増えるにつれて、後から修正することが難しくなります。選択は簡単です。経験を蓄積するシステムを構築するか、または常にリセットされるシステムを構築するかです。