江晓伟是Tacnode的CEO和首席架构师,在那里他专注于为AI代理构建上下文基础设施。
数百万个AI代理正在进入生产系统。几乎没有一个可以共享运营经验。这就是为什么这种架构选择很重要——以及如果我们做对了会发生什么变化。在下午2:06,一个客户在线下单购买了一台笔记本电脑。结账代理查询其运营数据库:干净的购买历史,金额在正常范围内,之前使用过的送货地址,设备和位置与最近的成功订单一致。所有看起来正常。代理批准了该订单。同时,一个行为代理处理数据湖中的点击流数据。从会话中,它推导出一个模式:用户直接进入深度结账URL,没有浏览或比较行为。这个信号本身很弱,但当与其他正常购买结合时,它是账户接管情景中的已知前兆。行为代理将此解释记录为稍后分析和模型训练的推导知识。结账代理永远不会看到它。不因为信号没有被计算出来,也不因为它被忽略了——而是因为知识存在于结账代理在授权期间不查询的系统中。每个代理在其自身的边界内表现正确。结账代理评估交易风险。行为代理分析点击流模式。每个代理将其结论写入它拥有的系统,并且这些结论对其他代理在平行运行时是不可见的。决定是局部正确的,但在全局上是不完整的。笔记本电脑被发货了。36小时后,收费被争议。调查确认账户早些时候被泄露。攻击者保持了交易在正常范围内,依赖于唯一的早期警告存在于行为代理的决策背景之外的知识中。失败并不是因为缺少数据、处理速度慢或模型不好。它是一个代理隔离区:知识被形成,但没有被共享。这暴露了一个几乎没有人在谈论的问题。我们已经构建了架构,使得做出决定的AI代理无法访问其他AI代理已经发现的内容。印刷机解决的问题在印刷机出现之前,知识是脆弱的。当一位学者去世时,他所学到的知识也会随之消失。伦敦的一位数学家可能会花费几十年时间发现某些原理,而巴黎的一位数学家可能会在50年后独立地重新发现这些原理。进步是真实的,但它是局部的、缓慢的,并且反复重置。印刷机没有使个人变得更聪明。它外部化了记忆。知识不再被束缚于单个思想,并开始在其创造者生命周期之外持续存在。见解可以被共享、重新审视和在几代人中建立起来。这就是进步可以积累的原因。我们有可能在AI中重复印刷机前的错误。大多数组织现在正在生产系统中部署AI代理,许多组织在客户支持、软件开发、研究和欺诈检测等领域积极尝试。这些代理通常被部署为独立服务,符合现代微服务架构,每个代理都有自己的数据和运营边界。即使在同一组织内,代理从自己的生产经验中推导出见解,但很少与其他代理共享他们所产生的知识。结果是,运营见解仍然零碎。局部决策可能会改善,但经验不会在系统中积累。每个被困在单个代理中的突破都是一个无法积累的突破。这次,限制因素不是智力或速度。它是记忆。没有外部化和共享AI系统发现的内容的方法,进步会更频繁地重置,而不是积累。共享记忆的真实面貌更大的上下文窗口可以丰富个体推理,但它们不会创建共享的、持久的经验。共享记忆通过改变代理在决策时可以看到的内容来改变结果,而不是通过改进模型。在隔离的系统中,每个代理在其自身的边界内表现正确。结账代理评估交易风险。行为代理分析点击流模式。每个代理将其结论写入它拥有的系统,并且这些结论对其他代理在平行运行时是不可见的。决定是局部正确的,但在全局上是不完整的。有了共享记忆层,这个边界就消失了。当行为代理处理会话时,它推导出一个弱但有意义的信号:一个与早期账户接管尝试相关的导航模式。与其仅将该见解存储用于离线分析,它将信号写入共享记忆,并将其链接到活动会话。片刻后,当结账代理评估购买时,它查询相同的记忆。交易仍然看起来正常。但现在它看到额外的上下文:一个行为警告,否则将会缺失。没有一个信号单独决定,但当它们结合在一起时,它们会超过进一步验证的阈值。代理本身没有改变。没有模型被重新训练。没有集中控制器介入。区别在于可见性:一个代理形成的见解在仍然重要的时候变得可供其他代理使用。关键是,这个见解是持久的。当结果稍后被知道——欺诈或合法——信号与结果之间的关联被记录。随着时间的推移,系统积累了一个经验记录,表明哪些弱指标往往很重要,以及在什么条件下。未来的决策是基于超出任何单个交互或代理的经验。共享记忆不是数据仓库,也不是运营数据库。它是低延迟的衍生上下文的基质:信号、解释和关联,它们在产生它们的交互之后幸存下来,并且可以被其他代理查询,这些代理做出相关的决策。这就是经验如何积累的——不在任何一个模型中,而是在整个系统中。代理隔离区背后的架构权衡代理隔离区并不是实现错误。它们是面向不同类型消费者的企业架构的可预测结果。几十年来,生产系统一直根据功能分离工作负载。运营系统针对低延迟、一致的交易进行了优化,而分析系统则针对大规模聚合和历史模式发现进行了优化(OLTP vs. OLAP)。这种分离反映了见解的消费方式:分析结果是为人类而非机器产生的,因此预计会异步地和在决策的关键路径之外到达。AI代理继承了这种架构分离,但它们不适合这种分离。结果不仅仅是延迟的见解,还有结构性的盲点。分析系统中产生的见解由于设计原因,在实时决策已经做出之后才被发现。可以改变结果的信号存在,但由于它们驻留在不打算被自治决策者持续查询的系统中,因此无法在决策时被提取出来。架构并没有坏掉。它只是与自治系统的要求不匹配。缺失的学科:上下文工程共享记忆引入了大多数团队尚未准备好解决的问题:决定哪些经验应该持续。AI系统生成了大量的原始经验——交易、点击、消息、操作、结果。持久化所有这些经验既不实用也不有用。没有刻意的选择,共享记忆就会变得杂乱无章。挑战不在于收集更多的数据,而在于将经验转化为其他代理可以使用的上下文。这是上下文工程的作用。上下文工程是决定哪些观察结果成为持久信号、如何表示这些信号以及何时将它们暴露给其他代理的学科。它位于原始事件和代理推理之间,将暂时的活动转化为共享的、决策相关的理解。在实践中,这意味着提升模式、指标和条件关联,同时允许大多数原始经验消退。一个弱信号或边缘情况可能在孤立中并不重要,但当累积和在正确的时刻被提取出来时,它变得有价值。上下文工程决定共享记忆是否仅存储经验,还是使其能够积累起来。如果我们做对了会发生什么这不是一个未来问题。这是一个今天正在被基础设施团队做出的架构决策。默认路径是隔离。AI代理独立运行,仅依赖于自己的经验。每个代理做出快速、局部正确的决策,但智能达到瓶颈。相同的边缘情况反复出现,弱信号被重新发现,失败以更快的速度和更大的规模重复出现。另一种选择是共享记忆层。当衍生上下文持续存在并在决策时可见时,经验停止蒸发。见解被发现一次后仍然可用。弱信号通过积累获得意义。决策不会因为模型改变而改善,而是因为代理不再孤立地推理。这不需要更大的模型、实时重新训练或集中控制。它需要将记忆视为第一类架构层——设计用于低延迟访问、持久性和共享可见性。架构默认值会迅速硬化。没有共享记忆的系统会变得越来越难以在代理数量增加时进行改造。选择很简单:构建积累经验的系统,或者构建不断重置的系统。