Danish Nasir Shaikh, Machine Learning Engineer, Meta Danish Nasir Shaikh Machine Learning Engineer, Meta

AI智能体如何转变大规模推荐系统和AI

大规模推荐系统变得越来越难以改进，因为它们不再作为独立的模型运行。现代推荐系统通常包括数百个相互连接的模型、数据管道、排名层、监控系统和商业规则。每个组件可能优化不同的信号，但整个系统仍然需要改进更广泛的商业结果，例如收入、购买、参与度或最终用户满意度。下一个进步阶段集中在可以吸收更多系统上下文、减少开发摩擦并逐渐承担更广泛责任的AI智能体上。这一转变不仅仅是关于自动化。它是关于推荐系统可以监控、诊断、修复和改进自己，而不需要不断的人类干预。大规模推荐系统进化缓慢开发周期是大规模推荐系统中的主要瓶颈。一个小的改变可能需要经过多个层次才能产生可衡量的结果。一个模型可能影响候选生成，另一个模型可能影响排名，另一个模型可能优化参与度、转化或盈利。这些模型通常属于不同的团队，具有独立的部署周期，创建了隐藏的依赖关系，使得协调变得困难。这种复杂性也使得调试更加困难。当性能下降时，根本原因可能不在表现出回归的模型中。上游的改变可能影响下游的排名，或者用户行为的变化可能同时改变多个模型的数据分布。最近的技术工作反映了人们对能够跨越更广泛的技术背景和支持更自治的改进循环的系统的日益增长的兴趣，这加强了在这个领域使用AI智能体的理由。AI智能体提供了更快迭代的途径AI智能体可以减轻理解大型、相互连接的系统的负担，这些系统会减慢工程团队的速度。一个新工程师可能需要数月时间来理解一个大型推荐系统栈。有了正确的文档、遥测、实验、代码路径和日志，AI系统可以更快地处理更广泛的系统上下文。这并不意味着智能体已经准备好从头到尾拥有大规模推荐系统。今天的模型仍然面临信任限制。它们可能会产生幻觉、错过依赖关系或在上下文不完整时做出错误的假设。最强的早期用例是更狭窄的：检测回归、总结实验结果、比较模型行为、提出有限的修复或验证更改以满足已知目标。长期的愿景更加雄心勃勃。多个智能体可以分别在特定的垂直段上工作：数据质量、特征监控、排名性能、实验分析、回归检测或基础设施成本。一个更高层次的智能体可以协调这些信号并确定模型的失败或改进如何影响更广泛的推荐系统。智能体的研究工作表明，AI系统正在开始探索迭代研究和改进工作流程。安全采用取决于有界执行、验证和渐进式自治自治推荐工作流程在智能体在明确的边界内运行时变得更加可靠。团队可以限制智能体的访问权限，仅允许其访问批准的工具、工作流程、测试环境、仪表板、实验模板和回滚程序，而不是给予其对生产系统的无限制访问权限。这降低了不稳定变化、成本激增或循环推理的风险。一个实用的自治模型可以包括： 有界执行。智能体通过批准的工具、权限和工作流程运行，而不是开放的生产访问权限。 验证优先的开发。每个任务都有一个明确的起点、一个可衡量的结果和自动化测试来确认进展。 基于关键性的交接。低风险系统成为早期的智能体执行候选者，而高影响区域保留更严格的人类审查。 增量协调。可靠的子智能体可以稍后连接到更广泛的工作流程中，一旦每个组件表现出一致性。 这种方法偏爱在更广泛的系统所有权之前实现较小、可衡量的胜利。关于自治智能体的技术研究表明，在智能体执行复杂的技术工作时，结构化环境、任务分解和验证的重要性。在推荐系统中，这些原则转化为在更广泛的智能体协调之前进行受控的实验。组织需要合适的人才组合、运营模式和绩效衡量标准AI智能体并没有消除经验丰富的工程师的价值。它们增加了能够有效利用AI的工程师的价值。最强的个人简介是将深厚的专业知识与利用AI进行更快分析、实验和实施的能力相结合。两个人才群体变得尤为重要。基础设施专家构建智能体周围的框架：工具、护栏、工作流程、权限、可观察性和执行环境。机器学习（ML）研究人员指导优化逻辑、模型策略和算法方向。这些群体共同创造了智能体高效运行而不成为另一个脆弱系统的条件，这些系统需要人类不断维护。绩效衡量也发生了变化。指标可以分为一个等级制度。在顶部是滞后性的商业结果，例如收入、购买、转化或交易量。以下是领先指标，例如点击、浏览、滚动、观看时间或会话深度。在智能体级别，团队可以跟踪任务精度、成功率、失败率、完成时间和交互次数。这些智能体级别的指标变得有意义，当它们与业务影响联系起来时。克服模型限制自我改进推荐系统的未来取决于三个模型级别的进步：降低幻觉率、更大的可用上下文窗口和更强的推理。幻觉削弱了对自治决策的信心。上下文限制了智能体理解整个系统的能力。推理缺口使得连接一个模型中的变化与另一个模型中的结果变得更加困难，减少了系统更广泛的进步。如果这些限制得到改进，智能体可以从优化狭窄的任务转变为理解整个系统的行为，这包括检测回归、识别可能的原因、测试修复、监控结果和推荐下一个优化路径。关于自我改进和智能体系统的研究反映了更广泛的技术运动，即AI系统能够参与迭代改进循环。通往闭环智能的道路自我改进推荐系统代表了超越基本AI自动化的下一步。路线图从有界的智能体任务、强大的护栏、测试驱动的验证和人类判断在正确的控制点开始。随着时间的推移，小的自治胜利可以积累成更广泛的系统所有权，连接早期执行和后期自治。随着模型能力的改进，组织可以更接近推荐系统，可以监控、修复和优化自己，同时保持与有意义的商业指标的对齐。目标是AI不仅减少工程努力，还有助于维持其支持系统的性能，将技术进步与商业结果联系起来。