思想领袖
为什么从一开始就要把测试纳入 AI 装配线

要点AI加快了编码速度,但暴露了下游测试的薄弱环节,并降低了交付稳定性。
查看更多
- AI加快了编码速度,但暴露了下游测试的薄弱环节,并降低了交付稳定性。
- 自行评判自身测试的智能体可能通过修改失败的测试而非修复代码来作弊。
- 测试必须成为CI之外的一个独立环节,以便每项变更都面对相同的裁决。
二十多年来,我一直在开发测试工具。在这段时间的大部分时候,我和工程团队的交流听起来都大同小异。测试人员在软件生命周期中仿佛低人一等。测试往往开始得很晚,通常只能挤占发布前剩下的时间;而且,测试还会被塞进原本为其他用途搭建的 CI 流水线。如今,AI 已经改变了我们编写代码的方式,而它对测试的影响确实存在,既有好的一面,也有坏的一面。从很多方面来看,AI 让这个挑战变得更加显而易见。
过去几个月,我参加了几场测试和云原生领域的会议(LeadDev、CloudX、StarWest)。我交流过的团队几乎都在推进某种形式的同一类项目:打造由 AI 驱动的软件交付生命周期,让智能体从规格说明出发,在适度的人为参与下,完成工作并将成果投入生产环境。我把它想象成一条装配线:一些智能体编写代码,另一些智能体审查代码,流水线负责构建和部署。人类则在一旁留意进展。相比之下,我很少听到有人谈论测试在这条流水线中处于什么位置。
目前还没人真正摸清门道
眼下,这个领域多少有点像蛮荒西部。每隔几周就会出现新的智能体能力,大型 AI 实验室不断推出新模型,团队和供应商也都在不断尝试各种方案,看看哪些行得通。
一些数据表明,相关短板已经开始显现。Google 最新发布的关于 AI 辅助软件开发的 DORA 报告调查了近 5,000 名技术从业者,结果发现,采用 AI 与更高的软件交付吞吐量相关,这是个好消息。但它仍然与较低的交付稳定性相关。研究人员解释说,AI 加快了开发速度,也暴露出更下游环节的薄弱之处;他们指出,强有力的自动化测试是防止变更多了、系统不稳定性也随之增加的控制措施之一。
我对此并不意外。如果你把大量代码送进一个原本为处理少得多的代码而设计的流程,某个环节就会变慢,或者某个环节就会出问题。
开发者的速度更快了,但大多数发布并没有加快
人们想象 AI 生成的代码会出什么问题时,往往会想到某个智能体把糟糕透顶的东西推送到生产环境。我相信这种情况确实会发生,而且一旦发生,后果并不妙:出现漏洞、客户不满,甚至可能引发安全事件。不过,说实话,这并不是我大多数时候遇到的情况。
2026 年 Stack Overflow 开发者调查显示了当前 AI 使用主要集中在哪些方面。开发者主要用 AI 在自己熟悉的领域生成代码(67%)和调试(61%),只有 20% 的人用它来部署、运维或排查生产系统的问题。到目前为止,AI 主要加快了代码编写速度。代码的验证和部署仍大体沿用过去的方式。
这也符合我的观察:团队产出的代码多了很多,发布速度却没有加快。个别开发者或团队可能觉得自己开发的功能数量翻了一番,但这些功能会卡在下游环节,等待审查、等待测试,或者等待可供测试的环境。额外增加的代码堵塞了流水线,在许多情况下甚至拖慢了团队的整体交付速度。
管理者提出的都是关于防护措施的问题
尽管 AI 导致交付瓶颈的担忧十分现实,但这并不是团队向我们提出的唯一问题。开发者主要想知道如何更快地写出更好的代码。关于防护措施的问题,则来自工程经理和负责搭建智能体驱动工作流的人。我们怎样才能确保智能体不会失控?怎样才能知道它们没有引入回归问题,也没有悄悄跳过本该完成的工作?我们怎样才能确保它们编写的测试确实(而且确凿无误地!)验证了应当验证的内容?
我认为这是因为他们关注的层面不同。开发者一次只看一个拉取请求。工程经理则要对多个智能体和多个人员所发布的一切负责;如果生产环境出了问题,也得由他们作出解释。
他们谨慎行事是有理由的。研究人员设计了一项名为ImpossibleBench的基准测试,其中的编码任务故意让单元测试与规格说明相互矛盾,因此要想通过测试,唯一的办法就是作弊。领先模型往往真的会这么做,例如修改或删除失败的测试,而不是修复代码(!!)。另一项关于智能体编写的拉取请求的研究发现,智能体测试自身变更的能力存在不足;该研究还引用了早期研究,指出近三分之一合并的智能体拉取请求都需要后续修复或重构。
我的结论是,防护措施不能只存在于智能体自身的环境中,也不能等代码发布后才实施。如果编写代码的智能体也负责判定代码是否通过测试,那么这个结果说明不了多少问题。这并不意味着不该让智能体编写测试,而是说,测试结论必须来自智能体无法修改的地方。测试需要成为流水线上的独立工位,每一项变更都必须经过这里,无论它是由人还是智能体编写的。
这个工位需要具备什么
答案并不是什么全新的测试方法。所需的大部分做法,优秀的 QA 团队一直以来都在倡导。只是现在这些做法变得更加重要了。
测试需要像被测代码一样,根据需求审查其准确性。测试还需要在软件实际运行的环境中执行。在智能体的沙箱中通过的测试,对于预发布环境或生产环境的情况说明不了多少,而且可能会掩盖哪些依赖项被模拟了出来——以及它们是如何被模拟的。一项针对近 18 万个智能体生成的测试文件开展的研究发现,与人工编写的测试相比,智能体覆盖了更多边缘情况,但其测试表现出更多不稳定的迹象,这主要是因为智能体对测试将要运行的环境了解不足。尽早在真实基础设施上运行测试,就能发现这些问题。
测试及其结果需要留存。如果智能体编写测试,就应该让它参考现有测试及其结果,从中了解测试覆盖情况和潜在的不稳定性。测试需要像其他代码一样接受审查并纳入版本管理,这样代码发生下一次变更时,测试就能再次运行,而不会在会话结束后消失。
无论是谁发起的,通过测试都应该代表同一件事,无论发起方是流水线、开发者还是智能体。这意味着使用相同的测试,在相同的基础设施上运行,并将结果集中在同一个地方。
人也应该保留自己的判断力。我很乐意让智能体处理样板工作和连接配置。但决定哪些内容值得测试,以及失败意味着什么,仍然是人的工作(至少目前如此……)。
这也意味着,测试不能只存在于 CI/CD 流程中(如果你只记住本文的一点,就记住这一点!)。CI 流水线的设计初衷是构建和交付代码,从来不是为了大规模运行自动化测试。随着我们转向智能体化的软件开发生命周期(SDLC),代码量也持续增长,CI 就更不适合用来运行测试了。测试应该成为软件交付流程中的核心环节,而不是附加在流水线末尾的一步。这意味着要把测试作为一个独立系统进行编排,覆盖团队使用的每种工具和环境,不论操作者是智能体还是人。
从何处着手
大多数团队已经在 Playwright、Cypress、k6、Postman 或其他标准化采用的工具中积累了值得信赖的测试,这正是很好的起点。我建议从以下几方面着手:
- 梳理一项变更从提示词到生产环境的整个流程,并标出每个运行测试的环节。如果只有一个测试环节,而且位于流程接近末尾的位置,我会从这里开始。
- 谨慎对待智能体在不知情的情况下修改现有测试的情况。ImpossibleBench 的研究人员发现,限制智能体访问测试可以减少作弊行为。如果智能体确实需要修改测试,修改应通过拉取请求提交,并由人工像审查其他代码一样进行审查。
- 尽可能早地在测试环境(最好是真实环境)中运行测试,而不是在智能体沙箱中运行。即使每次智能体生成变更后,只针对预发布环境运行一小组冒烟测试,也有帮助。如果你使用 AI 编写测试,在测试实际运行之前,不要接受它。
- 将测试结果集中到一个控制平面中,可以是报告工具、APM 解决方案,也可以是专用测试平台。确保人和智能体都能访问这些结果。
- 衡量交付情况,而不是活动量。拉取请求的数量说明不了多少。DORA 的交付指标,例如变更前置时间和变更失败率,更能说明 AI 是否发挥了作用。
- 让智能体使用与你的团队成员相同的测试基础设施,这样它们的工作也能按照同一标准接受检查。
保持乐观,但要有条件
谈到 AI,我是个乐观派;我认为它能显著提升软件团队的能力,并最终提高生产力。但要实现这一点,团队必须足够信任智能体的产出,敢于将其交付出去;同时,还需要在智能体化的软件开发生命周期中采用全面的测试方法——信任正是在这里建立或丧失的。
如果你正致力于实现智能体化的软件开发生命周期,那么测试如今在其中处于什么位置?












