Connect with us

思想领袖

维护陷阱:为什么 AI 振动测试是 QA 的未来

mm

人工智能已经改变了软件创作的节奏。借助 GitHub Copilot 和 ChatGPT 等工具,代码现在可以在几分钟内生成,而不是几周,界面几乎每天都在演变。然而,在这种加速的同时,质量保证,这个原本应该保护可靠性的学科,已经成为行业中最关键的瓶颈。开发人员曾经称之为自动化的东西,现在看起来越来越像手动操作。测试不再是因为应用程序崩溃而失败,而是因为测试套件本身失败。

问题不在于我们的工具,而在于我们的假设。多年来,行业一直将 QA 视为一种程序化的练习,一系列的点击、检查和验证。这种思维方式在软件发展缓慢时是有意义的,但现在已经不再适用了。新的开发速度要求测试能够像它所保护的代码一样快速地适应。我称之为振动测试的演变,这是一种质量保证,它理解意图,解释上下文,并对变化做出反应,而不是在变化面前崩溃。

数字凸显了紧迫性。全球软件测试市场 2023 年超过 51.8 亿美元,预计到 2032 年每年增长 7%。仅自动化测试市场 2023 年价值 28.1 亿美元,预计到 2028 年将达到 55.2 亿美元,复合年增长率为 14.5%。尽管做出了这些投资,QA 团队仍然陷入被动循环中。自动化曾经承诺速度,但往往带来了脆弱性。麦肯锡公司指出,虽然 AI 启用的软件开发从根本上改变了产品的构建方式,并增加了交付速度,但也 给测试和质量实践带来了额外的压力,以跟上这种速度。

自动化的破碎承诺

在各个组织中,同样的模式不断重复。团队花费他们的时间来修复脆弱的脚本,这些脚本由于与产品质量无关的原因而失败。用户界面中的一次变化,例如按钮重命名、布局更改或添加步骤,可以使数百个测试失败。每一次修复都会产生更多的维护。这导致自动化成为它原本想要消除的东西,即重复劳动。

程序化自动化是建立在这样的假设之上的:界面保持稳定,用户旅程保持可预测。这种假设在持续部署、A/B 测试和实时个性化面前已经不再成立。现代系统的设计初衷就是流动的。QA 只能通过学习解释行为和意义,而不是静态的屏幕坐标,才能跟上这种变化。

这就是维护陷阱。原本应该加速开发的自动化实际上减慢了开发速度,因为维护的开销增长速度比交付的价值更快。这种悖论是现代软件工程的一个重大失败。

为什么生成式 AI 没有抓住重点

生成式 AI 的崛起让许多人在这个领域抱有希望,认为救星即将到来。如果 AI 可以编写代码,当然也可以测试它。但是现实却更为谦逊。大多数所谓的“AI for QA”工具仍然依赖于脆弱的逻辑。它们可以比人类更快地生成脚本,但这些脚本仍然受制于一直以来都失败的选择器和依赖关系。因此,一项综合性的学术研究表明,尽管人们对 AI 启用的测试广泛感兴趣,但 在测试团队中的实际采用仍然有限

这些系统加速了编写测试的过程,但没有改变保证质量的过程。它们可以快速生成 Selenium 脚本,但当 UI 元素移动或变量名称更改时,它们仍然会失败。虽然 AI 测试工具确实存在,包括来自已经在这个领域推动发展的公司,但更广泛的行业转变尚未实现。目前的大多数解决方案仍然专注于代码生成,而不是理解意图。

从脚本到语义

真正的转变需要能够理解为什么交互很重要的 AI 系统,而不仅仅是如何执行。振动测试超越了程序化的准确性,转向了体验式的理解。它不再只是验证“按钮 A 引导到页面 B”,而是评估“用户是否实现了预期的结果,即使界面已经改变”。

当一个银行应用程序重新设计其登录流程时,传统的测试套件会崩溃,而振动测试系统会识别意图,然后找到新的路径,验证结果,并自主继续。这种差异决定了 QA 是否能够促进创新还是阻碍它。

这种方法减少了不稳定性,降低了维护开销,并让 QA 团队专注于探索性测试和新功能,而不是修复破碎的脚本。在大规模上,这不仅是一种技术转变,也是一种经济转变。

意图的经济学

在金融服务领域,监管更新不断,基于意图的测试使得合规验证在不成比例扩大 QA 团队的情况下变得可扩展。Capgemini、Sogeti 和 OpenText 的世界质量报告描述了 如何让质量工程团队转向 AI 和更智能的自动化,仅仅是为了跟上更快的交付周期和日益复杂的系统。

在电子商务中,界面通过 A/B 实验和个性化不断演变,采用基于意图的方法的公司在三个月内将测试维护时间减少了大约 40%。管理多个部署环境的企业 SaaS 提供商正在使用相同的逻辑来维护所有变体的质量,而不会产生令人压倒的开销。

这些模式表明,我们并不是在谈论渐进式的改进。我们正在谈论 QA 中什么是经济上可行的根本转变。

自治未来的护栏

没有一个范式转变是没有警告的。即使能够自行重建和重构的系统,也仍然需要人类的监督。AI 如果没有在正确的上下文中训练,可能会误解领域逻辑。QA 领导者必须保持严格的验证过程,特别是在监管领域,错误可能带来真正的风险。

可解释性和可追溯性也变得至关重要。随着 QA 变得更加智能,每个测试必须记录它如何演变以及为什么通过或失败。在银行和保险领域,这种可审计性的水平是一项监管要求。

智能系统在主要的用户流程中表现出色,但可能会错过罕见或风险关键的案例。安全漏洞、合规场景和数据完整性边缘案例仍然依赖于人工编写的测试和深入的领域专业知识。文化抵抗仍然存在。深陷 Selenium 或 Cypress 工作流程的团队不会在一夜之间转变。转变需要投资于培训、变革管理和明确的价值证明。

向自适应 QA 转变

最有效地采用振动测试的公司共享一个共同的模式。它们从小开始,通常在传统套件旁边试点一个高变化的应用程序区域。它们仔细测量结果,跟踪维护时间和不稳定性率,只有在结果被证明是可持续的之后才扩大。它们投资于帮助 QA 工程师从脚本编写者演变为意图模型和质量总监,而不是执行者。它们将自适应 AI 直接集成到 DevOps 流水线中,以便测试在代码更改时进行调整,而不是在代码更改时崩溃。

更大的教训是哲学和技术的结合。我们所实践的自动化试图通过控制来消除不确定性。振动测试接受变化是恒定的,并为其设计。它将测试视为开发结束时的一个门槛,而不是代码、用户和系统之间的活跃对话。结果是软件在演变的同时保持其完整性。

质量保证现在站在一个十字路口。一个路径将我们引向维护陷阱的深处,那里脚本层出不穷,创新停滞不前。另一个路径则通向自适应、基于意图的测试,软件能够理解自身的行为。选择将决定哪些组织能够跟上 AI 加速的未来,哪些将停滞在调试过去的过程中。

QA 的下一个十年将不再由自动化的程度来衡量,而是由我们对其的理解程度来衡量。胜利者将是那些建立能够感知其产品脉搏、即“振动”,并相应地适应的系统的组织。

Tal BarmeirBlinqIO 的联合创始人和CEO,BlinqIO 是第一个为 Playwright 基础的自动化构建的 AI 测试工程师。它自动生成、运行和维护测试,引入 Vibe Testing —— 与其测试的软件同步演进的 AI 驱动验证。

她还联合创立并担任 Experitest 的 CEO,Experitest 是一家被 TPG (NASDAQ: TPG) 收购的 SaaS B2B DevOps 公司。在此之前,Tal 曾在 Accenture (伦敦,NYSE: ACN) 和 Comverse (以色列) 担任过各种领导职位,包括服务部门的市场营销负责人和高科技战略经理等。