人工智能

因果 AI 如何建立能够推理的 AI 模型,而不仅仅是反应

mm

数十年来,人工智能在识别数据中的模式方面取得了巨大的进步。机器学习模型可以预测客户行为、预测市场趋势或识别医疗风险,具有很高的准确性。但是,这些系统通常无法解释为什么事件发生。它们依赖于相关性,这不能区分真实的原因和偶然的巧合。这一局限性使得 AI 反应性,无法适应不断变化的条件,也无法推理干预措施。因果 AI 解决了这一问题。它使得机器能够理解因果关系,这对于机器具有真正的推理能力至关重要。这一能力使得系统能够模拟“假如”情景,评估反事实,并提供可解释的决定。随着组织要求更可靠的 AI,因果方法正在各个行业中获得关注。

相关陷阱

传统的机器学习通过在数据中找到统计联系来运作。如果服用某种药物的患者恢复得更快,算法就会学习这种关联。虽然这种方法在图像识别、语言翻译和推荐系统方面取得了显著的进步,但它有一个致命的缺陷。它无法区分因果和巧合。这一无能为力创造了一个关于底层机制实际如何运作的危险盲点。例如,一种广泛使用的算法旨在识别需要额外护理的患者,学习了医疗支出预测医疗需求。然而,当分析了 2 亿美国人的数据时,发现这种相关性忽略了系统性偏见。针对黑人美国人的医疗支出低于具有类似病症的白人美国人,这是由于系统性因素造成的。算法对这一因素视而不见,低估了黑人患者的护理需求。其他领域也发生了类似的失败。在刑事司法中,COMPAS 算法将种族与再犯风险相关联,导致有偏见的判决。在农业中,AI 可能将土壤湿度与炎热的日子相关联,并建议在热浪期间不要进行灌溉,这可能是一个灾难性的建议。在医疗保健中,AI 系统可能会学习到哮喘患者如果也患有肺炎,恢复得更快。然而,这种模式忽略了这些患者因为被认为处于高风险状态而接受更强化治疗的原因,而不是因为哮喘在恢复中有帮助。

Pearl 的因果阶梯

图灵奖获得者、因果推理的先驱 Judea Pearl 通过他的因果阶梯框架了因果 AI。这一阶梯概述了三个不同的推理层次。第一个层次是关联。这是传统 AI 运作的地方,通过观察数据中的模式或相关性。它回答诸如“哪些症状与疾病相关?”之类的问题。第二个层次是干预。它询问“如果我做 X 会发生什么?”这需要了解主动改变一个变量如何影响其他变量。它是观察到收到电子邮件的客户购买更多东西和知道电子邮件是否导致了购买之间的区别。最高层次是反事实推理。它涉及询问“如果我做了不同的事情会发生什么?”这需要想象替代场景,并且对于问责和学习至关重要,例如确定是否有不同的治疗方法可以挽救患者的生命。因果 AI 在所有三个层次上运行。它建立了不仅仅代表数据中的模式,而是代表生成这些模式的潜在因果机制的模型。

因果 AI 如何建立能够推理的模型

因果 AI 的实际实现涉及三个关键组件:

结构因果模型 (SCM):这些模型依赖于方程来描述生成数据的因果机制。这种方法使得 AI 能够对生成数据的底层过程进行建模,而不是学习表面上的模式。

有向无环图 (DAG):这些视觉表示使用节点和箭头来明确定义因果假设。它们帮助专家识别混杂变量并验证模型的逻辑。

“Do”-微积分:这种由 Pearl 开创的数学运算符正式区分了观察 P(Y|X)和干预 P(Y|do(X))。它提供了使用数据回答“假如”问题的机制。

该框架使得 AI 系统能够在发生之前模拟干预并推理假设。它重新定义了 AI,从观察世界的工具变成了帮助我们理解世界的工具。

工具正在成熟

可访问的软件工具的开发也在促进因果 AI 的加速。Microsoft 的 DoWhy 框架是一个开源的 Python 库,它实现了一个原则性的四步工作流,包括建模因果关系、识别因果效应、估计效应和驳斥假设以测试稳健性的工具。这种结构化的方法解决了一个关键挑战:不同的研究人员可能会做出不同的因果假设。DoWhy 通过因果图帮助定义这些假设,并提供工具来测试结论的敏感性。

因果 AI 的成熟可以从其加速的市场增长中看出。分析师预测,全球因果 AI 市场将从 2025 年的约 6300 万美元增长到 2035 年的 16 亿美元,复合年增长率超过 38%。这种增长是由认识到理解因果关系提供了竞争优势所驱动的。对可解释性 AI(XAI)的日益增长的需求也是一个主要驱动因素。像 EU 的 AI 法规这样的法规要求对决策提供透明的解释。因果模型自然提供了这种解释,通过清晰的因果路径来阐明不仅是什么决策被做出,还有为什么会做出这样的决策。

关键优势:稳健性和可信度

因果 AI 的一个关键优势是其对不断变化的条件的稳健性。当环境从训练到部署发生变化时,传统模型通常会灾难性地失败,因为它们学习的相关性会崩溃。一个基于相关性的作物产量模型可能会学习到高土壤湿度预测高产量。但是,如果这种相关性在训练数据中是由灌溉习惯混淆的,那么该模型将在部署到新区域时失败。

因果模型则不同。通过学习底层机制,它们识别出在环境中持续存在的稳定关系。它们理解为什么湿度很重要,而不仅仅是它与产量相关。研究表明,在数据集的分布发生变化时,因果模型保持性能,而传统模型的准确率可能会下降超过 20 个百分点。

此外,因果 AI 解决了黑盒问题。与不透明的神经网络相比,因果图和路径提供了明确的解释:“改变 X 导致 Y 通过 Z”。这种能力对于部署 AI 在高风险领域至关重要,现在这种要求已经在法规中编纂,例如 EU 的 AI 法规。因果 AI 还有助于通过将虚假相关性(例如,种族和结果)与歧视性原因区分开来来减轻偏见。

各行业的现实影响

转向因果推理已经在各个行业中带来了价值。在医疗保健领域,Kaiser Permanente 使用因果 AI 来识别患者再次入院的根本原因,使得能够实施有针对性的干预措施,例如个性化的药物提醒,这已经显著提高了依从性。在制药领域,公司使用因果 AI 来识别哪些分子靶点实际上导致疾病进展,而不仅仅是与其相关。这通过模拟干预措施在昂贵的临床试验之前加速了药物发现。在制造业中,因果模型对生产线执行根因分析。当质量下降时,系统会追踪原因是否在于机器设置、材料缺陷或上游流程,为工程师提供了可行的见解。在金融领域,银行使用因果推理来理解信用违约的真正驱动因素,而不仅仅是相关性。这使得他们能够设计干预措施,例如调整付款时间表,以解决财务困境的根本原因。

自主车辆是因果 AI 最具挑战性的应用之一。虽然相关性模型可以识别行人,但因果模型可以推断出行人为什么会过马路、追逐球或避开障碍。这种对意图和因果关系的理解对于在动态环境中安全导航至关重要。

结论

依赖相关性的 AI 时代即将结束。通过建立能够理解事物发生原因的模型,因果 AI 提供了可靠的“假如”分析、对不断变化的条件的抵御能力以及现代商业和法规所要求的可解释性的必要推理能力。

Dr. Tehseen Zia 是 COMSATS University Islamabad 的终身副教授,拥有来自奥地利维也纳科技大学的人工智能博士学位。专攻人工智能、机器学习、数据科学和计算机视觉,他在著名的科学期刊上发表了重要贡献。 Dr. Tehseen 还作为首席调查员领导了各种工业项目,并担任人工智能顾问。