优先考虑人工智能中的信任

社会对人工智能（AI）和机器学习（ML）应用的依赖度不断增长，重新定义了信息的消费方式。从人工智能驱动的聊天机器人到大型语言模型（LLMs）生成的信息综合，社会比以往任何时候都拥有更多的信息和更深入的见解。然而，随着科技公司争相在其价值链中实施人工智能，一个关键问题浮现出来。我们真的可以信任人工智能解决方案的输出吗？

是否可以在不量化不确定性的情况下真正信任人工智能输出

对于给定的输入，模型可能会生成许多其他同样合理的输出。这可能是由于训练数据不足、训练数据的变化或其他原因。当部署模型时，组织可以利用 不确定性量化 来为其最终用户提供对人工智能/机器学习模型输出的信任程度的更清晰的理解。不确定性量化是估计其他可能输出的过程。
想象一个模型预测明天的最高温度。模型可能会生成输出 21ºC，但应用于该输出的不确定性量化可能会指出模型也可能生成输出 12 ºC、15 ºC 或 16 ºC；知道这一点，我们现在对简单的预测 20 ºC 有多大信心？尽管它有可能培养信任或谨慎，但许多组织由于实施不确定性量化需要额外的工作以及对计算资源和推理速度的要求而选择跳过它。
人机协同 系统，例如医疗诊断和预后系统，涉及人类在决策过程中。通过盲目信任医疗人工智能/机器学习解决方案的数据，医疗专业人员冒着误诊患者的风险，可能导致健康结果不佳，或者更糟糕。不确定性量化可以让医疗专业人员看到，当他们可以更信任人工智能输出时，以及何时应该谨慎对待特定的预测。同样，在一个完全自动化的系统中，例如自动驾驶汽车，模型估计障碍物距离的输出可能会导致可能在不确定性量化存在的情况下避免的碰撞。

利用蒙特卡罗方法建立人工智能/机器学习模型信任的挑战

蒙特卡罗方法 是一种强大的不确定性量化方法，于曼哈顿计划期间开发。它们涉及用稍微不同的输入重复运行算法，直到进一步的迭代不会在输出中提供太多信息；当该过程达到这种状态时，称其为收敛。蒙特卡罗方法的一个缺点是它们通常较慢且计算密集，需要对其组成计算进行许多重复才能获得收敛输出，并且在这些输出中具有固有的可变性。由于蒙特卡罗方法使用随机数生成器的输出作为其关键构建块之一，即使您使用许多内部重复运行蒙特卡罗方法，当您使用相同的参数重复该过程时，所获得的结果也会发生变化。

人工智能/机器学习模型可信赖性的前进道路

与传统服务器和人工智能专用加速器不同，一种新型的 计算平台 正在被开发，以直接处理经验概率分布，就像传统计算平台处理整数和浮点值一样。通过在这些平台上部署其人工智能模型，组织可以自动实现其预训练模型的不确定性量化，并可以加速其他传统使用蒙特卡罗方法的计算任务，例如金融中的 VaR 计算 。特别是，对于 VaR 场景，这种新型平台允许组织直接使用真实市场数据构建经验分布，而不是使用随机数生成器生成的样本来近似这些分布，从而实现更准确的分析和更快的结果。
最近的计算突破显著降低了不确定性量化的障碍。我的同事和我最近在 NeurIPS 2024 的新计算范式机器学习研讨会 上发表的一篇研究文章强调了我们开发的下一代计算平台如何使不确定性量化分析比在高端 Intel-Xeon 服务器上运行传统的基于蒙特卡罗的分析快了 100 倍。这些进步使得部署人工智能解决方案的组织能够轻松实现不确定性量化，并且可以以低开销运行此类不确定性量化。

人工智能/机器学习可信赖性的未来取决于先进的下一代计算

随着组织将更多人工智能解决方案整合到社会中，人工智能/机器学习中的可信赖性将成为首要任务。企业不再能够忽略在其人工智能模型部署中实施允许消费者知道何时应谨慎对待特定人工智能模型输出的设施。这种可解释性和不确定性量化的需求是明确的，约有 四分之三的人 表示，如果有适当的保证机制，他们将更愿意信任人工智能系统。
新的计算技术使得实施和部署不确定性量化比以往任何时候都更容易。虽然行业和监管机构正在应对在社会中部署人工智能的其他挑战，但至少有机会通过使不确定性量化成为人工智能部署的常态来培养人类所需的信任。