人工智能研究人员开发出快速计算置信区间的方法，并报告何时不应信任模型

麻省理工学院的研究人员 最近有 开发了一种技术 它使深度学习网络模型能够快速计算置信水平，这可以帮助数据科学家和其他人工智能用户知道何时信任模型所提供的预测。

如今，基于人工神经网络的人工智能系统负责越来越多的决策，其中包括许多涉及人类健康和安全的决策。因此，神经网络应该有某种方法来估计其输出的置信度，使数据科学家能够判断其预测的可信度。最近，来自哈佛大学和麻省理工学院的一组研究人员设计了一种神经网络的快速方法，可以生成模型置信度及其预测的指示。

在过去的十年里，深度学习模型变得越来越复杂，现在它们在数据分类任务上可以轻松超越人类。 深度学习模型正被用于驾驶自动驾驶汽车和通过扫描诊断医疗状况等一旦发生故障，人们的健康和安全可能面临风险的领域。 在这些情况下，模型的准确率达到 99% 是不够的，模型失败的 1% 就有可能导致灾难。 因此，数据科学家需要有一种方法来确定任何给定预测的可信度。

可以通过多种方法来生成置信区间以及神经网络的预测，但估计神经网络不确定性的传统方法相当缓慢且计算成本昂贵。 神经网络可能非常庞大和复杂，充满了数十亿个参数。 仅生成预测的计算成本就可能很高，并且需要花费大量时间，而生成预测的置信水平则需要更长的时间。 以前大多数量化不确定性的方法都依赖于一遍又一遍地采样或运行网络来估计其置信度。 对于需要高速流量的应用程序来说，这并不总是可行。

据麻省理工学院新闻报道亚历山大·阿米尼（Alexander Amini）领导了麻省理工学院和哈佛大学的联合研究小组，根据阿米尼的说法，他们的研究人员开发的方法使用一种称为“深度证据回归”的技术加速了生成不确定性估计的过程。 阿米尼通过麻省理工学院解释说，数据科学家需要高速模型和对不确定性的可靠估计，以便能够识别不可信的模型。 为了保持模型的速度并生成不确定性估计，研究人员设计了一种仅通过模型的单次运行来估计不确定性的方法。

研究人员设计了神经网络模型，使得每个决策都会生成概率分布。 网络在训练过程中保留其决策的证据，并根据证据生成概率分布。 证据分布代表模型的置信度，代表模型最终决策以及原始输入数据的不确定性。 捕获输入数据和决策的不确定性非常重要，因为减少不确定性取决于了解不确定性的来源。

研究人员将他们的不确定性估计技术应用于计算机视觉任务，对其进行了测试。在对一系列图像进行训练后，该模型生成了预测值和不确定性估计值。对于预测错误的情况，该网络正确地预测了较高的不确定性。“它对网络所犯的错误进行了高度校准，我们认为这是评判一个新不确定性估计器质量的最重要因素之一，”阿米尼在谈到该模型的测试结果时说道。

研究团队继续对其网络架构进行更多测试。 为了对该技术进行压力测试，他们还测试了“分布外”数据，即由网络以前从未见过的对象组成的数据集。 正如预期的那样，网络报告这些看不见的物体具有更高的不确定性。 当在室内环境中进行训练时，网络在室外环境中的图像上进行测试时表现出很高的不确定性。 测试表明，网络可以突出显示其决策何时受到高度不确定性的影响，并且在某些高风险情况下不应被信任。

研究小组甚至报告说，网络可以辨别图像何时被篡改。 当研究团队用对抗性噪声修改照片时，网络会用高度不确定性估计来标记新修改的图像，尽管这种效果太微妙，普通人类观察者无法看到。

如果该技术被证明是可靠的，深度证据回归可以总体上提高人工智能模型的安全性。 阿米尼表示，深度证据回归可以帮助人们在危险情况下使用人工智能模型时做出谨慎的决策。 正如阿米尼通过麻省理工学院新闻解释的那样:

我们开始看到越来越多的这类[神经网络]模型走出实验室，进入现实世界，应用于可能危及人类生命的各种情况。任何使用该方法的人，无论是医生还是坐在车辆乘客，都需要意识到与该决策相关的任何风险或不确定性。