研究人员开发快速计算置信区间的方法，报告模型不应被信任的时刻

麻省理工学院的研究人员最近开发了一种技术，使得深度学习网络模型能够快速计算置信水平，这可能有助于数据科学家和其他人工智能用户了解何时可以信任模型的预测。

基于人工神经网络的AI系统负责越来越多的决策，包括许多涉及人类健康和安全的决策。因此，神经网络应该有一种方法来估计其输出的置信度，使得数据科学家能够判断其预测的可靠性。最近，哈佛和麻省理工学院的研究人员团队设计了一种快速方法，使得神经网络能够在其预测旁边生成一个模型置信度的指示。

过去十年中，深度学习模型变得越来越复杂，现在它们可以轻松地在数据分类任务中超越人类。深度学习模型被用于人们的健康和安全可能受到风险的领域，例如驾驶自动驾驶汽车和从扫描中诊断医疗状况。在这些情况下，模型的99%准确率是不够的，因为模型失败的1%可能导致灾难。因此，需要一种方法来确定任何给定预测的可靠性。

有几种方法可以生成神经网络预测的置信区间，但传统的估计不确定性的方法对于神经网络来说相当慢且计算成本高。神经网络可以非常大且复杂，包含数十亿个参数。仅仅生成预测就可能计算成本高且需要大量时间，而生成预测的置信水平需要更长的时间。大多数以前的不确定性量化方法依赖于采样或多次运行网络以估计其置信度。这对于需要高速流量的应用程序来说并不总是可行的。

据麻省理工学院新闻报道，亚历山大·阿米尼（Alexander Amini）领导了麻省理工学院和哈佛大学的研究人员团队。根据阿米尼的说法，他们的研究人员开发的方法使用一种称为“深度证据回归”的技术来加速生成不确定性估计的过程。阿米尼通过麻省理工学院解释说，数据科学家需要高速模型和可靠的不确定性估计，以便区分不可靠的模型。为了保持模型的速度和生成不确定性估计，研究人员设计了一种方法来仅从模型的一次运行中估计不确定性。

研究人员设计了神经网络模型，以便在每个决策旁边生成一个概率分布。网络在训练过程中保留其决策的证据，并根据证据生成一个概率分布。证据分布代表了模型的置信度，并代表了模型的最终决策和原始输入数据的不确定性。同时捕获输入数据和决策的不确定性很重要，因为减少不确定性取决于了解不确定性的来源。

研究人员通过将不确定性估计技术应用于计算机视觉任务来测试它。模型在一系列图像上训练后，生成了预测和不确定性估计。网络正确地预测了错误预测实例的高不确定性。“它非常适应网络所犯的错误，这是评估新不确定性估计器质量的最重要事情之一，”阿米尼说，谈到模型的测试结果。

研究团队继续进行了更多的测试。为了测试该技术，他们还在“分布外”数据上测试了数据，这些数据由网络从未见过的对象组成。如预期，网络报告了这些未见对象的更高不确定性。当训练在室内环境中时，网络在测试室外环境图像时显示出高不确定性。测试表明，网络可以突出其决策的高不确定性，并且在某些高风险情况下不应信任其决策。

研究团队甚至报告说，网络可以区分篡改的图像。研究团队使用对抗性噪声修改照片后，网络将新修改的图像标记为高不确定性估计，尽管这种影响对于普通人来说几乎无法察觉。

如果该技术被证明是可靠的，深度证据回归可能会提高人工智能模型的安全性。根据阿米尼的说法，深度证据回归可以帮助人们在使用人工智能模型的高风险情况下做出谨慎的决策。正如阿米尼通过麻省理工学院新闻解释的那样：

“我们开始看到更多的[神经网络]模型从研究实验室走出来，进入现实世界，进入与人类接触的场景，可能会对人类产生潜在的生命威胁的后果。使用该方法的任何用户，无论是医生还是车辆乘客，都需要了解与该决策相关的任何风险或不确定性。”