机器学习故障的常见假设可能是错误的

深度神经网络是人工智能（AI）最基本的方面之一，因为它们用于通过数学建模处理图像和数据。它们负责该领域的一些最伟大的进步，但它们也以各种方式故障。这些故障可能对系统产生小到不存在的影响，例如简单的误识别，也可能对系统产生更戏剧性和致命的影响，例如自动驾驶故障。

休斯顿大学的新研究表明，我们对这些故障的常见假设可能是错误的，这可能有助于评估网络在未来的可靠性。

该论文于11月发表在《Nature Machine Intelligence》杂志上。

“对抗性示例”

机器学习和其他类型的AI在许多领域和任务中至关重要，例如银行和网络安全系统。根据休斯顿大学哲学系副教授卡梅伦·巴克纳（Cameron Buckner）的说法，必须了解“对抗性示例”引起的故障。这些对抗性示例发生在深度神经网络系统在遇到训练输入中未使用的信息时误判图像和其他数据时。

对抗性示例很少见，因为它们通常是由另一个机器学习网络创建或发现的。

“一些对抗性事件可能是伪影，我们需要更好地了解它们，以便知道这些网络有多可靠，”巴克纳写道。

巴克纳说，故障可能是由实际模式和网络处理的交互作用引起的，这意味着它不是一个完全的错误。

模式作为伪影

“了解对抗性示例的含义需要探索第三种可能性：至少有一些这些模式是伪影，”巴克纳说。“因此，目前既有简单地丢弃这些模式的成本，也有在不知道它们是什么的情况下使用它们的危险。”

尽管不是每次都是这样，但故意的恶意行为是对抗性事件引起机器学习故障的最高风险。

“这意味着恶意行为者可以欺骗依赖于其他可靠网络的系统，”巴克纳说。“这有安全应用。”

这可能是黑客入侵基于面部识别技术的安全系统，或者误标记交通标志以混淆自动驾驶车辆。

以前的研究已经证明，一些对抗性示例是自然发生的，当机器学习系统通过意外的交互方式误解数据时就会发生，这与数据中的错误不同。这些自然发生的示例很少见，目前唯一的发现方法是通过AI。

然而，巴克纳说，研究人员需要重新思考他们处理异常的方式。

巴克纳通过相机镜头flare的类比解释了这些异常或伪影，这不是由于相机镜头的缺陷，而是光线与相机的交互作用。

如果人们知道如何解释镜头flare，就可以提取重要信息，例如太阳的位置。因此，巴克纳认为，也有可能从机器学习中由伪影引起的不良事件中提取同样有价值的信息。

巴克纳还说，这一切并不意味着深度学习无效。

“一些对抗性事件可能是伪影，”他说。“我们需要知道这些伪影是什么，以便知道这些网络有多可靠。”