机器学习故障的常见假设可能是错误的

深度神经网络是人工智能（AI）中最基本的方面之一，因为它们通过数学建模来处理图像和数据。它们负责该领域的一些最伟大的进步，但它们也以各种方式故障。这些故障可能具有从小到不存在的影响，例如简单的误识别，或者更戏剧性和致命的影响，例如自动驾驶故障。来自休斯顿大学的新研究表明，我们对这些故障的常见假设可能是错误的，这可能有助于评估网络在未来的可靠性。该论文于11月发表在Nature Machine Intelligence。

“对抗性示例”

机器学习和其他类型的AI在许多领域和任务中至关重要，例如银行和网络安全系统。根据休斯顿大学哲学系副教授卡梅伦·巴克纳（Cameron Buckner）的说法，必须了解“对抗性示例”带来的故障。这些对抗性示例发生在深度神经网络系统在遇到开发网络时使用的训练输入之外的信息时，误判图像和其他数据。这些对抗性示例很少见，因为它们通常是由另一个机器学习网络创建或发现的。“一些对抗性事件可能是伪影，我们需要更好地了解它们是什么，以便知道这些网络有多可靠，”巴克纳写道。巴克纳说，故障可能是由实际模式和网络处理的内容之间的交互作用引起的，这意味着它不是一个完全的错误。

模式作为伪影

“理解对抗性示例的含义需要探索第三种可能性：至少有一些这些模式是伪影，”巴克纳说。“因此，目前同时存在丢弃这些模式的成本和天真地使用它们的危险。”虽然并非总是如此，但故意的恶意行为是对抗性事件引起机器学习故障的最高风险。“这意味着恶意行为者可能会欺骗依赖于其他可靠网络的系统，”巴克纳说。“这有安全应用。”这可能是黑客利用面部识别技术入侵安全系统，或者误标交通标志以混淆自动驾驶车辆。以前的研究表明，一些对抗性示例是自然发生的，当机器学习系统通过意外的交互方式误解数据时就会发生，这与数据中的错误不同。这些自然发生的示例很少见，目前唯一发现它们的方法是通过AI。然而，巴克纳说，研究人员需要重新思考他们处理异常的方法。这些异常或伪影是通过相机中的镜头光晕类比解释的，这不是由相机镜头的缺陷引起的，而是光与相机的交互作用。如果人们知道如何解释镜头光晕，可以提取重要信息，例如太阳的位置。因此，巴克纳认为，可能从机器学习中的对抗性事件中提取出同样有价值的信息，这些事件是由伪影引起的。巴克纳还说，这一切并不意味着深度学习是无效的。“一些对抗性事件可能是伪影，”他说。“我们必须知道这些伪影是什么，以便知道这些网络有多可靠。”