关于机器学习故障的常见假设可能是错误的

深度神经网络是人工智能 (AI) 最基本的方面之一，因为它们用于通过数学建模来处理图像和数据。 他们在该领域取得了一些最伟大的进步，但他们也以各种方式出现故障。 这些故障可能会产生很小甚至不存在的影响，例如简单的错误识别，也可能产生更严重和致命的影响，例如自动驾驶故障。

休斯顿大学的新研究表明，我们对这些故障的常见假设可能是错误的，这可能有助于评估未来网络的可靠性。

该论文发表在“ 自然机器智能 在11月。

“对抗性例子”

机器学习和其他类型的人工智能在银行和网络安全系统等许多部门和任务中至关重要。夏威夷大学哲学副教授卡梅伦·巴克纳 (Cameron Buckner) 表示，必须理解“对抗性例子”带来的失败。当深度神经网络系统遇到用于开发网络的训练输入之外的信息时，错误判断图像和其他数据，就会出现这些对抗性示例。

对抗性示例很少见，因为它们很多时候是由另一个机器学习网络创建或发现的。

巴克纳写道：“其中一些对抗性事件可能是人为因素，我们需要更好地了解它们是什么，以便了解这些网络的可靠性。”

巴克纳表示，故障可能是由所涉及的实际模式与网络要处理的内容之间的相互作用引起的，这意味着这并不是一个完全的错误。

作为工件的模式

“理解对抗性例子的含义需要探索第三种可能性：至少其中一些模式是人为的，”巴克纳说。 “因此，目前简单地丢弃这些模式会带来成本，而天真地使用它们也会带来危险。”

尽管情况并非总是如此，但故意不当行为是这些导致机器学习故障的对抗事件的最高风险。

巴克纳说：“这意味着恶意行为者可能欺骗依赖于本来可靠的网络的系统。” “那有安全应用程序。”

这可能是黑客破坏了基于面部识别技术的安全系统，也可能是错误标记交通标志来迷惑自动驾驶汽车。

先前的其他研究表明，一些对抗性示例是自然发生的，当机器学习系统通过意料之外的交互误解数据时，就会发生这种情况，这与数据中的错误不同。 这些自然发生的例子很少见，目前发现它们的唯一方法是通过人工智能。

然而，巴克纳表示，研究人员需要重新思考解决异常现象的方式。

巴克纳通过照片中镜头眩光的类比来解释这些异常现象或伪影，这不是由相机镜头的缺陷引起的，而是由光与相机的相互作用引起的。

如果知道如何解释镜头天赋，就可以提取诸如太阳位置等重要信息。 正因为如此，巴克纳认为可以从由人工制品引起的机器学习不良事件中提取同样有价值的信息。

巴克纳还表示，所有这些并不自动意味着深度学习无效。

他说：“其中一些对抗性事件可能是人工产物。” “我们必须知道这些工件是什么，这样我们才能知道网络的可靠性。”