麻省理工学院研究团队设计人工智能网络以抵抗对抗性例子

麻省理工学院的研究团队开发了深度学习算法 旨在帮助人工智能应对“对抗性”例子，这可能导致人工智能做出错误的预测并执行错误的行动。 麻省理工学院团队设计的算法可以帮助人工智能系统保持准确性，避免在面对混乱的数据点时犯错误。

人工智能系统分析事件的输入特征，以决定如何响应该事件。 负责操纵自动驾驶车辆的人工智能必须从车辆的摄像头获取数据，并根据这些图像中包含的数据决定要做什么。 然而，人工智能分析的图像数据有可能不能准确反映现实世界。 相机系统中的故障可能会改变一些像素，导致人工智能对适当的行动方案得出错误的结论。

“对抗性输入”就像人工智能系统的视错觉。它们是以某种形式迷惑人工智能的输入。对抗性输入可以以导致人工智能犯错误的明确目标为目的，通过以一种让人工智能相信示例内容是一回事而不是另一件事的方式来表示数据。例如，可以通过对猫的图像进行轻微更改来为计算机视觉系统创建一个对抗性示例，从而导致人工智能将图像错误地分类为计算机显示器。麻省理工学院的研究团队设计了一种算法，通过让模型对其收到的输入保持一定程度的“怀疑”，来帮助防范对抗性示例。

麻省理工学院的研究人员将他们的方法称为“深度强化学习的对抗性鲁棒性认证”，或者 卡尔。 CARRL由强化学习网络和传统深度神经网络连接在一起组成。 强化学习使用“奖励”的概念来训练模型，模型越接近目标，奖励就越多。 强化学习模型用于训练 Deep Q-Netowrkk (DQN)。 DQN 的功能类似于传统的神经网络，但它们也将输入值与奖励水平相关联，就像强化学习系统一样。

CARRL 通过对输入数据的一系列不同可能值进行建模来进行操作。

假设人工智能试图跟踪较大图像中一个点的位置，人工智能会认为该点的位置可能是对抗性影响的结果，并考虑该点可能所在的区域。 然后，网络根据点位置的最坏情况做出决策，确定在这种最坏情况下会产生最高奖励的行动。

防范对抗性示例的典型方法包括通过人工智能网络运行输入图像的稍微改变的版本，以查看是否始终做出相同的决定。 如果对图像的更改不会显着影响结果，则网络很有可能对对抗性示例具有抵抗力。 然而，对于需要快速做出决策的场景来说，这不是一个可行的策略，因为这些测试方法耗时且计算成本高昂。 出于这个原因，麻省理工学院的团队着手创建一种神经网络，可以根据最坏情况的假设做出决策，并且能够在安全至关重要的情况下运行。

麻省理工学院的研究人员通过让人工智能玩乒乓球游戏来测试他们的算法。 他们通过向人工智能实例提供对抗性示例，其中球显示在屏幕上比实际位置稍远一些。 随着对抗性例子影响力的增长，标准的纠正技术开始失效，而相比之下，CARRL 能够赢得更多比赛。 CARRL 还接受了防撞任务测试。 该任务在虚拟环境中展开，两个不同的智能体试图在不碰撞的情况下交换位置。 研究团队改变了第一个智能体对第二个智能体的感知，即使在高度不确定的情况下，CARRL 也能够成功地引导第一个智能体绕过另一个智能体，尽管确实存在 CARRL 变得过于谨慎并最终避免其使用的情况。目的地完全。

不管怎样，领导这项研究的麻省理工学院航空航天系博士后迈克尔·埃弗雷特解释说，这项研究可能会对机器人处理不可预测情况的能力产生影响。 正如埃弗里特解释的那样 通过麻省理工学院新闻：

埃弗雷特说：“人们可能会产生敌意，比如走到机器人面前阻挡其传感器，或与它们互动，这不一定是出于最好的意图。” “机器人如何能够想到人们可能尝试做的所有事情，并试图避免它们？ 我们想要防御什么样的对抗模型？ 这是我们正在考虑如何做的事情。”