光学对抗攻击可以改变路标的含义

美国研究人员开发了一种对抗性攻击，通过将图案光照射到现实世界的物体上，来对抗机器学习系统正确解释他们所看到的内容（包括路标等关键任务项目）的能力。在一项实验中，该方法成功地将路边“STOP”标志的含义转变为“30mph”限速标志。

研究 有权 光学对抗攻击，来自印第安纳州普渡大学。

该论文提出的光学对抗攻击（OPAD）使用结构化照明来改变目标物体的外观，并且只需要一台商用投影仪、一台相机和一台计算机。 研究人员能够使用这种技术成功地进行白盒和黑盒攻击。

OPAD 的设置包括一台 ViewSonic 3600 流明 SVGA 投影仪、一台佳能 T6i 相机和一台笔记本电脑。

黑匣子和针对性攻击

白盒攻击不太可能发生，攻击者可以直接访问训练模型过程或输入数据的治理。 相反，黑盒攻击通常是通过推断机器学习的组成方式或至少其行为方式、制作“影子”模型以及开发旨在对原始模型起作用的对抗性攻击来制定的。

在后一种情况下，不需要特殊的访问权限，尽管当前学术和商业研究中普遍存在的开源计算机视觉库和数据库极大地帮助了此类攻击。

新论文中概述的所有 OPAD 攻击都是“有针对性的”攻击，专门寻求改变某些对象的解释方式。 尽管该系统也被证明能够实现广义、抽象的攻击，但研究人员认为，现实世界的攻击者会有更具体的破坏目标。

OPAD 攻击只是经常研究的向计算机视觉系统中使用的图像中注入噪声原理的现实版本。 该方法的价值在于，人们可以简单地将扰动“投射”到目标对象上，以触发错误分类，而确保“特洛伊木马”图像最终出现在训练过程中则相当困难。

在 OPAD 能够将数据集中“速度 30”图像的散列含义强加到“停止”标志上的情况下，基线图像是通过以 140/255 强度均匀照明物体来获得的。 然后应用投影仪补偿照明作为投影 梯度下降攻击.

研究人员观察到，该项目的主要挑战是校准和设置投影仪机制，以实现干净的“欺骗”，因为角度、光学和其他几个因素对利用提出了挑战。

此外，该方法可能只在夜间有效。 明显的照明是否会暴露“黑客”也是一个因素； 如果诸如标志之类的物体已经被照亮，则投影仪必须补偿该照明，并且反射扰动的量也需要能够抵抗前灯的影响。 这似乎是一个最适合城市环境的系统，因为城市环境中的环境照明可能更稳定。

该研究有效地构建了哥伦比亚大学的面向机器学习的迭代 2004研究 通过将其他图像投射到物体上来改变物体的外观——这是一种基于光学的实验，缺乏 OPAD 的潜在危害。

在测试中，OPAD 能够欺骗分类器 31 次攻击中的 64 次，成功率为 48%。 研究人员指出，成功率很大程度上取决于被攻击对象的类型。 斑驳或弯曲的表面（例如泰迪熊和杯子）无法提供足够的直接反射率来执行攻击。 另一方面，故意反射的平坦表面（例如路标）是 OPAD 失真的理想环境。

开源攻击面

所有攻击都是针对一组特定的数据库进行的：德国交通标志识别数据库（GTSRB，在新论文中称为 GTSRB-CNN），用于训练模型 2018年类似的攻击场景; 图像网 VGG16 数据集； 和图像网 RESNET-50 设置。

那么，这些攻击是否“仅仅是理论上的”，因为它们针对的是开源数据集，而不是自动驾驶汽车中专有的封闭系统？ 如果主要研究机构不依赖开源生态结构（包括算法和数据集），而是秘密地辛勤工作以产生闭源数据集和不透明的识别算法，那么它们就会是这样。

但总的来说，事情并不是这样的。 具有里程碑意义的数据集成为衡量所有进步（以及尊重/赞誉）的基准，而 YOLO 系列等开源图像识别系统通过共同的全球合作，领先于任何旨在按照类似原理运行的内部开发的封闭系统。

自由和开放源码软件的暴露

即使计算机视觉框架中的数据最终将被完全封闭的数据取代，“清空”模型的权重仍然在开发的早期阶段经常由永远不会被完全丢弃的自由和开放源码软件数据进行校准——这意味着由此产生的系统可能会成为 FOSS 方法的目标。

此外，依靠这种性质的 CV 系统的开源方法，私营公司可以免费利用其他全球研究项目的分支创新，从而增加经济激励以保持架构的可访问性。 此后，他们只能在商业化时尝试关闭系统，届时一整套可推断的 FOSS 指标都已深深嵌入其中。