光学对抗攻击可以改变道路标志的含义

美国的研究人员开发了一种对抗攻击，针对机器学习系统正确解释所见事物的能力，包括任务关键项，如道路标志，通过将有规律的光线照射到现实世界的物体上。在一个实验中，该方法成功地使“STOP”路边标志的含义转变为“30mph”限速标志。

在标志上创建的扰动，由精心设计的光线照射，会使机器学习系统对其进行解释。 来源：https://arxiv.org/pdf/2108.06247.pdf

该 研究 名为 光学对抗攻击，来自印第安纳州的普渡大学。

一种光学对抗攻击（OPAD），如论文中所述，使用结构化照明来改变目标对象的外观，只需要一个普通的投影仪、一个摄像头和一台电脑。研究人员能够使用这种技术成功地进行白盒和黑盒攻击。

OPAD 设置，以及对人来说几乎无法察觉的扰动，足以导致误分类。

OPAD 设置包括 ViewSonic 3600 流明 SVGA 投影仪、Canon T6i 相机和一台笔记本电脑。

黑盒和目标攻击

白盒攻击是指攻击者可能直接访问训练模型程序或输入数据的管理的不太可能的情景。黑盒攻击，相反，通常是通过推断机器学习模型的组成或其行为，创建“影子”模型，并开发针对原始模型的对抗攻击。

这里我们看到为了欺骗分类器所需的视觉扰动量。

在后一种情况下，无需特殊访问权限，尽管此类攻击得益于当前学术和商业研究中计算机视觉库和数据库的普遍性。

所有在新论文中概述的 OPAD 攻击都是“目标”攻击，旨在改变某些对象的解释。虽然该系统已被证明能够实现一般化、抽象攻击，但研究人员认为，现实世界中的攻击者将具有更具体的破坏目标。

OPAD 攻击只是将噪声注入计算机视觉系统中使用的图像的常见原理的现实世界版本。这种方法的价值在于，可以简单地将扰动“投影”到目标对象上以触发误分类，而确保“特洛伊木马”图像进入训练过程则更困难。

在 OPAD 能够将“速度 30”图像的散列含义强加于“STOP”标志的情况下，基线图像是通过在 140/255 强度下对对象进行均匀照明获得的。然后应用了投影器补偿照明作为投影的 梯度下降攻击。

OPAD 误分类攻击示例。

研究人员观察到，该项目的主要挑战是校准和设置投影机机制，以实现干净的“欺骗”，因为角度、光学和其他几个因素都对利用该漏洞构成挑战。

此外，该方法只可能在夜间有效。明显的照明是否会揭示“黑客攻击”也是一个因素；如果一个物体（如标志）已经被照亮，投影仪必须补偿该照明，反射扰动也需要能够抵抗车头灯。它似乎是一个在城市环境中效果最佳的系统，因为环境照明可能更稳定。

该研究有效地建立了一个面向机器学习的迭代，基于哥伦比亚大学 2004 年的 研究，该研究通过将其他图像投影到物体上来改变物体的外观，这是一个光学实验，缺乏 OPAD 的恶意潜力。

在测试中，OPAD 能够欺骗分类器 31 次，共进行了 64 次攻击——成功率为 48%。研究人员指出，成功率在很大程度上取决于被攻击的对象类型。斑驳或弯曲的表面（例如，分别为泰迪熊和马克杯）无法提供足够的直接反射率来执行攻击。另一方面，故意反射的平面表面（如道路标志）是 OPAD 扭曲的理想环境。

开源攻击面

所有攻击都是针对特定的数据库进行的：德国交通标志识别数据库（GTSRB，在新论文中称为 GTSRB-CNN）；ImageNet VGG16 数据集；以及 ImageNet Resnet-50 集。

那么，这些攻击是否仅仅是“理论上的”，因为它们针对的是开源数据集，而不是针对自动驾驶车辆中的专有、封闭系统？如果主要研究机构不依赖开源生态系统（包括算法和数据集），而是秘密地开发闭源数据集和不透明的识别算法，那么它们就是这样。

但是，通常情况并非如此。里程碑式的数据集成为衡量所有进步（和声誉/赞誉）的基准，而开源图像识别系统（如 YOLO 系列）则通过全球合作，在类似的原则上领先于任何内部开发的闭源系统。

FOSS 曝露

即使计算机视觉框架中的数据最终将被完全关闭的数据所取代，模型的“空”权重仍然经常在开发的早期阶段通过 FOSS 数据进行校准，这些数据永远不会被完全丢弃，这意味着所产生的系统可能会被 FOSS 方法针对。

此外，依赖于这种类型的 CV 系统的开源方法使私营公司能够免费利用其他全球研究项目的分支创新，并增加了在商业化时使体系结构保持可访问性的财务激励。之后，他们可以尝试仅在商业化时关闭该系统，此时整个 FOSS 指标数组都深深嵌入其中。