光学对抗攻击可以改变道路标志的含义

美国的研究人员开发了一种对抗攻击，针对机器学习系统正确解释所见事物的能力，包括任务关键性项目，如道路标志，通过将有规律的光照射到现实世界的物体上。在一个实验中，该方法成功地使“停止”路边标志的含义转变为“30mph”速度限制标志。

在标志上创建的扰动，由于在其上投射精心设计的光线，会扭曲机器学习系统的解释。 来源: https://arxiv.org/pdf/2108.06247.pdf

该研究名为《光学对抗攻击》，来自印第安纳州的普渡大学。

一种光学对抗攻击（OPAD），如论文中所述，使用结构化照明来改变目标对象的外观，只需要一个普通的投影仪、一个摄像头和一台计算机。研究人员能够使用这种技术成功地进行白盒和黑盒攻击。

OPAD 设置，以及对人来说几乎无法察觉的扭曲足以引起误分类。

OPAD 设置由 ViewSonic 3600 流明 SVGA 投影仪、Canon T6i 相机和笔记本电脑组成。

黑盒和有针对性的攻击

白盒攻击是指攻击者可能直接访问训练模型程序或输入数据管理的不太可能的情景。黑盒攻击则通常是通过推断机器学习模型的组成或其行为，创建“影子”模型，并开发针对原始模型的对抗攻击。

这里我们看到为了欺骗分类器所需的视觉扰动量。

在后一种情况下，无需特殊访问权限，尽管此类攻击得益于当前学术和商业研究中开源计算机视觉库和数据库的普遍存在。

论文中描述的所有 OPAD 攻击都是“有针对性的”攻击，旨在改变某些对象的解释。虽然该系统也被证明能够实现普遍的抽象攻击，但研究人员认为，现实世界中的攻击者将有更具体的破坏目标。

OPAD 攻击只是计算机视觉系统中注入噪音的原理的现实世界版本。这种方法的价值在于，可以简单地将扰动“投射”到目标对象上以触发误分类，而将“特洛伊木马”图像加入训练过程则更难实现。

在 OPAD 能够将“速度 30”图像在数据集中散列的含义强加于“停止”标志的案例中，基线图像是通过在 140/255 强度下对对象进行均匀照明获得的。然后应用了投影仪补偿照明作为投影梯度下降攻击。

OPAD 误分类攻击示例。

研究人员观察到，该项目的主要挑战是校准和设置投影机机制，以实现干净的“欺骗”，因为角度、光学和其他几个因素都对利用来说是一个挑战。

此外，该方法只可能在夜间有效。是否会有明显的照明暴露“黑客”也是一个因素；如果一个物体（如标志）已经被照亮，投影仪必须补偿该照明，反射扰动的量也需要能够抵抗车头灯。它似乎是一个在城市环境中效果最佳的系统，因为环境照明可能更稳定。

该研究有效地建立了一个面向机器学习的 2004 年哥伦比亚大学关于通过将图像投射到物体上来改变物体外观的研究的迭代版本——一个光学实验，缺乏 OPAD 的恶意潜力。

在测试中，OPAD 能够欺骗 64 次攻击中的 31 次分类器——成功率为 48%。研究人员指出，成功率在很大程度上取决于被攻击的对象类型。斑驳或弯曲的表面（例如，泰迪熊和马克杯）无法提供足够的直接反射率来执行攻击。另一方面，故意反射的平面表面（如道路标志）是 OPAD 扭曲的理想环境。

开源攻击面

所有攻击都是针对特定的数据库进行的：德国交通标志识别数据库（GTSRB，在新论文中称为 GTSRB-CNN）；ImageNet VGG16 数据集；以及 ImageNet Resnet-50 集。

那么，这些攻击是否只是“理论上的”，因为它们针对的是开源数据集，而不是针对自主车辆中的专有、封闭系统？如果主要研究机构不依赖开源生态系统（包括算法和数据集），而是秘密地开发封闭源数据集和不透明的识别算法，那么它们就是如此。

但是，通常情况并非如此。里程碑式的数据集成为衡量所有进步（以及声誉/赞扬）的基准，而开源图像识别系统（如 YOLO 系列）则通过全球合作，领先于任何内部开发的封闭系统，后者旨在遵循类似的原则。

FOSS 暴露

即使计算机视觉框架中的数据最终将被替换为完全封闭的数据，但在开发的早期阶段，“空”模型的权重通常仍然通过可能永远不会被完全丢弃的 FOSS 数据进行校准。这意味着所产生的系统可能会被 FOSS 方法针对。

此外，依赖这种类型的 CV 系统的开源方法使私营公司能够免费利用其他全球研究项目的分支创新，并为保持架构可访问性添加了财务激励。之后，他们可以尝试仅在商业化时关闭系统，此时整个可推断的 FOSS 指标数组已经深深嵌入其中。