可绕过超40%面部识别认证系统的“万能面容”

以色列研究人员开发出一种能够生成“万能”面容的神经网络——每张生成的面部图像都能冒充多个身份。这项研究表明，通过三种主流人脸识别系统，仅使用StyleGAN生成对抗网络合成的9张面孔，就有可能为超过40%的人口生成此类“万能钥匙”。 该论文由特拉维夫大学布拉瓦特尼克计算机科学学院与电气工程学院合作完成。 在测试该系统时，研究人员发现，单张生成的面孔就能解锁马萨诸塞大学Labeled Faces in the Wild (LFW)开源数据库中20%的身份。该数据库是用于人脸识别系统开发和测试的常用资源库，也是该以色列系统的基准数据库。

该以色列系统的工作流程，它使用StyleGAN生成器迭代地寻找“万能面容”。 Source: https://arxiv.org/pdf/2108.01077.pdf

这项新方法改进了锡耶纳大学近期一篇类似论文的方法，后者需要对机器学习框架拥有特权级别的访问权限。相比之下，新方法从公开可用的材料中推断出泛化特征，并利用这些特征创建能跨越大量身份的面部特征。

演化中的万能面容

该方法最初在一种黑盒优化方法中使用StyleGAN，重点（毫不意外地）关注高维数据，因为找到最广泛、最泛化的面部特征以满足认证系统至关重要。 然后，这个过程被迭代重复，以涵盖在初始阶段未被编码的身份。在不同的测试条件下，研究人员发现，仅用九张生成的图像就有可能获得40-60%的身份认证。

研究中通过包括LM-MA-ES在内的各种覆盖率搜索方法获得的连续多组“万能面容”。每张图片下方注明了平均集合覆盖率（MSC，一种准确性度量指标）。

该系统使用一种进化算法，结合一个神经预测器，该预测器用于估计当前“候选”面孔比之前几轮生成的前p百分位候选面孔具有更好泛化能力的可能性。

以色列系统架构中对生成候选面孔的过滤。

LM-MA-ES

该项目使用了为2017年一项倡议开发的有限内存矩阵自适应（LM-MA-ES）算法，该倡议由“用于自动化算法设计的机器学习”研究小组领导，这种方法非常适合高维黑盒优化。 LM-MA-ES随机输出候选面孔。虽然这很适合项目的意图，但需要一个额外的组件来推断哪些面孔是跨身份认证的最佳候选。因此，研究人员创建了一个“成功预测器”神经分类器，从海量候选面孔中筛选出最适合该任务的面孔。

以色列面部识别欺骗项目中使用的成功预测器的原理。

评估

该系统针对三种基于CNN的人脸描述符进行了测试：SphereFace、FaceNet和Dlib。每个系统架构都包含一个相似性度量和损失函数，这对于验证系统的准确率得分很有用。 成功预测器是一个包含三个全连接层的前馈神经网络。其中第一层使用BatchNorm正则化来确保激活前数据的一致性。该网络使用ADAM作为优化器，学习率设定为较高的0.001，批处理大小为32张输入图像。

三种架构的输出示例。

测试的所有三种算法都使用相同的五组种子，进行了26,400次适应度函数调用训练。 研究人员此时已确定，更长的训练过程对系统并无益处；实际上，以色列的方法旨在从模型训练的早期阶段提取关键数据，此时仅识别出了最高层次的特征。值得注意的是，就框架经济性而言，这算是一种优势。 在利用Facebook基于Python的免梯度优化环境NeverGrad建立基线结果后，该系统与多种算法进行了性能分析比较，包括不同版本的差分进化启发式算法。 研究人员发现，基于Dlib的“贪婪”方法表现优于其竞争对手，成功创建了九张能够解锁测试数据集中42%-64%身份的万能面容。应用该系统的成功预测器进一步改善了这些非常有利的结果。 该论文认为，“即使没有目标身份的信息，基于面部的认证也极其脆弱”，研究人员认为他们的方案是面部识别系统安全入侵方法论的一种有效途径。