可以绕过40%以上面部识别系统的“主面孔”

以色列的研究人员开发了一种神经网络，能够生成“主面孔”——每个面孔都可以模仿多个身份。该研究表明，使用仅9张由StyleGAN生成对抗网络（GAN）合成的面孔，就有可能生成超过40%的人口的“主钥匙”，并通过三个领先的面部识别系统验证了这一结果。

该论文是以色列特拉维夫大学计算机科学布拉瓦特尼克学院和电气工程学院之间的合作成果。

在测试系统时，研究人员发现单个生成的面孔可以解锁马萨诸塞大学公开的面部数据库（LFW）中20%的所有身份，这是一个常用的面部识别系统开发和测试的仓库，也是以色列系统的基准数据库。

以色列系统的工作流程，使用StyleGAN生成器迭代寻找“主面孔”。 来源：https://arxiv.org/pdf/2108.01077.pdf

该新方法改进了西恩纳大学最近的一篇论文，后者需要对机器学习框架有特权访问权限。相比之下，该新方法从公开材料中推断出一般特征，并使用它们创建跨越大量身份的面部特征。

演化主面孔

StyleGAN最初在这种方法中使用黑盒优化方法，重点关注高维数据，因为找到最广泛和最普遍的面部特征以满足身份验证系统非常重要。

然后，这个过程被重复迭代，以涵盖初始传递中没有编码的身份。在各种测试条件下，研究人员发现，只需9张生成的图像就可以获得40-60%的身份验证。

在研究中使用各种覆盖搜索方法（包括LM-MA-ES）获得的连续“主面孔”组。每个图像下方注明了平均集覆盖（MSC，一种准确性指标）

该系统使用一种与神经网络预测器耦合的进化算法，预测器估计当前“候选者”比之前传递中生成的p百分位候选者更好地概括的可能性。

以色列系统架构中的生成候选者过滤

LM-MA-ES

该项目使用2017年由机器学习自动算法设计研究小组发起的有限内存矩阵适应（LM-MA-ES）算法，这是一种适合高维黑盒优化的方法。

LM-MA-ES算法随机输出候选者。虽然这适合项目的意图，但需要一个额外的组件来推断哪些面孔是跨身份验证的最佳候选者。因此，研究人员创建了一个“成功预测器”神经分类器来筛选候选者中的最佳面孔。

以色列面部识别欺骗项目中使用的成功预测器的理由

评估

该系统被测试在三个基于CNN的面部描述符上：SphereFace、FaceNet和Dlib，每个系统架构都包含一个相似度度量和一个损失函数，这些对于验证系统的准确性得分很有用。

成功预测器是一个具有三个全连接层的前馈神经网络。第一个全连接层使用BatchNorm正则化，以确保数据的一致性，然后再进行激活。该网络使用ADAM作为优化器，学习率为0.001，批量大小为32个输入图像。

三个架构的输出

所有三个算法都使用相同的五个种子进行了26,400次适应度函数调用训练。

研究人员已经确定，更长的训练过程不会使系统受益；实际上，以色列方法旨在从模型训练的早期阶段推导出关键数据，在此阶段，只有最高特征才被识别出来。这在框架经济性方面是一种优势。

在使用Facebook的Python-based NeverGrad无梯度优化环境建立基准结果之后，该系统被评估与多种算法进行比较，包括各种差分进化启发式算法。

研究人员发现，基于Dlib的“贪婪”方法优于其竞争对手，成功创建了九个“主面孔”，可以解锁测试数据集的42%-64%。应用系统的成功预测器进一步改进了这些非常有利的结果。

该论文认为，“基于面部的身份验证，即使没有目标身份的信息，也是极其脆弱的”，研究人员认为他们的倡议是面部识别系统安全入侵方法论的有效方法。