使用生成对抗网络进行“创意”面部验证

斯坦福大学的一篇新论文提出了一种初生的方法，用于欺骗面部身份验证系统，例如在交友应用程序中，通过使用生成对抗网络（GAN）创建包含与真实面部相同的基本身份信息的替代面部图像。

该方法成功地绕过了交友应用Tinder和Bumble的面部验证过程，在一次测试中，甚至将一个性别交换（男性）面部作为真实身份（女性）进行了验证。

各种生成的身份，具有论文作者的特定编码（如上图第一张图片所示）。来源：https://arxiv.org/pdf/2203.15068.pdf[/em>

根据作者的说法，这项工作代表了第一次尝试使用具有特定身份特征的生成图像来绕过面部验证，这些图像试图代表一个替代或大幅度改变的身份。

该技术在一个自定义的本地面部验证系统上进行了测试，并且在针对两个使用用户上传的图像进行面部验证的交友应用程序的黑盒测试中表现良好。

新论文《面部验证绕过》由斯坦福大学电气工程系的研究员Sanjana Sarda撰写。

控制面部空间

虽然将特定特征（例如面部、道路标志等）注入到精心制作的图像中是对抗性攻击的常见做法，但这项新研究表明，研究领域正在发展一种控制GAN潜在空间的能力，这将使得创建一致的替代身份成为可能，并且可以创建一个“影子”身份，通过机器系统读取为另一个人。

一致性和可导航性一直是GAN潜在空间的主要挑战。一个成功地将训练图像集成入其潜在空间的GAN提供的特征映射并不容易从一个类别“推”到另一个类别。

虽然像Grad-CAM这样的技术和工具可以帮助建立潜在方向，并使转换成为可能（见下图），但通常会遇到纠缠问题，这使得转换过程变得“近似”，并且对转换过程的控制有限。

GAN潜在空间中编码向量之间的粗略旅程，将数据派生的男性身份推入潜在空间的另一侧。图像来源：https://www.youtube.com/watch?v=dCKbRCUyop8[/em>

能够“冻结”和保护特定特征，同时将它们转移到潜在空间的其他位置，可能使得创建一个一致的（甚至可以动画化）个体成为可能，该个体的身份被机器系统读取为另一个人。

方法

作者使用两个数据集作为实验的基础：一个包含310张她自己面部的图像，跨越四年，具有不同的光照、年龄和视角），使用Caffe提取面部；以及一个包含108501张图像的FairFace数据集，同样被提取和裁剪。

本地面部验证模型是从FaceNet和DeepFace的基础实现中派生出来的，预训练在ConvNet Inception上，每个图像由一个128维向量表示。

方法使用FairFace中训练子集的面部图像。为了通过面部验证，图像的弗罗贝尼乌斯范数计算的距离被设置为与数据库中的目标用户进行比较。任何距离小于0.7的图像被认为是相同的身份，否则验证被认为失败。

StyleGAN模型在作者的个人数据集上进行了微调，生成了可识别的作者身份变体，但这些生成的图像与训练数据并不完全相同。这是通过“冻结”判别器的前四层来实现的，以避免数据过拟合并生成多样化的输出。

虽然使用基本的StyleGAN模型获得了多样化的图像，但低分辨率和保真度促使进行第二次尝试，使用StarGAN V2，它允许将种子图像训练为目标面部。

StarGAN V2模型在FairFace验证集上预训练了大约10个小时，批量大小为4，验证大小为8。在最成功的方法中，作者的个人数据集被用作源数据，训练数据被用作参考数据。

验证实验

构建了一个面部验证模型，基于1000张图像的子集，用于验证任意图像。成功通过验证的图像随后被测试与作者自己的身份进行比较。

左边，论文作者，真实照片；中间，一个未通过验证的任意图像；右边，数据集中一个无关的图像，通过验证为作者的身份。[/em>

实验的目标是创建一个尽可能大的视觉身份差距，同时保留目标身份的定义特征。这是使用马哈拉诺比斯距离来评估的，这是一种在图像处理中用于模式和模板搜索的度量。

对于基线生成模型，低分辨率结果显示出有限的多样性，尽管它们通过了本地面部验证。StarGAN V2证明了创建能够通过验证的多样化图像的能力更强。

所有显示的图像都通过了本地面部验证。上面是低分辨率的StyleGAN基线生成图像，下面是更高分辨率和质量更好的StarGAN V2生成图像。[/em>

上面显示的最后三张图像使用作者自己的面部数据集作为源数据和参考数据，而之前的图像使用训练数据作为参考数据，作者的数据集作为源数据。

生成的图像被测试与交友应用Bumble和Tinder的面部验证系统进行比较，使用作者的身份作为基线，并通过验证。作者面部的“男性”版本也通过了Bumble的验证过程，尽管生成的图像的照明需要调整才能被接受。Tinder没有接受“男性”版本。

作者（女性）身份的“男性”版本。[/em>

结论

这些是身份投影的开创性实验，尤其是在GAN潜在空间操作的背景下，这仍然是图像合成和深度伪造研究中的一项非凡挑战。尽管如此，这项工作开启了在多样化身份中一致地嵌入特定特征的概念，以及创建“替代”身份的概念，这些身份被机器系统读取为另一个人。

首次发表于2022年3月30日。