使用生成对抗网络的“创造性”面部验证

斯坦福大学的一篇新论文提出了一个初步的方法，用于欺骗面部认证系统，例如在约会应用程序中使用 生成对抗网络 (GAN) 创建替代面部图像，这些图像包含与真实面部相同的基本 ID 信息。

该方法成功地绕过了 Tinder 和 Bumble 约会应用程序的面部验证过程，在一个案例中，甚至可以用一个性别交换（男性）的面部来冒充源（女性）身份。

各种生成的身份，具有论文作者的特定编码（上图中的第一个图像）。来源：https://arxiv.org/pdf/2203.15068.pdf

根据作者的说法，这项工作代表了首次尝试使用生成的图像来绕过面部验证，这些图像具有特定的身份特征，但试图代表一个替代或大幅修改的身份。

该技术在一个自定义的本地面部验证系统上进行了测试，并且在针对两个使用用户上传的图像进行面部验证的约会应用程序的黑盒测试中表现良好。

新的 论文 的标题为 面部验证绕过 ，来自斯坦福大学电气工程系的研究员 Sanjana Sarda 。

控制面部空间

虽然将 ID 特定特征（例如来自面部、道路标志 等）注入到精心制作的图像中是对抗性攻击的常见做法，但这项新研究表明了某些不同的事情：研究领域对 生成对抗网络 的潜在空间的控制能力的日益增长，最终将使得能够开发出能够创建 一致 替代身份的架构，并且能够从网上可用的图像中提取身份特征来创建“影子”身份。

一致性和可导航性一直是生成对抗网络潜在空间的主要挑战。一个成功地将一组训练图像融入其潜在空间的生成对抗网络，无法提供一种简单的方法来“推动”一个类别中的特征到另一个类别中。

虽然诸如梯度加权类激活映射（Grad-CAM）等技术和工具可以帮助建立 潜在方向 并实现转换（见下图），但进一步的挑战通常会导致“近似”旅程，转换控制有限。

生成对抗网络潜在空间中编码向量之间的粗糙旅程，推动一个数据派生的男性身份进入潜在空间另一侧的“女性”编码。图像来源：https://www.youtube.com/watch?v=dCKbRCUyop8

在潜在空间中“冻结”和保护 ID 特定特征的能力，同时将它们转移到其他地方，这可能使得创建一个一致（甚至可动画化）的个体成为可能，该个体的身份被机器系统读取为其他人。

方法

作者使用两个数据集作为实验的基础：一个人类用户数据集，包含 310 张她自己的面部图像，跨越四年，光线、年龄和视角各异；以及一个种族平衡的 108,501 张图像的 FairFace 数据集，同样被提取和裁剪。

本地面部验证模型来自 FaceNet 和 DeepFace 的基础实现，预训练于 ConvNet Inception ，每张图像由一个 128 维向量表示。

该方法使用来自 FairFace 训练子集的面部图像。为了通过面部验证，图像的 Frobenius 范数 计算的距离被设置为目标用户在数据库中的阈值。任何图像的 Frobenius 范数低于 0.7 被认为是相同的身份，否则验证被认为失败。

一个 StyleGAN 模型在作者的个人数据集上进行了微调，产生了一个可以生成作者身份的可识别变体的模型，尽管这些生成的图像与训练数据并不相同。这是通过 冻结 判别器的前四层来实现的，以避免数据过拟合并产生多样化的输出。

虽然使用基本的 StyleGAN 模型获得了多样化的图像，但低分辨率和保真度促使进行第二次尝试，使用 StarGAN V2 ，它允许将种子图像训练到目标面部。

StarGAN V2 模型在大约 10 小时内使用 FairFace 验证集进行了预训练，批次大小为 4，验证大小为 8。在最成功的方法中，作者的个人数据集被用作源数据，训练数据作为参考。

验证实验

构建了一个面部验证模型，基于 1000 张图像的子集，用于验证集合中的任意图像。成功通过验证的图像随后被测试到作者自己的 ID。

左边，论文作者，一张真实照片；中间，一张未通过验证的任意图像；右边，数据集中的一张未相关图像，通过验证作为作者。

实验的目标是创建一个最大化视觉身份差异的同时保留目标身份的定义特征的图像。这是使用 Mahalanobis 距离 评估的，这是一种用于图像处理的模式和模板搜索的度量。

对于基线生成模型，低分辨率的结果显示出有限的多样性，尽管通过了本地面部验证。StarGAN V2 证明了创建能够通过验证的多样化图像的能力。

所有图像都通过了本地面部验证。上面是低分辨率的 StyleGAN 基线生成图像，下面是更高分辨率和更高质量的 StarGAN V2 生成图像。

上面显示的最后三张图像使用作者自己的面部数据集作为源和参考，而前面的图像使用训练数据作为参考，作者的数据集作为源。

生成的图像被测试到 Bumble 和 Tinder 约会应用程序的面部验证系统，使用作者的身份作为基线，并通过了验证。作者的面部的“男性”版本也通过了 Bumble 的验证过程，尽管生成的图像的光线需要在被接受之前进行调整。Tinder 没有接受男性版本。

作者（女性）身份的“男性”版本。

结论

这些是身份投影的开创性实验，属于生成对抗网络潜在空间操纵的范畴，这仍然是图像合成和深度伪造研究中的一个非凡挑战。尽管如此，这项工作开启了在多样化身份中嵌入高度特定特征的一致性概念，以及创建“替代”身份的概念，这些身份被机器系统读取为其他人。

最初发布于 2022 年 3 月 30 日。