使用生成对抗网络进行“创造性”面部验证

斯坦福大学的一篇新论文提出了一种欺骗约会应用程序等平台中的面部认证系统的新方法，方法是使用 生成性对抗网络 (GAN) 创建替代面部图像，其中包含与真实面部相同的基本 ID 信息。

该方法成功绕过了约会应用程序 Tinder 和 Bumble 上的面部验证流程，在一种情况下甚至将性别交换的（男性）面部冒充为源（女性）身份的真实身份。

生成各种身份，以论文作者的特定编码为特色（如上图第一张所示）。 资料来源：https://arxiv.org/pdf/2203.15068.pdf

据作者称，这项工作代表了首次尝试使用生成的图像绕过面部验证，这些图像充满了特定的身份特征，但试图代表替代或实质性改变的身份。

该技术在定制的本地面部验证系统上进行了测试，然后在针对两个对用户上传的图像进行面部验证的约会应用程序的黑盒测试中表现良好。

新的 纸 标题为 人脸验证绕过，来自斯坦福大学电气工程系研究员 Sanjana Sarda。

控制面部空间

尽管“注入”了特定于身份的特征（例如从面部、 路标等）到精心制作的图像中是主要内容 对抗攻击，这项新研究表明了不同的情况：研究部门的 成长能力 至 控制 GAN 的潜在空间最终将促进架构的开发，这些架构可以创建 一贯 替代用户的身份——并且有效地从网络上毫无戒心的用户图像中提取身份特征，以纳入“影子”身份。

自生成对抗网络 (GAN) 诞生以来，一致性和可导航性一直是 GAN 潜在空间面临的主要挑战。一个成功将一系列训练图像吸收到其潜在空间的 GAN 无法提供简单的映射来将特征从一个类别“推送”到另一个类别。

虽然梯度加权类激活映射等技术和工具（研究生院）可以帮助建立 潜在方向 在已建立的类之间进行转换（见下图），进一步的挑战是 纠葛 通常会形成一次“近似”的旅程，对过渡的精细控制有限。

GAN 潜在空间中编码向量之间的艰难旅程，将数据衍生的男性身份推入复杂而神秘的潜在空间中众多线性超平面之一另一侧的“女性”编码中。 图片源自 https://www.youtube.com/watch?v=dCKbRCUyop8 上的材料

“冻结”和保护特定于 ID 的特征，同时将它们移动到潜在空间中其他位置的变换编码中，这种能力有可能创建一个一致的（甚至是可动画的）个体，其身份可被机器系统读取为其他人。

付款方式

作者使用了两个数据集作为实验的基础：一个人类用户数据集，包含 310 年期间的 XNUMX 张面部图像（光照、年龄和视角各不相同），并通过以下方式提取裁剪后的面部图像： 咖啡; 以及种族平衡的 108,501 张图像 美丽的脸 数据集，类似地提取和裁剪。

本地面部验证模型源自以下基础实现 面对网 和 深脸，预训练于 卷积网络初始阶段，每个图像由一个 128 维向量表示。

该方法使用 FairFace 训练集的人脸图像。为了通过人脸验证，需要计算图像的 弗罗贝尼乌斯范数 与数据库中目标用户的偏移量。 任何低于0.7阈值的图像都等同于相同的身份，否则认为验证失败。

StyleGAN 模型基于作者的个人数据集进行了微调，最终生成了一个能够生成可识别其身份变体的模型，尽管生成的图像与训练数据并不完全相同。实现方式如下： 冷冻 判别器中的前四层，以避免数据过度拟合并产生多样化的输出。

尽管使用基本 StyleGAN 模型获得了不同的图像，但低分辨率和保真度促使我们进行了第二次尝试 StarGAN V2，它允许将种子图像训练到目标面部。

StarGAN V2 模型使用 FairFace 验证集进行了大约 10 小时的预训练，批量大小为 8，验证大小为 XNUMX。最成功的方法是以作者的个人数据集作为来源，以训练数据作为参考。

验证实验

基于 1000 幅图像的子集构建了人脸验证模型，旨在验证该集合中的任意一张图片。成功通过验证的图片随后会与作者本人的身份证进行比对。

左边是论文作者的真实照片；中间是未通过验证的任意图像；右边是来自数据集但通过了作者验证的无关图像。

实验的目的是在感知的视觉身份之间创造尽可能宽的差距，同时保留目标身份的定义特征。 这是通过评估 马氏距离，用于模式和模板搜索的图像处理中的度量。

对于基线生成模型，尽管通过了本地面部验证，但获得的低分辨率结果显示出有限的多样性。 事实证明，StarGAN V2 更有能力创建能够进行身份验证的多样化图像。

所有描绘的图像都通过了本地面部验证。 上面是低分辨率的 StyleGAN 基线世代，下面是更高分辨率和更高质量的 StarGAN V2 世代。

上面所示的最后三幅图像使用作者自己的人脸数据集作为源和参考，而前面的图像使用训练数据作为参考，以作者的数据集作为源。

生成的图像以作者身份为基准，通过了约会应用 Bumble 和 Tinder 的面部验证系统测试，并通过了验证。“男性”版本的作者面部也通过了 Bumble 的验证流程，但生成的图像在被接受之前需要调整光照。Tinder 不接受男性版本。

作者（女性）身份的“男性化”版本。

结语

这些实验是身份投射领域的开创性实验，其背景是 GAN 潜在空间操控，而这在图像合成和深度伪造研究中仍然是一项非凡的挑战。尽管如此，这项研究仍然开创了在不同身份之间一致地嵌入高度特异性特征的概念，并创造了能够“读”成他人的“替代”身份。

首次发布于 30 年 2022 月 XNUMX 日。