关注我们.

人工智能

使用生成对抗网络进行“创造性”面部验证

mm
更新 on

斯坦福大学的一篇新论文提出了一种欺骗约会应用程序等平台中的面部认证系统的新方法,方法是使用 生成性对抗网络 (GAN) 创建替代面部图像,其中包含与真实面部相同的基本 ID 信息。

该方法成功绕过了约会应用程序 Tinder 和 Bumble 上的面部验证流程,在一种情况下甚至将性别交换的(男性)面部冒充为源(女性)身份的真实身份。

各种生成的身份,具有论文作者的特定编码(如上面第一张图片所示)。 资料来源:https://arxiv.org/pdf/2203.15068.pdf

各种生成的身份,具有论文作者的特定编码(如上面第一张图片所示)。 资料来源:https://arxiv.org/pdf/2203.15068.pdf

据作者称,这项工作代表了首次尝试使用生成的图像绕过面部验证,这些图像充满了特定的身份特征,但试图代表替代或实质性改变的身份。

该技术在定制的本地面部验证系统上进行了测试,然后在针对两个对用户上传的图像进行面部验证的约会应用程序的黑盒测试中表现良好。

新的 标题为 人脸验证绕过,来自斯坦福大学电气工程系研究员 Sanjana Sarda。

控制面部空间

虽然“注入”特定于 ID 的特征(即来自面部、 路标等)到精心制作的图像中是主要内容 对抗攻击,这项新研究提出了不同的观点:研究部门的 成长能力控制 GAN 的潜在空间最终将促进架构的开发,这些架构可以创建 一贯 用户身份的替代身份,并且有效地从毫无戒心的用户的网络可用图像中提取身份特征,以纳入“影子”精心设计的身份。

自生成对抗网络诞生以来,一致性和可导航性一直是 GAN 潜在空间的主要挑战。 成功地将训练图像集合吸收到其潜在空间中的 GAN 并没有提供将特征从一个类别“推送”到另一个类别的简单映射。

虽然梯度加权类激活映射等技术和工具(研究生院)可以帮助建立 潜在方向 在已建立的类之间进行转换(见下图),进一步的挑战是 纠葛 通常会进行“近似”旅程,对过渡的精细控制有限。

GAN 潜在空间中编码向量之间的一段艰难旅程,将数据派生的男性身份推入复杂而神秘的潜在空间中许多线性超平面之一的另一侧的“女性”编码中。 图片源自 https://www.youtube.com/watch?v=dCKbRCUyop8 上的材料

GAN 潜在空间中编码向量之间的一段艰难旅程,将数据派生的男性身份推入复杂而神秘的潜在空间中许多线性超平面之一的另一侧的“女性”编码中。 图片源自 https://www.youtube.com/watch?v=dCKbRCUyop8 上的材料

“冻结”和保护 ID 特定特征的能力,同时将它们转移到潜在空间其他地方的变革性编码中,这可能使得创建一个一致(甚至可动画)的个体成为可能,其身份被机器系统读取为其他人。

付款方式

作者使用了两个数据集作为实验的基础:一个人类用户数据集,包含 310 年期间的 XNUMX 张面部图像(光照、年龄和视角各不相同),并通过以下方式提取裁剪后的面部图像: 咖啡; 以及种族平衡的 108,501 张图像 美丽的脸 数据集,类似地提取和裁剪。

本地面部验证模型源自以下基础实现 面对网深脸,预训练于 卷积网络初始阶段,每个图像由一个 128 维向量表示。

该方法使用来自 FairFace 训练后的子集的人脸图像。 为了通过人脸验证,计算出图像的距离引起的距离 弗罗贝尼乌斯范数 与数据库中目标用户的偏移量。 任何低于0.7阈值的图像都等同于相同的身份,否则认为验证失败。

StyleGAN 模型在作者的个人数据集上进行了微调,生成了一个可以生成可识别的她身份变化的模型,尽管这些生成的图像都与训练数据不同。 这是通过以下方式实现的 冷冻 判别器中的前四层,以避免数据过度拟合并产生多样化的输出。

尽管使用基本 StyleGAN 模型获得了不同的图像,但低分辨率和保真度促使我们进行了第二次尝试 StarGAN V2,它允许将种子图像训练到目标面部。

StarGAN V2 模型使用 FairFace 验证集进行了大约 10 个小时的预训练,批量大小为 8,验证大小为 XNUMX。在最成功的方法中,使用作者的个人数据集作为源,训练数据为一个参考。

验证实验

基于 1000 张图像的子集构建了面部验证模型,目的是验证该集中的任意图像。 成功通过验证的图像随后与作者自己的 ID 进行了测试。

左边是论文作者的真实照片; 中间,任意一张验证失败的图片; 右图是数据集中的一张不相关的图像,通过了作者身份验证。

左边是论文作者的真实照片; 中间,任意一张验证失败的图片; 右图是数据集中的一张不相关的图像,通过了作者身份验证。

实验的目的是在感知的视觉身份之间创造尽可能宽的差距,同时保留目标身份的定义特征。 这是通过评估 马氏距离,用于模式和模板搜索的图像处理中的度量。

对于基线生成模型,尽管通过了本地面部验证,但获得的低分辨率结果显示出有限的多样性。 事实证明,StarGAN V2 更有能力创建能够进行身份验证的多样化图像。

所有描绘的图像都通过了本地面部验证。 上面是低分辨率的 StyleGAN 基线世代,下面是更高分辨率和更高质量的 StarGAN V2 世代。

所有描绘的图像都通过了本地面部验证。 上面是低分辨率的 StyleGAN 基线世代,下面是更高分辨率和更高质量的 StarGAN V2 世代。

上面所示的最后三张图像使用作者自己的人脸数据集作为源和参考,而前面的图像使用训练数据作为参考并使用作者的数据集作为源。

生成的图像以作者身份为基准,针对约会应用程序 Bumble 和 Tinder 的面部验证系统进行了测试,并通过了验证。 作者的“男性”脸部也通过了 Bumble 的验证过程,不过在接受之前必须在生成的图像中调整光照。 Tinder 不接受男性版本。

作者(女性)身份的“男性”版本。

作者(女性)身份的“男性”版本。

结论

这些是在 GAN 潜在空间操纵背景下的身份投影方面的开创性实验,这在图像合成和深度造假研究中仍然是一个巨大的挑战。 尽管如此,工作开启了在不同身份中一致嵌入高度具体特征的概念,以及创建“替代”身份以“解读”为其他人的概念。

 

首次发布于 30 年 2022 月 XNUMX 日。