Anderson 视角

使用生成对抗网络进行“创意”面部验证

Martin Anderson
将 Unite.AI 添加到您在 Google 上的首选来源
要点斯坦福的GAN方法通过性别互换图像绕过了Tinder和Bumble的面部验证。
查看更多
  • 斯坦福的GAN方法通过性别互换图像绕过了Tinder和Bumble的面部验证。
  • StarGAN V2生成的多样化人脸质量更高,比StyleGAN更能通过本地验证。
  • 该技术将身份特征注入到修改后的人脸中,从而为认证系统提供一致的替代身份。

斯坦福大学的一篇新论文提出了一种初生的方法,用于欺骗面部身份验证系统,例如在交友应用程序中,通过使用生成对抗网络(GAN)创建包含与真实面部相同的基本身份信息的替代面部图像。

该方法成功地绕过了交友应用Tinder和Bumble的面部验证过程,在一次测试中,甚至将一个性别交换(男性)面部作为真实身份(女性)进行了验证。

各种生成的身份,具有论文作者的特定编码(如上图第一张图片所示)。来源:https://arxiv.org/pdf/2203.15068.pdf

各种生成的身份,具有论文作者的特定编码(如上图第一张图片所示)。来源:https://arxiv.org/pdf/2203.15068.pdf

根据作者的说法,这项工作代表了第一次尝试使用具有特定身份特征的生成图像来绕过面部验证,这些图像试图代表一个替代或大幅度改变的身份。

该技术在一个自定义的本地面部验证系统上进行了测试,并且在针对两个使用用户上传的图像进行面部验证的交友应用程序的黑盒测试中表现良好。

这篇新论文题为《绕过面部验证》,由斯坦福大学电气工程系的研究员Sanjana Sarda撰写。

控制面部空间

虽然将身份特有的特征(例如来自面部、道路标志等的特征)注入精心制作的图像,是对抗性攻击的常见做法,但这项新研究提出了另一种可能:研究领域日益增强的能力,即控制GAN潜在空间的能力,最终将使能够创建用户的一致替代身份的架构成为可能。这也意味着,可以从毫不知情的用户在网上公开的图像中提取身份特征,并将其用于精心构造的“影子”身份。

一致性和可导航性一直是GAN潜在空间的主要挑战。一个成功地将训练图像集成入其潜在空间的GAN提供的特征映射并不容易从一个类别“推”到另一个类别。

虽然梯度加权类激活映射(Grad-CAM)等技术和工具可以帮助在既定类别之间建立潜在方向并实现转换(见下图),但特征纠缠这一额外挑战,通常使转换过程只能近似完成,对过渡的精细控制也有限。

GAN潜在空间中编码向量之间的粗略过渡,将从数据中得到的男性身份推向复杂而隐晦的潜在空间中众多线性超平面之一另一侧的“女性”编码。图像来源:https://www.youtube.com/watch?v=dCKbRCUyop8

GAN潜在空间中编码向量之间的粗略过渡,将从数据中得到的男性身份推向复杂而隐晦的潜在空间中众多线性超平面之一另一侧的“女性”编码。图像来源:https://www.youtube.com/watch?v=dCKbRCUyop8

能够“冻结”和保护特定特征,同时将它们转移到潜在空间的其他位置,可能使得创建一个一致的(甚至可以动画化)个体成为可能,该个体的身份被机器系统读取为另一个人。

方法

作者使用两个数据集作为实验的基础:一个包含310张她自己面部的图像,跨越四年,具有不同的光照、年龄和视角),使用Caffe提取并裁剪面部;以及种族分布均衡、包含108501张图像的FairFace数据集,同样被提取和裁剪。

本地面部验证模型是从FaceNet和DeepFace的基础实现中派生出来的,并在ConvNet Inception上预训练,每个图像由一个128维向量表示。

方法使用FairFace中训练子集的面部图像。为了通过面部验证,图像的弗罗贝尼乌斯范数计算的距离被设置为与数据库中的目标用户进行比较。任何距离小于0.7的图像被认为是相同的身份,否则验证被认为失败。

StyleGAN模型在作者的个人数据集上进行了微调,生成了可识别的作者身份变体,但这些生成的图像与训练数据并不完全相同。这是通过“冻结”判别器的前四层来实现的,以避免数据过拟合并生成多样化的输出。

虽然使用基本的StyleGAN模型获得了多样化的图像,但低分辨率和有限的保真度促使进行第二次尝试,使用StarGAN V2,它允许将种子图像训练为目标面部。

StarGAN V2模型在FairFace验证集上预训练了大约10个小时,批量大小为4,验证大小为8。在最成功的方法中,作者的个人数据集被用作源数据,训练数据被用作参考数据。

验证实验

构建了一个面部验证模型,基于1000张图像的子集,用于验证任意图像。成功通过验证的图像随后被测试与作者自己的身份进行比较。

左边,论文作者,真实照片;中间,一个未通过验证的任意图像;右边,数据集中一个无关的图像,通过验证为作者的身份。

左边,论文作者,真实照片;中间,一个未通过验证的任意图像;右边,数据集中一个无关的图像,通过验证为作者的身份。

实验的目标是创建一个尽可能大的视觉身份差距,同时保留目标身份的定义特征。这是使用马哈拉诺比斯距离来评估的,这是一种在图像处理中用于模式和模板搜索的度量。

对于基线生成模型,低分辨率结果显示出有限的多样性,尽管它们通过了本地面部验证。StarGAN V2证明了创建能够通过验证的多样化图像的能力更强。

所有显示的图像都通过了本地面部验证。上面是低分辨率的StyleGAN基线生成图像,下面是更高分辨率和质量更好的StarGAN V2生成图像。

所有显示的图像都通过了本地面部验证。上面是低分辨率的StyleGAN基线生成图像,下面是更高分辨率和质量更好的StarGAN V2生成图像。

上面显示的最后三张图像使用作者自己的面部数据集作为源数据和参考数据,而之前的图像使用训练数据作为参考数据,作者的数据集作为源数据。

生成的图像被测试与交友应用Bumble和Tinder的面部验证系统进行比较,使用作者的身份作为基线,并通过验证。作者面部的“男性”版本也通过了Bumble的验证过程,尽管生成的图像的照明需要调整才能被接受。Tinder没有接受“男性”版本。

作者(女性)身份的“男性”版本。

作者(女性)身份的“男性”版本。

结论

这些是身份投影的开创性实验,尤其是在GAN潜在空间操作的背景下,这仍然是图像合成和深度伪造研究中的一项非凡挑战。尽管如此,这项工作开启了在多样化身份中一致地嵌入特定特征的概念,以及创建“替代”身份的概念,这些身份被机器系统读取为另一个人。

 

首次发表于2022年3月30日。

机器学习撰稿人,专注于人类图像合成的领域专家。曾任 Metaphysic.ai 的研究内容负责人,直至其并入 DNEG 的 Brahma.ai。
网站: martinanderson.ai
联系:martin@martinanderson.ai