关注我们.

安德森的角度

美颜滤镜是潜在的 Deepfake 攻击工具

mm
来源:https://www.youtube.com/watch?v=gtCpea_5qxw 和 https://www.youtube.com/watch?v=3wVpVH0Wa6E

美颜滤镜如今的作用远不止遮瑕:它们可以帮助深度伪造和人脸变形躲过检测系统。一项新研究表明,即使是细微的平滑效果也会使人工智能检测器产生混淆,使假图像看起来像真的,真图像看起来像假的。如果这种趋势持续下去,美颜滤镜可能会在从边境管制到企业Zoom会议等高风险场合面临限制。

 

在 2024 年的学术 合作 西班牙和意大利的研究人员报告称,90% 的 18-30 岁女性在社交媒体上发布照片前使用了美颜滤镜。从这个意义上讲,美颜滤镜是一种算法或人工智能辅助的改变面部外观的方法,据称可以使其在原始图像上得到改善:

摘自 2024 年的研究:美颜滤镜前后女性(左)和男性(右)面部示例。美颜滤镜改变了肤色、眼睛、鼻子、嘴唇、下巴和颧骨等特征,以增强感知吸引力。来源:https://arxiv.org/pdf/2407.11981

摘自 2024 年的研究:美颜滤镜前后女性(左)和男性(右)面部示例。美颜滤镜会改变肤色、眼睛、鼻子、嘴唇、下巴和颧骨等特征,以增强感知吸引力。 来源:https://arxiv.org/pdf/2407.11981

此类滤镜也广泛用于流行的基于视频的系统中,包括 Snapchat 和 Zoom,作为原生功能或附加功能,可以抚平“不完美”的皮肤,甚至改变拍摄对象的年龄,甚至可以说身份发生了实质性的改变:

点击播放: 三名女性关闭了她们的视频“美化”滤镜,展示了她们的面容被算法或人工智能改变的程度。 来源:https://www.youtube.com/watch?v=gtCpea_5qxw

一旦技术相对成熟,这种现象似乎就达到了饱和点;2020 根据一项研究, 伦敦城市大学的一项研究显示,美国、法国和英国 90% 的年轻 Snapchat 用户在其应用中使用了滤镜,而 Meta 报告称,当时已有超过 600 亿年轻人在 Facebook 或 Instagram 上使用过滤镜。

《今日心理学》探讨了此类过滤器对心理健康的不利影响 报告 研究结果显示,在接受调查的年轻女性中,90%(平均年龄20岁)使用过滤镜或以某种方式编辑过照片。最受欢迎的滤镜包括均匀肤色、美黑效果、美白牙齿,甚至还能缩小身材的滤镜。

面对

由于面部滤镜将受益于 2025 革命 在视频合成领域,以及更普遍地从对该研究领域的持续兴趣来看,我们在实时视频聊天中“重现”或重新想象自己的程度,越来越受到安全界对欺诈或 犯罪深度伪造视频技术.

一个问题是 “简单”测试 近年来,深度伪造视频的出现,可能是为了 诈骗巨额钱财 在企业环境中,这些方法不可避免地会变得不那么有效,因为这些致命弱点在训练数据和推理时都会被考虑到:

点击播放: 三四年前,在深度伪造的脸前挥挥手是视频通话的可靠测试,但我们可以看到,TikTok 等公司正在努力深入研究经典的“告诉”方法。 资料来源:同上和https://archive.is/mofRV#wavehands

更为关键的是,换脸/美化滤镜的广泛使用,为新一代深度伪造检测器带来了挑战,这些检测器的任务是将冒名顶替者挡在董事会视频聊天之外,并使其远离脆弱的潜在受害者。 “绑架”和“冒名顶替”诈骗.

无论是照片还是视频,如果 图像分辨率低 或者图像质量以某种方式下降,因为底层伪造系统可以将其自身的缺陷隐藏在看似连接或平台问题的背后。

实际上,最流行的美化滤镜会去除一些在识别视频深度伪造时最有用的材料,例如皮肤纹理和其他面部细节区域——值得考虑的是,脸部越老,它可能包含的细节就越多,因此在这种情况下,使用虚荣的抗衰老滤镜可能特别有诱惑力。

如果缺乏细节的“机器人”风格成为潮流,深度伪造检测技术可能缺乏区分真假图像和视频人物所需的素材。来源:https://www.instagram.com/reel/DMyGerPtTPF/?hl=en

如果无细节的“机器人”风格外观成为时尚,那么深度伪造检测器可能缺乏区分真实和虚假图像和视频人物所需的材料。 来源:https://www.instagram.com/reel/DMyGerPtTPF/?hl=en

英国皇家学会 2024 年末 美的依然好:美颜滤镜时代的魅力光环效应 证实使用滤镜普遍提高了两性的总体吸引力(尽管吸引力的增加往往会降低使用美颜滤镜的女性对智力的总体评价)。

因此,可以公平地说,这是一项流行的技术;它是有效的;如果它突然受到安全限制或在不同情况下被禁止,那将是一种文化冲击。

尽管如此,在视频深度伪造的时代 有可能变得难以区分 与真正的视频参与者相比,无论是在外观还是言语上,出于安全原因,未来可能需要减轻美颜滤镜带来的纯粹全局“噪音”。

犯罪高手

该问题最近已在 新文 来自意大利卡利亚里大学,标题为 欺骗性美颜:评估美颜滤镜对 Deepfake 和变形攻击检测的影响.

在这项新研究中,研究人员将美颜滤镜应用于来自两个基准数据集的面部,并在原始图像和修改后的图像上测试了几种深度伪造和变形攻击检测器。

几乎在所有情况下,美化后检测准确率都会下降;最显著的下降发生在滤镜抚平皱纹、提亮肤色或细微重塑面部特征时。这些变化消除或扭曲了检测模型所依赖的线索。

例如,MorphDB 上表现最佳的模型在过滤后损失了 9% 以上的准确率,并且该问题在多个检测架构中仍然存在,这表明当前系统对于常见的美容增强不够稳健。

作者总结:

“[美化]滤镜对生物特征认证和取证分析系统的完整性构成威胁,使得在这种情况下强大的深度伪造和变形攻击检测成为一个关键的公开挑战。

“未来的工作应该优先开发能够抵御现实世界中微妙的改变(无论是否恶意)的数字操纵检测系统,以确保在日常和安全关键环境中进行可靠的身份识别和内容验证。”

方法与数据

评估美颜滤镜如何影响 Deepfake 和 形态检测中,研究人员应用了渐进式平滑滤波器,并在两个基准卷积神经网络上测试了结果(CNN)与目标问题密切相关: 亚历克斯网 以及 VGG19.

测试的两个基准数据集都包含恰当的面部操作示例。第一个是 CelebDF,这是一个大规模视频基准测试,包含 590 个真实视频片段和 5,639 个伪造视频片段,这些片段是通过先进的换脸技术创建的。该数据集涵盖了 59 名参与者的各种光照条件、头部姿势和自然表情,非常适合评估深度伪造检测器在真实媒体场景中的适应能力:

受影响面部图像示例,来自 CelebDF。来源:https://github.com/yuezunli/celeb-deepfakeforensics

受影响面部图像的示例,来自 CelebDF。 来源:https://github.com/yuezunli/celeb-deepfakeforensics

第二个是 AMSL (需要注册),由伦敦人脸研究实验室构建的变形攻击数据集 采集,包含真实和合成混合的面部表情。该数据集包含 102 名受试者的中性表情和微笑表情,其结构旨在反映边境管制等场景中使用的生物识别身份验证系统所面临的现实挑战。

图片来自 AMSL 使用的 Face Research Lab London set (FRLL) 数据集。来源:https://figshare.com/articles/dataset/Face_Research_Lab_London_Set/5047666?file=8541955

来自源 Face Research Lab London 集 (FRLL) 数据集的图像,用于 AMSL。 资料来源:https://figshare.com/articles/dataset/Face_Research_Lab_London_Set/5047666?file=8541955

每个网络都使用 80% 的 Deepfake 或变形数据集进行训练,剩余的 20% 用于 验证为了测试对美化的鲁棒性,研究人员随后对测试图像应用了渐进式平滑滤波器,将模糊半径从面部高度的 3% 增加到 5%:

CelebDF(上)和 AMSL(下)数据集中的示例人脸,分别展示了应用基于平滑的美颜滤镜前后的效果。滤镜半径根据人脸高度进行缩放,c = 3% 和 c = 5% 时,美颜效果会逐渐增强。

CelebDF(上)和 AMSL(下)数据集中的示例人脸,分别展示了应用基于平滑的美颜滤镜前后的效果。滤镜半径根据人脸高度进行缩放,c = 3% 和 c = 5% 时,美颜效果会逐渐增强。

对于指标,每个模型都使用等错误率进行评估(能效比) 在原始和美化后的测试样本上均表现出色。分析还报告了真实呈现分类错误率 (巴布达佩斯),即假阳性率,以及攻击表现分类错误率 (亚太经合组织),即假阴性率,使用在原始数据上设置的阈值。

来自 AMSL 数据集的变形面部。

为了进一步评估性能,ROC 曲线下面积 (AUC) 并检查了真实图像和虚假图像的分数分布。

检测

在深度伪造检测结果中,随着美化强度的增加,两个网络的等错误率 (EER) 均有所上升。AlexNet 的 EER 从原始图像的 22.3% 上升到最高平滑度下的 28.1%,而 VGG19 的 EER 则从 30.2% 上升到 35.2%。性能下降在每种情况下都遵循不同的模式:

使用 AlexNet 和 VGG19 在 CelebDF 数据集上进行 Deepfake 检测的结果。两个模型均在原始图像和美化后的图像上进行了测试,美化程度不断提高。显示的指标包括等错误率 (EER)、真实呈现分类错误率 (BPCER) 和攻击呈现分类错误率 (APCER),使用从原始测试集固定的阈值。检测准确率随着美化强度的增加而下降,但不同架构的下降模式有所不同。

使用 AlexNet 和 VGG19 在 CelebDF 数据集上进行 Deepfake 检测的结果。两个模型均在原始图像和美化后的图像上进行了测试,美化程度不断提高。显示的指标包括等错误率 (EER)、真实呈现分类错误率 (BPCER) 和攻击呈现分类错误率 (APCER),使用从原始测试集固定的阈值。检测准确率随着美化强度的增加而下降,但不同架构的下降模式有所不同。

随着美化程度的提高,AlexNet 更容易将真人脸误认为假人脸,其假阳性率(BPCER)稳步上升就是明证。而 VGG19 则在识别假人脸方面表现得较为吃力,假阴性率(APCER)也持续上升。这两个模型对过滤器的响应不同,这表明即使是知名的架构在面对美化修改时,也可能以不同的方式失效。

为了更好地理解这些结果,研究人员分别将美化滤镜应用于真实图像和虚假图像,并测量了其对检测性能的影响。下表显示了美化滤镜的细分,阐明了每个模型的漏洞来源:

AlexNet 和 VGG19 在 CelebDF 数据集上进行部分美化后的检测准确率。该表报告了三种场景:美化后的真实图像 vs. 美化后假图像(F-Real vs. F-Fake);美化后的真实图像 vs. 原始假图像(F-Real vs. O-Fake);以及原始真实图像 vs. 美化后假图像(O-Real vs. F-Fake)。准确率的下降表明检测器性能下降。AlexNet 在对真实图像进行美化时受影响最大,而 VGG19 在对假图像进行美化时受影响最大。

AlexNet 和 VGG19 在 CelebDF 数据集上进行部分美化后的检测准确率。该表报告了三种场景:美化后的真实图像 vs. 美化后假图像(F-Real vs. F-Fake);美化后的真实图像 vs. 原始假图像(F-Real vs. O-Fake);以及原始真实图像 vs. 美化后假图像(O-Real vs. F-Fake)。准确率的下降表明检测器性能下降。AlexNet 在对真实图像进行美化时受影响最大,而 VGG19 在对假图像进行美化时受影响最大。

对于 AlexNet,当真实图像经过美化处理时,检测性能会下降,但当仅对伪造图像进行平滑处理时,检测性能会有所提升。对于 VGG19,当真实图像经过美化处理时,性能会略有提升,但当深度伪造图像经过过滤处理时,性能会下降。在所有情况下, 美化程度增强,准确率降低.

箱线图展示了 AlexNet 和 VGG19 在 CelebDF 数据集中,在美化程度不断提升的情况下,对真实和虚假样本的输出分数分布。随着平滑度的增强,真实图像和虚假图像的分数分布变得越来越难以区分,这表明检测可靠性降低。AlexNet 识别真实人脸的信心下降,而 VGG19 错误分类虚假人脸的可能性则上升。

箱线图展示了 AlexNet 和 VGG19 在 CelebDF 数据集中,在美化程度不断提升的情况下,对真实和虚假样本的输出分数分布。随着平滑度的增强,真实图像和虚假图像的分数分布变得越来越难以区分,这表明检测可靠性降低。AlexNet 识别真实人脸的信心下降,而 VGG19 错误分类虚假人脸的可能性则上升。

美化使 AlexNet 的输出分数在真假样本中更加均匀,而 VGG19 在每个类别中表现出更大的分散性。尽管这些对分数变异性的影响截然不同,但两个模型的准确率都下降了。对于 AlexNet,真实人脸的分数更接近深度伪造的分数。对于 VGG19,真实图像和假图像的分数开始重叠,降低了模型区分它们的能力。

该文件指出:

这些结果具有重要的意义,并表明有必要考虑在深度伪造检测中使用美化滤镜,因为这些滤镜可能会对性能产生不可预测的影响。特别是,不同的架构对面部操作的响应不同,即使这些操作并非旨在欺骗。

例如,基于特定的深度伪造检测器,美化滤镜可以显著改变输出,使真实图像被识别为伪造图像,更重要的是,允许深度伪造欺骗检测。

“因此,有必要集中精力开发更强大的检测器,以抵御这种微妙的、并非严格恶意的篡改,这些篡改可以作为恶意深度伪造操纵的伪装。”

在变形攻击场景中,通过混合两个人的面部特征来创建合成图像。该图像被用来欺骗面部识别系统,使两个源身份被认证为同一个人。此类攻击在安全环境中尤其重要,因为生物识别系统 可能会被误导 接受变形图像用于官方识别。

上表显示了美化前后 AMSL 图像的变形攻击检测结果,随着平滑强度的增加,两个网络的误差都急剧增加。

上表显示了美化前后 AMSL 图像的变形攻击检测结果,随着平滑强度的增加,两个网络的误差都急剧增加。

在变形攻击场景中,性能下降幅度比深度伪造检测更大。AlexNet 的 EER 从 27.6% 上升到 41.2%,VGG19 的 EER 从 19.0% 上升到 37.3%,这主要是由于误报:真实面孔被误分类为变形。在 3% 的平滑半径下,VGG19 的误报率高达 90%。

当选择性地应用过滤器时,这种模式依然成立。平滑真实面部会降低检测效果,而仅平滑变形面部则会改善结果。随着平滑程度的增强,两个网络都显示出真实分数和虚假分数之间的分离度减小,VGG19 尤其变得不稳定。

作者指出,这些发现表明,美颜滤镜可以帮助变形者逃避检测 甚至比深度伪造更有效,引发严重的安全担忧。

由于篇幅有限,以下示例展示了最小美化(3% 平滑半径)如何改变 AlexNet 的分类结果。左侧是真实图像在过滤后被错误分类为攻击图像,右侧是变形图像在过滤后被错误分类为真实图像。

由于篇幅有限,以下示例展示了最小美化(3% 平滑半径)如何改变 AlexNet 的分类结果。左侧是真实图像在过滤后被错误分类为攻击图像,右侧是变形图像在过滤后被错误分类为真实图像。

最后,研究人员发现,即使是温和的美化滤镜也会显著降低最先进的深度伪造和变形检测器的性能。

不同架构的影响各不相同,AlexNet 的性能逐渐下降,而 VGG19 在最小滤波下则崩溃。由于这些滤波器很常见且本质上并非恶意,因此作者认为,它们隐藏攻击的能力构成了实际威胁,尤其是在生物识别系统中。本文强调了对此类细微图像处理具有鲁棒性的检测模型的必要性。

结语

训练能够忽略美化滤镜的深度伪造检测系统可能很困难的一个原因是缺乏对比材料;最终,“美化”版本才会被广泛传播,而且与我们之前嵌入作为说明的视频不同,很少使用“之前”的图片。

另一个障碍是,许多过滤器在保存图像或压缩视频时执行的正是压缩操作所特有的平滑处理(这对提供商的带宽来说是一个福音,而且对于使用过滤器的人来说也是一种数字皮肤改造)。

深度伪造检测研究部门已经深入致力于对抗现实世界中由于相机质量差、过度压缩或网络连接不稳定等问题而导致的图像质量下降的情况——所有这些情况都直接有利于深度伪造欺诈者,他们被迫在高质量、高分辨率的场景中付出更大的努力。

美化滤镜最终是否会成为一种安全隐患,似乎取决于它们在多大程度上阻碍了深度伪造的筛查方法,或者最终构成一种 事实上的 防火墙对不法分子的益处大于对打击不法分子的益处。

 

首次发布于 24 年 2025 月 XNUMX 日星期三

机器学习作家,人体图像合成领域专家。曾任 Metaphysic.ai 研究内容主管。
个人网站: 马丁南德森.ai
联系我们 [email protected]
推特:@manders_ai