Connect with us

Anderson 视角

美容滤镜可能成为潜在的深度伪造攻击工具

mm
Sources: https://www.youtube.com/watch?v=gtCpea_5qxw and https://www.youtube.com/watch?v=3wVpVH0Wa6E

美容滤镜现在不仅可以隐藏瑕疵,还可以帮助深度伪造和面部变形躲过检测系统。新的研究表明,即使是微妙的光滑效果也会让人工智能检测器混淆,使假图像看起来真实,真实图像看起来假。如果这种趋势继续,美容滤镜可能会在高风险的环境中面临限制,从边境控制到企业的Zoom会议。

 

在2024年的学术合作中,西班牙和意大利的研究人员报告称,90%的18-30岁的女性在社交媒体上发布图像之前使用美容滤镜。在这个意义上,美容滤镜是算法或人工智能辅助的方法,用于改变面部外观,使其看起来比原始源更好:

来自2024年研究的例子:女性(左)和男性(右)面部在美容滤镜之前和之后。滤镜改变了皮肤色调、眼睛、鼻子、嘴唇、下巴和颧骨等特征,以增强感知到的吸引力。来源:https://arxiv.org/pdf/2407.11981

来自2024年研究的例子:女性(左)和男性(右)面部在美容滤镜之前和之后。滤镜改变了皮肤色调、眼睛、鼻子、嘴唇、下巴和颧骨等特征,以增强感知到的吸引力。 来源:https://arxiv.org/pdf/2407.11981

这样的滤镜也在流行的视频系统中广泛可用,包括Snapchat和Zoom,提供了平滑“不完美”皮肤甚至改变主题年龄的功能,直到可以说身份已经大大改变:

点击播放:三位女性关闭视频“美化”滤镜,揭示算法或人工智能改变了她们的面部特征的程度。来源:https://www.youtube.com/watch?v=gtCpea_5qxw

这种现象似乎在技术相对成熟时就达到了饱和点;2020年来自伦敦城市大学的研究显示,美国、法国和英国的90%的年轻Snapchat用户使用了应用程序中的滤镜,而Meta报告称,超过6亿年轻人在Facebook或Instagram上使用了滤镜。

探索这些滤镜对心理健康的负面影响,Psychology Today的一份报告重申,研究对象中90%的年轻女性,平均年龄20岁,使用滤镜或以某种方式编辑了他们的照片。最受欢迎的滤镜是那些用于均匀皮肤色调、给予晒黑外观、美白牙齿和甚至减小体型的滤镜。

面对面

随着面部滤镜即将从2025年的视频合成革命和这一研究领域的持续兴趣中受益,它们在实时视频聊天中“重造”或“重新想象”自己的程度越来越多地与安全社区对欺诈或犯罪的深度伪造视频技术的担忧相冲突。

一个问题是,近年来开发的各种“简单”测试,以揭示视频深度伪造者,谁可能正在尝试在企业环境中欺骗大量资金,变得越来越无效,因为这些弱点在训练数据和推理时被考虑到了:

点击播放:三四年前,在视频通话中挥手是可靠的测试,但我们可以看到TikTok等的专门努力正在使经典的“线索”取得深入的进展。来源:同上和https://archive.is/mofRV#wavehands

更为关键的是,广泛使用面部改变/改变美容滤镜使得新一代深度伪造检测器的任务更加困难,这些检测器旨在将冒名顶替者排除在董事会视频聊天之外,并远离可能成为“绑架”和“冒名顶替”欺诈的潜在受害者。

如果图像的分辨率低或图像以某种方式降级,就更容易制作出令人信服的深度伪造,无论是照片还是视频,因为底层的伪造系统可以在看似连接性或平台问题的东西后面隐藏自己的缺陷。

实际上,最流行的美容滤镜删除了一些最有用的材料,用于识别视频深度伪造,例如皮肤质地和其他面部详细区域——值得考虑的是,面部越老,细节就越多,因此在这种情况下使用虚荣的去老化滤镜可能是一个特别大的诱惑。

如果没有细节的“安卓”风格是流行的,深度伪造检测器可能缺乏它们需要的材料来区分真实和假的图像和视频人物。来源:https://www.instagram.com/reel/DMyGerPtTPF/?hl=en

如果没有细节的“安卓”风格是流行的,深度伪造检测器可能缺乏它们需要的材料来区分真实和假的图像和视频人物。 来源:https://www.instagram.com/reel/DMyGerPtTPF/?hl=en

皇家学会2024年的论文《美丽仍然是好的:美容滤镜时代的吸引力光环效应》证实,美容滤镜的使用普遍增加了两性的吸引力(尽管增加的吸引力往往会降低美容滤镜女性的智力估计)。

因此,可以说这是一个流行的技术;它有效;如果它突然受到安全限制或在各种情况下被禁止,将会是一种文化冲击。

然而,在视频深度伪造可能变得无法与真正的视频参与者区分的时期,无论是在外观还是在语音方面,它的可能是需要在未来出于安全原因而减轻全球“噪音”来自美容滤镜。

光滑的罪犯

这个问题最近在意大利卡利亚里大学的一篇新论文中被调查,题为《欺骗性的美丽:评估美容滤镜对深度伪造和变形攻击检测的影响》。

在这项新研究中,研究人员将美容滤镜应用于两个基准数据集中的面部,并测试了几种深度伪造和变形攻击检测器在原始和改变的图像上。

在几乎所有情况下,检测准确性都会在美化之后下降;最显著的下降发生在滤镜平滑皱纹、亮化皮肤色调或微妙地改变面部特征时。这些变化删除或扭曲了检测模型依赖的线索。

例如,MorphDB上的顶级模型在滤波后准确率下降了9%以上,问题在多个检测架构中持续存在,表明当前系统不够健壮,无法抵抗常见的化妆增强。

作者得出结论:

‘美化滤镜对生物识别认证和法医分析系统的完整性构成威胁,使得在此类条件下进行强大的深度伪造和形态攻击检测成为一个关键的开放挑战。 ‘

‘未来的工作应该优先开发数字操纵检测系统,以抵御此类微妙的现实世界修改,无论是否恶意,以确保在日常和安全关键环境中可靠的身份识别和内容验证。 ‘

方法和数据

为了评估美容滤镜如何影响深度伪造和形态攻击检测,研究人员应用了一个渐进的平滑滤镜,并在两个基准卷积神经网络(CNN)上测试了结果,这两个网络与目标问题密切相关:AlexNet和VGG19。

每个基准数据集都包含适当的面部操作示例。第一个是CelebDF,一个大规模的视频基准,包含590个真实和5639个伪造的视频片段,这些片段是通过高级面部交换技术创建的。该集合提供了多样化的照明条件、头部姿势和自然表情,跨越59个个体,使其非常适合评估深度伪造检测器在现实世界媒体场景中的鲁棒性:

来自CelebDF的受影响面部图像示例。来源:https://github.com/yuezunli/celeb-deepfakeforensics

来自CelebDF的受影响面部图像示例。 来源:https://github.com/yuezunli/celeb-deepfakeforensics

第二个是AMSL(需要注册),一个形态攻击数据集,建立在伦敦面部研究实验室集合的基础上,包含真实和合成的面部混合。该数据集包括来自102个主题的中性和微笑表情,并设计为反映生物识别系统在边境控制等环境中面临的现实挑战。

来自源伦敦面部研究实验室集(FRLL)的图像,用于AMSL。来源:https://figshare.com/articles/dataset/Face_Research_Lab_London_Set/5047666?file=8541955

来自源伦敦面部研究实验室集(FRLL)的图像,用于AMSL。 来源:https://figshare.com/articles/dataset/Face_Research_Lab_London_Set/5047666?file=8541955

每个网络都在数据集的80%上进行了训练,剩下的20%用于验证。为了测试对美化的鲁棒性,研究人员然后将一个渐进的平滑滤镜应用于测试图像,增加模糊半径从3%到5%的面部高度:

来自CelebDF(顶部)和AMSL(底部)数据集的示例面部,在应用平滑基于美容滤镜之前和之后。滤镜半径相对于面部高度进行缩放,c = 3%和c = 5%产生了逐渐更强的效果。

来自CelebDF(顶部)和AMSL(底部)数据集的示例面部,在应用平滑基于美容滤镜之前和之后。滤镜半径相对于面部高度进行缩放,c = 3%和c = 5%产生了逐渐更强的效果。

关于指标,每个模型都使用原始和美化的测试样本的均等错误率(EER)进行评估。分析还报告了真实呈现分类错误率(BPCER)或假阳性率和攻击呈现分类错误率(APCER)或假阴性率,使用在原始数据上设置的阈值。

来自AMSL数据集的形态面部。

为了进一步评估性能,研究人员检查了ROC曲线下面积(AUC)和真实和假图像的得分分布。

测试

在深度伪造检测结果中,两个网络都显示出随着美化强度增加,均等错误率(EER)上升。AlexNet的EER从原始图像的22.3%上升到最高光滑度的28.1%,而VGG19的EER从30.2%上升到35.2%。性能下降遵循了不同的模式:

使用AlexNet和VGG19在CelebDF数据集上进行的深度伪造检测结果。两个模型都在原始和美化的图像上进行了测试,具有增加的面部光滑度。显示的指标包括均等错误率(EER)、真实呈现分类错误率(BPCER)和攻击呈现分类错误率(APCER),使用从原始测试集固定阈值。检测准确率随着美化强度的增加而降低,尽管两种架构之间的降级模式不同。

使用AlexNet和VGG19在CelebDF数据集上进行的深度伪造检测结果。两个模型都在原始和美化的图像上进行了测试,具有增加的面部光滑度。显示的指标包括均等错误率(EER)、真实呈现分类错误率(BPCER)和攻击呈现分类错误率(APCER),使用从原始测试集固定阈值。检测准确率随着美化强度的增加而降低,尽管两种架构之间的降级模式不同。

随着美化的增加,AlexNet变得更有可能将真实面部误认为是假的,表现为其假阳性率(BPCER)稳步上升。另一方面,VGG19在捕捉假面部方面遇到了困难,表现为其假阴性率(APCER)增加。两个模型对滤镜的反应不同,表明即使是众所周知的架构,也可能以不同的方式失败,当面临化妆改变时。

为了更好地理解这些结果,研究人员将美化滤镜分别应用于真实和假图像,并测量了对检测性能的影响。结果表明:

AlexNet和VGG19在CelebDF数据集上部分美化的检测准确率。表格报告了三个场景:美化的真实与美化的假(F-Real vs F-Fake);美化的真实与原始的假(F-Real vs O-Fake);以及原始的真实与美化的假(O-Real vs F-Fake),准确率的降低表示检测器性能降低。AlexNet在真实图像被美化时受到最大的影响,而VGG19在假图像被美化时受到最大的影响。

AlexNet和VGG19在CelebDF数据集上部分美化的检测准确率。表格报告了三个场景:美化的真实与美化的假(F-Real vs F-Fake);美化的真实与原始的假(F-Real vs O-Fake);以及原始的真实与美化的假(O-Real vs F-Fake),准确率的降低表示检测器性能降低。AlexNet在真实图像被美化时受到最大的影响,而VGG19在假图像被美化时受到最大的影响。

对于AlexNet,检测性能在真实图像被美化时下降,但在只有假图像被光滑时改善。对于VGG19,性能在真实图像被美化时略微改善,但在深度伪造被过滤时恶化。在所有情况下,更强的美化降低了准确率

箱线图显示了AlexNet和VGG19在CelebDF数据集上的真实和假样本的输出得分分布,随着美化的增加。随着光滑度的增加,真实和假图像的得分分布变得不那么可分离,表明检测可靠性降低。AlexNet变得不那么自信地识别真实面部,而VGG19变得更有可能误分类假面部。

箱线图显示了AlexNet和VGG19在CelebDF数据集上的真实和假样本的输出得分分布,随着美化的增加。随着光滑度的增加,真实和假图像的得分分布变得不那么可分离,表明检测可靠性降低。AlexNet变得不那么自信地识别真实面部,而VGG19变得更有可能误分类假面部。

美化使AlexNet的输出得分在真实和假样本中更加均匀,而VGG19在每个类别中显示出更大的离散度。尽管得分变异性有这些相反的影响,但两个模型都失去了准确率。对于AlexNet,真实面部的得分向深度伪造的得分移动。对于VGG19,真实和假图像的得分开始重叠,降低了模型区分它们的能力。

该论文指出:

‘这些结果有重要的影响,并表明在深度伪造检测中考虑美化滤镜的潜在使用是必要的,因为它们可能对性能产生不可预测的影响。特别是,不同的架构对面部操作的反应不同,即使这些操作不是为了欺骗。 ‘

‘例如,根据特定的深度伪造检测器,美化滤镜可能会显著改变输出,使真实图像被识别为假的,更加关键的是,允许深度伪造欺骗检测。 ‘

‘因此,开发对此类微妙的、不一定是恶意的修改更为强大的检测器至关重要,这些修改可以作为恶意深度伪造操作的伪装。 ‘

在形态攻击场景中,通过混合两个个体的面部特征创建了一幅合成图像。该图像用于欺骗面部识别系统,使两个源身份都可以被验证为同一个人。这种攻击在安全环境中被认为尤其相关,在这些环境中,生物识别系统可能被误导为接受形态图像作为官方身份识别。

AMSL图像在美化之前和之后的形态攻击检测结果。两个网络都显示出随着光滑度增加而急剧增加的错误。

AMSL图像在美化之前和之后的形态攻击检测结果。两个网络都显示出随着光滑度增加而急剧增加的错误。

在形态攻击场景中,性能下降比深度伪造检测更明显。AlexNet的EER从27.6%上升到41.2%,VGG19的EER从19.0%上升到37.3%,主要由假阳性驱动:真实面部被误分类为形态。使用3%的光滑半径,VGG19的假阳性率达到90%。

这种模式在滤镜被选择性应用时保持不变。光滑真实面部会降低检测率,而光滑形态面部会改善结果。随着光滑度的增加,两个网络都显示出真实和假得分之间的分离度降低,VGG19变得特别不稳定。

这些发现,作者指出,表明美容滤镜可能比深度伪造更有效地帮助形态躲避检测,从而引发了严重的安全问题。

最小美化(3%光滑半径)的AlexNet分类的部分示例(由于空间限制)。左边,真实图像在过滤后被误分类为攻击,右边,形态图像在过滤后被误分类为真实。

最小美化(3%光滑半径)的AlexNet分类的部分示例(由于空间限制)。左边,真实图像在过滤后被误分类为攻击,右边,形态图像在过滤后被误分类为真实。

最后,研究人员发现,即使是轻微的美化滤镜也会显著降低最先进的深度伪造和形态检测器的性能。

影响因架构而异,AlexNet显示出逐渐的下降,而VGG19在最小的过滤下崩溃。由于这些滤镜很常见且不一定是恶意的,它们能够隐藏攻击构成了一个实际的威胁,特别是在生物识别系统中。该论文强调了开发对此类细微图像操作更强大的检测模型的必要性。

结论

训练能够忽略美化滤镜的深度伪造检测系统之一原因是缺乏对比材料;最终,“美化”的版本是广泛传播的,而我们之前嵌入的视频作为示例除外,“之前”的图片很少被应用。

另一个障碍是许多滤镜执行的操作与保存图像或压缩视频时的压缩操作类似(这对提供者来说是一个节省带宽的好处,除了数字皮肤美容外,对于使用滤镜的人来说也是如此)。

深度伪造检测研究领域已经深入地参与到与现实世界图像降级问题的斗争中,例如由于低质量相机、过度压缩或不稳定的网络连接等问题——所有这些条件都有利于深度伪造诈骗者,他们被迫在高质量、高分辨率的场景中努力更多。

美容滤镜是否最终会因安全问题而受到限制,似乎取决于它们在多大程度上被证明是对深度伪造筛查方法的障碍,或者最终是否成为一种有利于恶意者而不是那些与他们斗争的人的事实上的防火墙。

 

首次发布于2025年9月24日

机器学习作家,人类图像合成领域专家。曾任 Metaphysic.ai 研究内容负责人。
个人网站: martinanderson.ai
联系: [email protected]
Twitter:@manders_ai