Anderson 视角

研究人员发现深度伪造的一项持久特征,或有助于长期检测

Martin Anderson
将 Unite.AI 添加到您在 Google 上的首选来源
要点深度伪造中的规律性破坏提供了一种对合成技术进步具有抵抗力的检测信号。
查看更多
  • 深度伪造中的规律性破坏提供了一种对合成技术进步具有抵抗力的检测信号。
  • P-fake生成器模块将真实视频转化为伪深度伪造内容,从而无需真实深度伪造数据即可训练检测器。
  • 跨数据集测试表明,该方法在Deepwild上的表现优于最先进的检测技术,最高可提升10个百分点。

自2018年最早的深度伪造检测方案出现以来,计算机视觉与安全研究领域一直试图确定深度伪造视频的一种本质特征——能够抵抗常见面部合成技术不断改进的信号。这些技术包括DeepFaceLab、FaceSwap等基于自动编码器的深度伪造软件,以及利用生成对抗网络重建、模拟或修改人脸的方法。

许多识别线索,例如缺少眨眼,已因深度伪造技术进步而失效。另一方面,数字来源追溯技术,例如Adobe主导的内容真实性倡议,包括区块链方法以及为潜在源照片添加数字水印,要么需要大规模且高成本地改动互联网上现有的源图像,要么需要各国与政府开展显著合作,建立监控与认证系统。

因此,如果能在包含被修改、虚构或替换身份的人脸的图像与视频中发现真正根本且持久的特征,就非常有用。这种特征应能直接从伪造视频中推断出来,无需大规模验证、对数字素材进行加密哈希计算、上下文核查、合理性评估、以伪影为中心的检测流程,或其他繁重的深度伪造检测方法。

画面中的深度伪造

中国与澳大利亚的一项新研究合作认为,他们已找到这一“圣杯”,其形式是规则性破坏。

作者设计了一种方法,对比真实视频与包含深度伪造内容的视频的空间完整性和时间连续性。他们发现,任何深度伪造干预都会破坏图像的规则性,即使这种变化难以察觉。

部分原因是深度伪造流程会把目标视频拆分成帧,并将训练好的模型效果应用于每个被替换的帧。从这一点看,常见深度伪造软件与动画师类似:更关注单帧的真实性,而非每一帧对视频整体空间完整性与时间连续性的贡献。

论文图示:A)不同数据类型的差异。p-fake的扰动与深度伪造一样改变图像的时空质量,却不替换身份。B)三类数据的噪声分析,展示p-fake如何模拟深度伪造造成的扰动。C)三类数据的时间可视化,其中真实数据的波动表现出更强的完整性。D)真实、伪造与p-fake视频所提取特征的T-SNE可视化。 来源:https://arxiv.org/pdf/2207.10402.pdf

论文图示:A)不同数据类型的差异。p-fake的扰动与深度伪造一样改变图像的时空质量,却不替换身份。B)三类数据的噪声分析,展示p-fake如何模拟深度伪造造成的扰动。C)三类数据的时间可视化,其中真实数据的波动表现出更强的完整性。D)真实、伪造与p-fake视频所提取特征的T-SNE可视化。 来源:https://arxiv.org/pdf/2207.10402.pdf

这不同于视频编解码器在录制或处理原始视频时处理帧序列的方式。为了减小文件体积或便于流媒体播放,编解码器会丢弃大量信息。即使采用最高质量设置,编解码器也会分配关键帧,这是用户可调的参数;关键帧是在视频中按预设间隔出现的完整、几乎未压缩的图像。

关键帧之间的中间帧在一定程度上是其他帧的估计变体,会尽量重用相邻关键帧的信息,而非独立完整的帧。

左侧:完整关键帧,即i帧,被存入压缩视频,因此占用一定文件空间。右侧:中间的差分帧重用信息更丰富的关键帧中适用的部分。 来源:https://blog.video.ibm.com/streaming-video-tips/keyframes-interframe-video-compression/

左侧:完整关键帧,即i帧,被存入压缩视频,因此占用一定文件空间。右侧:中间的差分帧重用信息更丰富的关键帧中适用的部分。 来源:https://blog.video.ibm.com/streaming-video-tips/keyframes-interframe-video-compression/

因此,块,包含x帧,具体数量由关键帧设置决定,可以说是典型压缩视频所考虑的最小单位,而非单独一帧。即使关键帧本身,也就是i-frame,也是这一单位的一部分。

用传统卡通动画来比喻,编解码器执行的是一种中间帧插值,关键帧就像支柱,支撑由其推导的中间帧,这些帧称为差分帧。

相比之下,深度伪造叠加会把大量注意力和资源用于每个单独的帧,而不考虑帧的更广泛上下文,也不考虑压缩与基于块的编码会怎样影响真实视频的特征。

仔细比较真实视频(左)与同一视频受深度伪造干扰后(右)的时间质量不连续性。

仔细比较真实视频(左)与同一视频受深度伪造干扰后(右)的时间质量不连续性。

虽然一些较熟练的深度伪造制作者会使用After Effects等软件进行大量后处理,而且DeepFaceLab也具备一定的内置能力来实施运动模糊等混合处理,但这些技巧不会改变真实视频与深度伪造视频在空间和时间质量上的不匹配。

这篇新论文题为通过制造时空规则性破坏来检测深度伪造,作者来自清华大学、Baidu Inc. (BIDU )的计算机视觉技术部(VIS)以及墨尔本大学。

“假造的”伪造视频

研究人员将研究功能集成到名为Pseudo-fake Generator的即插即用模块(P-fake Generator)中。它以与实际深度伪造过程相同的方式扰动真实视频,生成类似深度伪造的视频,但不真正执行任何深度伪造操作。

测试表明,该模块能以几乎为零的资源成本加入所有现有深度伪造检测系统,并显著改善其性能。

这一发现可能有助于解决深度伪造检测研究的另一项障碍:缺少真实且及时更新的数据集。由于生成深度伪造视频复杂而耗时,研究社区过去五年建立了若干数据集,其中不少已相当过时。

通过将规则性破坏分离为与具体深度伪造技术无关的信号,用于识别事后修改过的视频,新方法可生成无限量的样本视频与数据集视频,聚焦于深度伪造的这一特征。

STE块概览:按通道进行时间卷积,以此推动生成时空增强的编码,其特征信号与极具说服力的深度伪造视频相同。由此可生成“假造的”伪造视频,具有与任何经修改的深度伪造风格视频相同的特征,而不依赖特定软件分发版本,也不依赖特征行为或算法伪影等不稳定因素。

STE块概览:按通道进行时间卷积,以此推动生成时空增强的编码,其特征信号与极具说服力的深度伪造视频相同。由此可生成“假造的”伪造视频,具有与任何经修改的深度伪造风格视频相同的特征,而不依赖特定软件分发版本,也不依赖特征行为或算法伪影等不稳定因素。

测试

研究人员在深度伪造检测研究常用的六个著名数据集上进行实验:FaceForensics++ (FF++); WildDeepFake; 深度伪造检测挑战预览数据集 (DFDCP); Celeb-DF; 深度伪造检测数据集(DFD);以及Face Shifter(FSh)。

对于FF++,研究人员在原始数据集上训练模型,再分别测试四个子集。即使训练时不使用任何深度伪造素材,新方法仍能超越此前最先进的结果。

与FF++ C23压缩数据集比较时,该方法同样位居首位。这个数据集的样本包含现实深度伪造观看环境中可能出现的压缩伪影。

作者评论道:

“FF++内部的结果验证了我们核心思路的可行性,而泛化能力仍是现有深度伪造检测方法的重大问题:面对由训练时未见技术生成的深度伪造,检测性能无法得到保证。”

“进一步考虑检测者与伪造者之间军备竞赛的现实,泛化能力是衡量检测方法在真实世界中是否有效的重要标准。”

虽然研究人员还围绕稳健性与不同输入视频类型(真实、伪造、p-fake等)进行了多项子测试,详情见论文,但最有意思的结果来自跨数据集性能测试。

为此,作者在前述模拟真实环境的FF++ C23版本上训练模型,再针对四个数据集测试。据作者称,模型在四者上都获得了更优性能。

跨数据集挑战的结果。论文指出,SBI采用与作者相似的方法;研究人员则表示,p-fake在时空规则性破坏方面表现更好。

跨数据集挑战的结果。论文指出,SBI采用与作者相似的方法;研究人员则表示,p-fake在时空规则性破坏方面表现更好。

论文写道:

“在最具挑战性的Deepwild上,以AUC%衡量,我们的方法比最先进方法高约10个百分点。我们认为,这是因为Deepwild中的深度伪造类型高度多样,使其他方法难以从已见过的深度伪造中有效泛化。”

测试采用的指标为准确率(ACC)、受试者工作特征曲线下面积(AUC)和等错误率(EER)。

反击?

虽然媒体把深度伪造开发者与检测研究人员之间的紧张关系描述为一场技术战争,但也可以认为,前者只是在努力生成更逼真的内容,检测难度增加只是这些努力的附带产物。

开发者是否会解决这一新揭示的弱点,或许取决于他们是否认为,人眼能够在深度伪造视频中看到规则性破坏,并将其视为不真实的标志,从而觉得单就质量而言也值得处理。

尽管最早的深度伪造视频上线已有五年,这仍是一项相对新生的技术。社区关注细节与分辨率,可能胜过正确的上下文或匹配压缩视频的特征。后二者都需要让输出在一定程度上“降质”,而这恰是整个深度伪造社区目前努力避免的。

如果普遍共识认为,规则性破坏是一种不影响质量的新特征,那么可能不会有人努力弥补它;即使某些后处理或架构内部流程能够将其“抵消”,情况也可能如此,而是否能抵消尚不清楚。

 

首次发表于2022年7月22日。

机器学习撰稿人,专注于人类图像合成的领域专家。曾任 Metaphysic.ai 的研究内容负责人,直至其并入 DNEG 的 Brahma.ai。
网站: martinanderson.ai
联系:martin@martinanderson.ai