研究人员发现深度伪造的坚韧特征，这可能有助于长期检测

自2018年最早的深度伪造检测解决方案出现以来，计算机视觉和安全研究领域一直在寻找深度伪造视频的基本特征——能够抵抗流行的面部合成技术（如基于自动编码器的深度伪造软件包DeepFaceLab和FaceSwap，以及使用生成对抗网络来重建、模拟或改变人脸的方法）改进的信号。

许多“线索”，例如缺乏眨眼，已经被深度伪造的改进所使之过时，而数字来源技术（如Adobe领导的内容真实性计划）的潜在使用，包括区块链方法和数字水印，需要对现有互联网上可用的源图像进行大规模、昂贵的更改，或者需要国家和政府之间进行显著的合作，以创建监视和验证系统。

因此，如果可以在改变、虚构或交换人脸的图像和视频内容中发现一个真正基本且坚韧的特征，那将非常有用；一个可以直接从伪造的视频中推断出来的特征，而无需大规模验证、加密资产哈希、上下文检查、合理性评估、基于伪影的检测例程或其他繁琐的深度伪造检测方法。

深度伪造在框架中

一项新的研究合作 zwischen 中国和澳大利亚认为，它已经找到这个“圣杯”，以空间一致性和时间连续性比较的形式。

作者们已经设计了一种方法来比较真实视频的空间完整性和时间连续性与包含深度伪造内容的视频，并发现任何类型的深度伪造干扰都会破坏图像的规则性，无论多么微妙。

这是因为深度伪造过程将目标视频分解为帧，并将训练好的深度伪造模型的效果应用于每个（替换的）帧。流行的深度伪造分发方式在这一方面与动画师类似，更加注重每个帧的真实性，而不是每个帧对整个视频的空间完整性和时间连续性的贡献。

这不是视频编码器处理原始录制或处理视频帧序列的方式。为了节省文件大小或使视频适合流媒体播放，视频编码器会丢弃大量信息，即使在最高质量设置下，编码器也会分配关键帧（一个可由用户设置的变量）——在视频中以固定的间隔出现的完整、几乎未压缩的图像。

关键帧之间的帧会在一定程度上被估计为变体，并会尽可能多地重用来自相邻关键帧的信息，而不是成为完整的帧。

通过这种方式，块（包含x个帧，取决于关键帧设置）可以被认为是典型压缩视频中最小的单位，而不是任何个别帧。甚至关键帧本身，也被称为i帧，也是该单位的一部分。

在传统的卡通动画中，编码器执行一种特写，这种特写以关键帧作为支撑点，而间隔帧（也称为δ帧）则是派生帧，作为关键帧之间的插值帧。

相比之下，深度伪造叠加将巨大的注意力和资源集中在每个个别帧上，而不考虑帧的更广泛的背景，也不考虑压缩和块编码如何影响“真实”视频的特征。

‘假’假视频

研究人员已经将研究的功能性集成到一个名为伪假生成器（P-fake Generator）的即插即用模块中，该模块将真实视频转换为伪深度伪造视频，通过以与实际深度伪造过程相同的方式扰乱它们，而不执行任何实际的深度伪造操作。

测试表明，该模块可以在几乎不消耗资源的情况下添加到所有现有的深度伪造检测系统中，并且显著提高了它们的性能。

该发现可能有助于解决深度伪造检测研究中的另一个障碍：缺乏真实且最新的数据集。由于深度伪造生成是一个复杂且耗时的过程，社区已经开发了一些深度伪造数据集，其中许多已经过时。

通过将规则性破坏作为深度伪造视频的深度伪造无关信号，新方法可以生成无限的样本和数据集视频，这些视频专注于深度伪造的这一方面。

测试

研究人员对六个著名的深度伪造检测研究数据集进行了实验：FaceForensics++（FF++）；WildDeepFake；Deepfake Detection Challenge preview（DFDCP）；Celeb-DF；Deepfake Detection（DFD）；以及Face Shifter（FSh）。

对于FF++，研究人员在原始数据集上训练了他们的模型，并分别测试了四个子集。没有使用任何深度伪造材料进行训练，新方法能够超越最先进的结果。

该方法还在FF++ C23压缩数据集上占据了首位，该数据集提供了具有可信的压缩伪影的示例，这些伪影在现实世界的深度伪造观看环境中是可信的。

作者评论道：

“在FF++中的性能验证了我们主要思想的可行性，而现有的深度伪造检测方法的普遍性仍然是一个主要问题，因为性能不能保证在测试未见过的深度伪造技术时有效。”

“进一步考虑深度伪造检测方法在现实世界中的有效性，普遍性是一个重要的标准。”

反击？

虽然媒体将深度伪造开发者和深度伪造检测研究人员之间的紧张关系描述为技术战争，但可以说，前者只是试图制作更令人信服的输出，而深度伪造检测的困难增加只是这些努力的附带产物。

开发者是否会尝试解决这个新发现的缺点取决于他们是否认为规则性破坏可以被肉眼识别为非真实性的标志，并且因此这个指标从纯粹的质量角度来看是值得解决的。

尽管五年前第一个深度伪造视频上线，但深度伪造仍然是一种相对新生的技术，社区可能更注重细节和分辨率，而不是正确的上下文或匹配压缩视频的签名，这需要一定的“降级”——深度伪造社区目前正在努力解决的问题。

如果那里的一般共识是规则性破坏是一个不会影响质量的新兴签名，那么可能不会有任何努力来弥补它——即使它可以通过一些后处理或架构内的程序“取消”，这还远未明确。

最初发布于2022年7月22日。