揭露真实视频中微小但显著的AI编辑

2019年，美国众议院议长南希·佩洛西（Nancy Pelosi）成为一个有针对性的、相当低科技的深度伪造式攻击的对象，当时对她的真实视频进行了编辑，使她看起来像喝醉了一样——一个不真实的事件在真相大白之前被分享了几百万次（并可能对她的政治资本造成了一些不可逆转的损害）。

尽管这种歪曲只需要一些简单的音频-视觉编辑，而不是任何人工智能，但它仍然是微小的音频-视觉输出变化如何产生毁灭性影响的关键例子。

当时，深度伪造场景由基于自编码器的面部替换系统主导，这些系统于2017年末首次亮相，此后质量并没有显著改善。这些早期系统很难创建此类微小但显著的改变，或以现代研究线程（如表达编辑）为目标。

2022年的’神经情感导演’框架改变了著名面孔的情绪。来源：https://www.youtube.com/watch?v=Li6W8pRDMJQ

现在，情况已经大不相同。电影和电视行业正在认真地考虑使用机器学习方法对真实表演进行后期制作调整，人工智能促进的“事后完美主义”甚至受到了最近的批评。

预见（或可以说是制造）这种需求，图像和视频合成研究领域已经推出了广泛的项目，提供面部捕捉的“局部编辑”，而不是直接替换：此类项目包括Diffusion Video Autoencoders；Stitch it in Time；ChatFace；MagicFace；以及DISCO等。

使用2025年1月项目MagicFace进行表情编辑。来源：https://arxiv.org/pdf/2501.02260

新面孔，新皱纹

然而，检测这些技术的方法却没有跟上发展的步伐。几乎所有文献中出现的深度伪造检测方法都在追逐昨天的深度伪造方法和昨天的数据集。直到本周，none都没有解决人工智能系统创建小而局部的视频编辑的潜在问题。

现在，一篇来自印度的新论文解决了这个问题，提出了一种系统来识别通过基于人工智能的技术编辑（而不是替换）的人脸：

检测深度伪造中的微妙局部编辑：真实视频被修改以产生具有细微变化的假视频，例如提高眉毛、修改性别特征和表情转变为厌恶（如图所示的一个帧）。来源：https://arxiv.org/pdf/2503.22121

作者的系统旨在识别涉及细微、局部面部操作的深度伪造——一个被忽视的伪造类别。与其关注全局不一致性或身份不匹配，该方法针对细粒度的变化，例如轻微的表情转变或对特定面部特征的微小编辑。

该方法利用面部表情编码系统（FACS）中的操作单元（AUs）分隔符，该系统定义了64个可能的个体可变区域，它们共同形成表情。

FACS中的某些组成64个表情部分。来源：https://www.cs.cmu.edu/~face/facs.htm

作者评估了他们的方法与各种最近的编辑方法，并报告了一致的性能增益，无论是使用较旧的数据集还是更最近的攻击向量：

‘通过使用基于AU的特征来指导通过掩码自动编码器（MAE）学习的视频表示，我们的方法有效地捕获了检测微妙面部编辑所必需的局部变化。 ‘

‘这种方法使我们能够构建一个统一的潜在表示，该表示同时编码局部编辑和面部中心视频中的更广泛的变化，提供了一种全面且适应性强的深度伪造检测解决方案。 ‘

这篇新论文的标题为使用操作单元引导的视频表示检测局部深度伪造操作，由印度理工学院马德拉斯分校的三位作者撰写。

方法

按照VideoMAE采用的方法，该新方法首先将面部检测应用于视频，并从检测到的面部中采样均匀间隔的帧。然后将这些帧划分为小的3D分区（即启用了时间的补丁），每个补丁捕获局部空间和时间细节。

新方法的架构。输入视频使用面部检测处理以提取面部居中的帧，然后将这些帧划分为’管状’补丁，并通过编码器传递，编码器将两个预训练的前置任务的潜在表示合并。然后使用分类器将生成的向量用来确定视频是真实的还是假的。

每个3D补丁包含来自少数连续帧（例如2个）的固定大小像素窗口（例如16×16）。这使模型能够学习短期运动和表情变化——不仅仅是面部的外观，还有面部的运动方式。

补丁被嵌入并进行位置编码，然后传递到一个设计用于提取可以区分真实和假视频的特征的编码器中。

作者承认，这在处理微妙操作时尤其具有挑战性，并通过构建一个将两个独立的学习表示合并的编码器来解决这个问题，使用交叉注意力机制来合并它们。这旨在产生一个更敏感和更通用的特征空间，以检测局部编辑。

前置任务

这些表示中的第一个是使用掩码自动编码任务训练的编码器。通过将视频分成3D补丁（其中大部分被隐藏），编码器然后学习重构缺失的部分，迫使它捕获重要的空间时间模式，例如面部运动或随时间的一致性。

前置任务训练涉及屏蔽视频输入的部分并使用编码器-解码器设置来重构要么原始帧，要么每帧操作单元图，具体取决于任务。

然而，该论文观察到，这还不够敏感，以检测细粒度的编辑，并且作者因此引入了第二个编码器，该编码器被训练来检测面部操作单元（AUs）。对于这个任务，模型学习从部分掩蔽的输入中重构每个帧的密集AU图。这样可以鼓励它关注局部肌肉活动，这是许多微妙的深度伪造编辑发生的地方。

面部操作单元（FAUs或AUs）的进一步示例。来源：https://www.eiagroup.com/the-facial-action-coding-system/

一旦两个编码器都预训练完毕，它们的输出就会使用交叉注意力合并。与简单地合并两个特征集不同，模型使用AU-based特征作为查询，引导对空间时间特征的注意力，这些特征是从掩码自动编码中学习的。实际上，操作单元编码器告诉模型应该关注哪里。

结果是一个融合的潜在表示，旨在捕获运动上下文和局部表情级别细节。然后使用这个组合特征空间进行最终的分类任务：预测视频是真实的还是操作过的。

数据和测试

实现

作者使用FaceXZoo PyTorch面部检测框架对输入视频进行预处理，获得每个剪辑的16个面部居中的帧。然后在CelebV-HQ数据集上训练前置任务，该数据集包含35,000个高质量的面部视频。

来自源论文的CelebV-HQ数据集示例，该数据集用于新项目。来源：https://arxiv.org/pdf/2207.12393

数据示例的一半被掩蔽，迫使系统学习一般原则，而不是过拟合源数据。

对于掩码帧重构任务，模型被训练使用L1损失预测视频帧的缺失区域，最小化原始内容和重构内容之间的差异。

对于第二个任务，模型被训练生成每个帧的16个面部操作单元的密集图，同样受到L1损失的监督。这样可以鼓励它关注局部肌肉活动，这是许多微妙的深度伪造编辑发生的地方。

预训练后，两个编码器被合并并微调用于深度伪造检测，使用FaceForensics++数据集，该数据集包含真实和操作过的视频。

FaceForensics++数据集自2017年以来一直是深度伪造检测的基准，尽管它现在已经过时，尤其是在最新的面部合成技术方面。来源：https://www.youtube.com/watch?v=x2g48Q2I2ZQ

为了解决类别不平衡问题，作者使用了焦点损失（交叉熵损失的变体），它在训练期间强调了更具挑战性的示例。

所有训练都在单个RTX 4090 GPU上进行，具有24Gb的VRAM，批量大小为8，训练600个epoch（对数据的完整遍历），使用VideoMAE的预训练检查点初始化每个前置任务的权重。

测试

对各种深度伪造检测方法进行了定量和定性评估：FTCN；RealForensics；Lip Forensics；EfficientNet+ViT；Face X-Ray；Alt-Freezing；CADMM；以及BlendFace的SBI。在所有情况下，这些框架的源代码都是可用的。

测试集中在局部编辑的深度伪造上，即只修改了源剪辑的一部分。使用的架构包括Diffusion Video Autoencoders（DVA）；Stitch It In Time（STIT）；Disentangled Face Editing（DFE）；Tokenflow；VideoP2P；Text2Live；以及FateZero。这些方法采用了多种方法（例如，DVA和STIT使用StyleGAN2进行扩散）。

作者指出：

‘为了确保对不同面部操作的全面覆盖，我们纳入了各种面部特征和属性编辑。对于面部特征编辑，我们修改了眼大小、眼-眉距离、鼻子比例、鼻子-嘴距离、嘴唇比例和颧骨比例。对于面部属性编辑，我们改变了诸如微笑、愤怒、厌恶和悲伤等表情。 ‘

‘这种多样性对于验证我们模型在广泛的局部编辑中的强大泛化能力至关重要。我们总共为上述每种编辑方法生成了50个视频，并验证了我们方法的强大泛化能力。 ‘

还包括较旧的深度伪造数据集，例如Celeb-DFv2（CDF2）；DeepFake Detection（DFD）；DeepFake Detection Challenge（DFDC）；以及WildDeepfake（DFW）。

评估指标包括曲线下面积（AUC）；平均精度；以及平均F1得分。

论文中：最近的局部深度伪造比较显示，提出的方法在AUC和平均精度方面比其他方法高出15%至20%。

作者还提供了局部操作的视觉检测比较（由于空间限制，只能部分重现）：

真实视频使用三种不同的局部操作修改以产生与原始视频在视觉上相似的假视频。显示了代表性帧以及每种方法的平均假检测分数。虽然现有的检测器难以处理这些微妙的编辑，但提出的模型一致地分配了高假概率，表明对局部变化更敏感。

研究人员评论道：

‘现有的SOTA检测方法，例如LAANet，SBI，AltFreezing和CADMM，在最新的深度伪造生成方法上表现出显著的性能下降。现有的SOTA方法表现出低至48-71%的AUC，表明它们对最新的深度伪造的一般化能力较差。 ‘

‘相比之下，我们的方法表现出强大的泛化能力，AUC在87-93%的范围内。同样，在平均精度方面也表现出类似的趋势。如图所示，我们的方法在标准数据集上也表现出高性能，AUC超过90%，且与最近的深度伪造检测模型具有竞争力。 ‘

在传统深度伪造数据集上的性能表明，提出的方法与领先的方法具有竞争力，表明在各种操作类型上具有强大的泛化能力。

作者观察到，这些测试涉及的模型可以被认为是过时的，且是在2020年之前引入的。

为了更广泛地展示新模型的性能，作者在论文末尾提供了一个详细的表格，只能部分重现：

在这些示例中，真实视频使用三种不同的局部编辑修改以产生与原始视频在视觉上相似的假视频。平均置信度得分表明，作者声称，提出的方法比其他领先方法更可靠地检测到伪造。请参阅源PDF的最后一页以获取完整结果。

作者声称，他们的方法在检测局部编辑方面实现了90%以上的置信度分数，而现有的检测方法在同一任务上保持在50%以下。他们将这一差距解释为他们的方法的敏感性和泛化能力的证据，以及当前技术在处理此类微妙面部操作时面临的挑战的指标。

为了评估模型在现实世界条件下的可靠性，作者按照CADMM建立的方法，测试了模型在视频修改常见失真的情况下的性能，包括饱和度和对比度的调整、 高斯模糊、像素化和基于块的压缩伪影，以及加性噪声。

结果显示，检测准确率在这些扭曲中基本保持稳定。唯一值得注意的下降发生在引入高斯噪声时，导致性能略微下降。其他修改对性能影响很小。

检测准确率在不同视频失真下的变化。新方法在大多数情况下保持稳健，只有在引入高斯噪声时才会出现最显著的下降。

这些发现，作者提出，表明该方法检测局部操作的能力不会轻易被典型的视频质量下降破坏，这支持了它在实际场景中的潜在鲁棒性。

结论

人工智能操纵主要存在于公众意识中，以传统的深度伪造概念为主，即一个人的人格被强加于另一个人身上，后者可能正在执行违背前者原则的行为。这种概念正在逐渐被更新，以承认生成视频系统（在新的视频深度伪造中）和潜在扩散模型（LDMs）中的更阴险的能力，并且可能不会引起人们的注意，直到像Pelosi风格的关键事件发生，因为人们被更容易引起轰动效应的主题（如视频深度伪造欺诈）分散了注意力。

尽管如此，演员尼古拉斯·凯奇（Nicolas Cage）一贯对后期制作过程“修改”演员表演的可能性表示担忧，我们也应该鼓励人们更加关注这种“微妙”的视频调整——不仅仅是因为我们天生对面部表情的微小变化非常敏感，而且因为上下文可以显著改变小的面部运动的影响（例如，考虑一下在葬礼上甚至微微一笑的破坏性影响）。

首次发布于2025年4月2日星期三