新方法可检测深度伪造视频达 99% 的准确率

加州大学河滨分校的一组计算机科学家开发了一种新方法，可以检测深度伪造视频中操纵的面部表情。这种方法可以检测这些表情的准确率高达 99%，比当前的最先进方法更准确。

这篇新研究论文题为“检测和定位面部表情操纵”，在 2022 年冬季计算机视觉应用会议上发表。

检测任何面部操纵

该方法还证明了其在面部身份被交换而不是表情被操纵的情况下的准确性与当前方法相当。这意味着新方法可以用于检测任何类型的面部操纵，这是开发自动检测操纵视频的工具的一个重大步骤。

由于最近的视频编辑软件的进步，交换个人的面部或改变原始表情比以往任何时候都容易。检测此类方法非常重要，因为它们正被广泛应用于全球各地的国内和国际冲突。然而，仅检测面部表情被交换的面部一直非常具有挑战性。

阿米特·罗伊-乔杜里（Amit Roy-Chowdhury）是伯恩斯工程学院电气和计算机工程教授，也是研究的共同作者。

“使深度伪造研究领域更加具有挑战性的，是创造、检测和防止深度伪造之间的竞争，这将在未来变得越来越激烈。随着生成模型的进步，深度伪造将更容易合成，更加难以与真实内容区分，”他说。

图片：加州大学河滨分校

表情操纵检测（EMD）

新方法将任务分为深度神经网络中的两个组件。第一个分支辨别面部表情，并提供有关包含表情的区域的信息。这些区域可以包括嘴巴、眼睛、额头等。这些信息被输入到第二个分支，即负责操纵检测和定位的编码器-解码器架构中。

该团队将该框架命名为表情操纵检测（EMD），它可以检测和定位图像中被改变的特定区域。

加扎尔·马扎赫里（Ghazal Mazaheri）是一名博士生，也是研究的负责人。

“多任务学习可以利用面部表情识别系统学习到的显著特征来提高传统操纵检测系统的训练。这种方法在面部表情操纵检测中实现了令人印象深刻的性能，”马扎赫里说。

研究人员在两个具有挑战性的面部操纵数据集上进行了实验，并证明了 EMD 在面部表情操纵和身份交换方面的性能更好。它准确地检测了 99% 的被操纵的视频。