我们的潜意识深度伪造检测技能可能为未来自动化系统提供动力

澳大利亚的新研究表明，我们的大脑擅长于识别复杂的深度伪造，即使我们有意识地认为我们看到的图像是真实的。

该发现进一步意味着使用人们对深度伪造面部（而不是他们的陈述意见）对自动深度伪造检测系统进行训练的可能性。这些系统将使用图像的深度伪造特征进行训练，而不是使用混淆的可信度估计，而是使用我们的本能感知机制来识别面部身份。

‘[A]lthough 大脑可以‘识别’真实和逼真的面部之间的区别，观察者不能有意识地将它们区分开来。我们的发现表明，大脑反应和行为之间存在脱节，这对我们研究假面部感知、我们提出的问题以及我们可以建立的保护标准有着重要的影响。’

结果来自为评估人们对虚假图像的反应而设计的测试轮，包括明显虚假的面部、汽车、室内空间和倒置（即倒下的）面部的图像。

各种迭代和方法的实验，涉及两个测试对象组需要将快速显示的图像分类为‘假’或‘真’。第一轮测试在Amazon Mechanical Turk上进行，共有200名志愿者参加，而第二轮测试涉及较少数量的志愿者，他们在接受测试时佩戴了EEG机器。来源：https://tijl.github.io/tijl-grootswagers-pdf/Moshel_et_al_-_2022_-_Are_you_for_real_Decoding_realistic_AI-generated_.pdf

论文断言：

‘我们的结果表明，只需短暂一瞥，观察者可能就能发现假面部。然而，他们更难区分真实面部和假面部，并且在某些情况下，他们认为假面部比真实面部更真实。 ‘

‘然而，使用时间分辨EEG和多变量模式分类方法，我们发现可以使用大脑活动对不真实和逼真的面部进行解码。 ‘

‘这种行为和神经反应之间的脱节对于假面部感知和GAN生成面部的影响具有重要意义。’

论文建议，这项新工作在应用网络安全方面具有“几个影响”，并且深度伪造学习分类器的开发应该由潜意识反应驱动，这些反应是通过EEG读数在对假图像的反应中测量的，而不是由查看者对图像真实性的有意识估计驱动。

作者评论：

‘这与发现那些患有面部失认症的人无法行为上分类或识别面部为熟悉或不熟悉的人，但他们对熟悉面部的自主反应比对不熟悉面部的反应更强有关。 ‘

‘同样，我们在这项研究中表明，虽然我们可以从神经活动中准确解码真实和逼真的面部之间的区别，但这种区别在行为上并没有体现出来。相反，观察者错误地将69%的真实面部识别为假面部。’

这项新工作的标题为你是真实的吗？从神经活动中解码逼真的AI生成面部，来自悉尼大学、麦考瑞大学、西悉尼大学和昆士兰大学的四位研究人员。

数据

结果来自对人类区分明显虚假、超现实（但仍然虚假）和真实图像的能力进行的更广泛的检查。

研究人员使用了由生成对抗网络（GANs）创建的图像，这些图像由NVIDIA提供。

NVIDIA提供的GAN生成的人脸图像。 来源：https://drive.google.com/drive/folders/1EDYEYR3IB71-5BbTARQkhg73leVB9tam

数据包括25张面部、汽车和卧室图像，渲染级别从“不真实”到“真实”。对于面部比较（即适合的非假材料），作者使用了NVIDIA的Flickr-Faces-HQ（FFHQ）数据集的源数据。对于其他场景的比较，他们使用了LSUN数据集。

图像最终以正向或倒置的方式呈现给测试对象，并以各种频率显示，所有图像都调整为256×256像素。

在收集所有材料后，总共有450张图像被用于测试。

测试数据的代表性示例。

测试

测试最初通过jsPsych在pavlovia.org上在线进行，200名参与者评估了收集的测试数据的各个子集。图像以200ms的速度显示，接着是一个空白屏幕，直到查看者决定闪现的图像是真实的还是假的。每张图像只显示一次，整个测试需要3-5分钟才能完成。

第二轮和更有启示性的测试使用了现场测试对象，并使用EEG监测器，并在Psychopy2平台上呈现。每个序列包含20个序列，每个序列包含40张图像，整个测试数据共呈现了18,000张图像。

通过MATLAB和CoSMoMVPA工具箱对收集的EEG数据进行解码，使用了留一法交叉验证方案下的线性判别分析（LDA）。

LDA分类器是能够区分大脑对假刺激的反应和测试对象自己对图像真实性的意见的组成部分。

结果

研究人员对EEG测试对象是否能够区分真实和假面部感兴趣，结果发现参与者可以轻松地识别真实和不真实的面部，但似乎难以识别真实和逼真的假面部。图像是否倒置似乎没有太大影响。

第二轮测试中真实和合成生成面部的行为区分。

然而，EEG数据告诉了一个不同的故事。

论文指出：

‘虽然观察者难以区分真实和假面部，并且倾向于过度分类假面部，但EEG数据包含了与这种区分相关的信号信息，这种信号信息在逼真和不逼真的面部之间存在显著差异，并且这种信号似乎局限于处理的相对较短的阶段。’

这里，EEG准确性和测试对象的报告意见（即图像是否为假）之间存在差异，EEG捕获更接近真相，而不是测试对象的明显感知。

研究人员得出结论，虽然观察者可能难以在潜意识中识别假面部，但这些面部在人类视觉系统中具有“不同的表现”。

发现的差异导致研究人员推测他们的发现可能对未来安全机制有所应用：

‘在应用环境中，例如网络安全或深度伪造，检查逼真面部的检测能力可能最好使用应用于神经成像数据的机器学习分类器，而不是针对行为表现。’

他们得出结论：

‘理解大脑和行为之间的脱节对于假面部检测将对我们处理人工生成信息的潜在有害和普遍传播的方式有着实际影响。’

* 我将内联引用转换为超链接。

首次发布于2022年7月11日。