我们的潜意识深度伪造检测技能可能为未来自动化系统提供动力

澳大利亚的新研究表明，我们的大脑在识别复杂的深度伪造方面非常擅长，即使我们有意识地认为我们看到的图像是真实的。

该发现进一步意味着可以使用人们对深度伪造面部（而不是他们陈述的意见）对大脑反应来训练自动化的深度伪造检测系统。这些系统将使用图像的深度伪造特征来训练，而不是使用观察者的主观估计来判断图像的真实性。

‘[大脑] 可以识别真实和虚假面部之间的差异，但观察者无法有意识地区分它们。我们的研究结果表明，大脑对虚假面部的反应与行为之间存在脱节，这对我们研究虚假面部感知、提问方式以及建立保护标准以防止虚假图像滥用的方式有重要影响。’

这些结果来自一系列测试，旨在评估人们对虚假图像的反应，包括明显的虚假面部、汽车、室内空间和倒置（即上下颠倒）的面部。

实验的各种迭代和方法，包括两个测试对象组需要将一个短暂显示的图像分类为“真实”或“虚假”。 来源：https://tijl.github.io/tijl-grootswagers-pdf/Moshel_et_al_-_2022_-_Are_you_for_real_Decoding_realistic_AI-generated_.pdf

该论文断言：

‘我们的结果表明，观察者可能能够在短暂的时间内识别出虚假面部。然而，他们更难区分真实和虚假面部，并且在某些情况下，他们认为虚假面部比真实面部更真实。 ‘

‘然而，使用时间分辨 EEG 和多变量模式分类方法，我们发现可以使用大脑活动来解码真实和虚假面部。 ‘

‘真实和虚假面部之间的大脑反应和行为之间的脱节为虚假面部感知提供了新的证据，并对生成的面部越来越真实的 GAN 生成面部有重要影响。’

该论文建议，这项新研究在应用网络安全方面有几个影响，并且深度伪造学习分类器的开发应该使用 EEG 记录的反应来驱动，而不是观察者的主观估计。

作者评论：

‘这与发现那些患有面部失认症的人无法行为性地分类或识别面部，但他们的自主反应对熟悉的面部比陌生的面部更强有关。 ‘

‘同样，我们在这项研究中发现，虽然我们可以从大脑活动中准确解码真实和虚假面部之间的差异，但这种差异在行为上并没有体现出来。相反，观察者错误地将 69% 的真实面部识别为虚假面部。’

这项新研究的标题为《你是真实的吗？从神经活动中解码真实的 AI 生成面部》，由四位研究人员共同完成，分别来自悉尼大学、麦考瑞大学、西悉尼大学和昆士兰大学。

数据

这些结果来自对人类区分明显虚假、超真实（但仍然虚假）和真实图像的能力进行的更广泛的研究，分为两个测试轮次。

研究人员使用了由 NVIDIA 提供的生成对抗网络（GAN）创建的图像。

NVIDIA 提供的 GAN 生成的人脸图像。 来源：https://drive.google.com/drive/folders/1EDYEYR3IB71-5BbTARQkhg73leVB9tam

数据包括 25 个面部、汽车和卧室，渲染级别从“不真实”到“真实”。对于面部比较（即适合非虚假材料），作者使用了 NVIDIA 的 Flickr-Faces-HQ（FFHQ）数据集的源数据。对于其他场景的比较，他们使用了 LSUN 数据集。

图像最终将以原始方向或倒置方向呈现给测试对象，并以各种频率呈现，所有图像都调整为 256×256 像素。

在收集所有材料后，测试中使用了 450 个刺激图像。

测试数据的代表性示例。

测试

测试本身最初在 jsPsych 上的 pavlovia.org 进行，共有 200 名参与者评估各种测试数据子集。图像以 200ms 的速度呈现，之后是一个空白屏幕，直到观察者决定图像是真实还是虚假。每个图像只呈现一次，整个测试需要 3-5 分钟才能完成。

第二轮测试使用了现场测试对象，并使用 EEG 监测器，测试平台为 Psychopy2。每个序列包含 40 个图像，整个测试数据共呈现 18,000 个图像。

收集的 EEG 数据使用 MATLAB 和 CoSMoMVPA 工具箱进行解码，采用 留一法交叉验证 方案和线性判别分析（LDA）。

LDA 分类器是能够区分大脑对虚假刺激的反应和测试对象对图像是虚假的意见的组件。

结果

研究人员聚合和处理了结果，发现测试对象能够轻松区分真实和不真实的面部，但似乎很难识别真实的、GAN 生成的虚假面部。图像是否倒置似乎没有太大影响。

第二轮测试中真实和合成生成面部的行为区分。

然而，EEG 数据却告诉了一个不同的故事。

该论文指出：

‘尽管观察者难以区分真实和虚假面部，并且倾向于过度分类虚假面部，但 EEG 数据包含了与此区分相关的信号信息，这些信息在真实和虚假面部之间有明显的差异，并且这种信号似乎局限于处理的相对较短的阶段。’

这里，EEG 的准确性和测试对象的报告意见（即面部图像是虚假的）之间存在差异，EEG 捕获更接近真相，而不是测试对象的明显感知。

研究人员得出结论，尽管观察者可能很难在行为上识别虚假面部，但这些面部在人类视觉系统中有“不同的表现”。

这种差异导致研究人员推测他们的发现可能对未来安全机制有潜在的应用：

‘在应用环境中，例如网络安全或深度伪造，检查真实面部的检测能力可能最好使用机器学习分类器应用于神经成像数据，而不是针对行为性能。’

他们得出结论：

‘理解大脑和行为之间的脱节对于虚假面部检测将对我们处理人工生成信息的潜在危害和普遍传播的方式有实际影响。’

* 我将内联引用转换为超链接。

首次发表于 2022 年 7 月 11 日。