Anderson 视角
我们的潜意识深度伪造检测技能可能为未来自动化系统提供动力

要点脑电图数据显示,即使观察者在意识层面无法区分真假面孔,潜意识神经信号仍能辨别真伪。
查看更多
- 脑电图数据显示,即使观察者在意识层面无法区分真假面孔,潜意识神经信号仍能辨别真伪。
- 该研究表明,基于大脑活动而非主观人类判断来训练深度伪造检测器,可提高准确性。
- 参与者将69%的真实面孔误判为伪造,凸显了有意识感知在深度伪造检测中的不可靠性。
澳大利亚的新研究提示,我们的大脑在识别复杂的深度伪造方面非常擅长,即使我们有意识地认为我们看到的图像是真实的。
该发现进一步意味着可以使用人们面对深度伪造人脸时的神经反应(而不是他们陈述的意见)来训练自动化的深度伪造检测系统。这些系统将从我们识别人脸身份的本能知觉机制中学习图像的深度伪造特征,而不是依据混乱的可信度估计。
‘尽管大脑可以识别真实人脸与逼真假脸之间的差异,但观察者无法有意识地区分它们。我们的研究结果表明,大脑对虚假面部的反应与行为之间存在脱节,这对我们研究虚假面部感知、提问方式以及建立保护标准以防止虚假图像滥用的方式有重要影响。’
这些结果来自一系列测试,旨在评估人们对虚假图像的反应,包括明显的虚假面部、汽车、室内空间和倒置(即上下颠倒)的面部。

实验的各种迭代和方法,包括两个测试对象组需要将一个短暂显示的图像分类为“真实”或“虚假”。第一轮在 Amazon Mechanical Turk 上进行,有 200 名志愿者;第二轮人数较少,志愿者连接 EEG 设备作答。 来源:https://tijl.github.io/tijl-grootswagers-pdf/Moshel_et_al_-_2022_-_Are_you_for_real_Decoding_realistic_AI-generated_.pdf
该论文断言:
‘我们的结果表明,观察者可能能够在短暂的时间内识别出虚假面部。然而,他们更难区分真实和虚假面部,并且在某些情况下,他们认为虚假面部比真实面部更真实。 ‘
‘然而,使用时间分辨 EEG 和多变量模式分类方法,我们发现可以从大脑活动中将不逼真和逼真的假脸都与真实人脸区分开来。 ‘
‘对于逼真假脸,行为与神经反应之间的这种脱节为虚假面部感知提供了新的证据,并对生成的面部越来越真实的 GAN 生成面部有重要影响。’
该论文建议,这项新研究在应用网络安全方面有几个影响,并且深度伪造学习分类器的开发或许应该由 EEG 测得的潜意识反应来引导,而不是观察者的主观估计。
作者评论*:
‘这与发现那些患有面部失认症的人无法行为性地分类或识别面部,但他们的自主反应对熟悉人脸的反应比对陌生人脸更强有关。 ‘
‘同样,我们在这项研究中发现,虽然我们可以从大脑活动中准确解码真实人脸与逼真假脸之间的差异,但这种差异在行为上并没有体现出来。相反,观察者错误地将 69% 的真实面部识别为虚假面部。’
这项新研究的标题为《你是真的吗?从神经活动中解码逼真的 AI 生成人脸》,由四位研究人员共同完成,分别来自悉尼大学、麦考瑞大学、西悉尼大学和昆士兰大学。
数据
这些结果来自对人类区分明显虚假、超真实(但仍然虚假)和真实图像的能力进行的更广泛的研究,分为两个测试轮次。
研究人员使用了由生成对抗网络(GAN)创建、NVIDIA 分享的图像。

NVIDIA 提供的 GAN 生成的人脸图像。 来源:https://drive.google.com/drive/folders/1EDYEYR3IB71-5BbTARQkhg73leVB9tam
数据包括 25 个面部、汽车和卧室,渲染级别从“不逼真”到“逼真”。对于面部比较(即适合非虚假材料),作者使用了 NVIDIA 的 Flickr-Faces-HQ(FFHQ)数据集的源数据。对于其他场景的比较,他们使用了 LSUN 数据集。
图像最终将以原始方向或倒置方向呈现给测试对象,并以各种频率呈现,所有图像都调整为 256×256 像素。
在收集所有材料后,测试中使用了 450 个刺激图像。
测试
测试本身最初在 jsPsych 上的 pavlovia.org 进行,共有 200 名参与者评估各种测试数据子集。图像每次呈现 200 毫秒,之后是一个空白屏幕,直到观察者决定图像是真实还是虚假。每个图像只呈现一次,整个测试需要 3-5 分钟才能完成。
第二轮测试使用了现场测试对象,并使用 EEG 监测器,测试平台为 Psychopy2。20 个序列中的每个序列包含 40 个图像,整个测试数据共呈现 18,000 个图像。
收集的 EEG 数据使用 MATLAB 和 CoSMoMVPA 工具箱进行解码,采用 留一法交叉验证 方案和线性判别分析(LDA)。
LDA 分类器是能够区分大脑对虚假刺激的反应和测试对象对图像是虚假的意见的组件。
结果
研究人员聚合和处理了结果,发现测试对象能够轻松区分真实人脸与不逼真的假脸,但似乎很难识别逼真的 GAN 生成人脸。图像是否倒置似乎没有太大影响。

第二轮测试中真实和合成生成面部的行为区分。
然而,EEG 数据却告诉了一个不同的故事。
该论文指出:
‘尽管观察者难以区分真实和虚假面部,并且倾向于将过多的人脸判定为假脸,但 EEG 数据包含了与此区分相关的信号信息,这些信息在逼真和不逼真的假脸之间有明显差异,并且这种信号似乎局限于处理的相对较短的阶段。’

这里,EEG 的准确性和测试对象的报告意见(即面部图像是虚假的)之间存在差异,EEG 捕获更接近真相,而不是测试对象的明显感知。
研究人员得出结论,尽管观察者可能很难在行为上识别虚假面部,但这些面部在人类视觉系统中有“不同的表现”。
这种差异导致研究人员推测他们的发现可能对未来安全机制有潜在的应用:
‘在应用环境中,例如网络安全或深度伪造,研究对逼真假脸的检测能力可能最好使用机器学习分类器应用于神经成像数据,而不是针对行为性能。’
他们得出结论:
‘理解大脑和行为之间的脱节对于虚假面部检测将对我们处理人工生成信息的潜在危害和普遍传播的方式有实际影响。’
* 我将内联引用转换为超链接。
首次发表于 2022 年 7 月 11 日。













