我们的潜意识深度伪造检测技能可以为未来的自动化系统提供动力

澳大利亚的新研究表明，即使我们有意识地相信我们看到的图像是真实的，我们的大脑也能熟练地识别复杂的深度赝品。

这一发现进一步暗示了利用人们对 Deepfake 面孔的神经反应（而不是他们陈述的观点）来训练自动 Deepfake 检测系统的可能性。 此类系统将根据图像的深度伪造特征进行训练，而不是来自对合理性的混乱估计，而是来自我们面部身份识别的本能感知机制。

尽管大脑可以“识别”真实面孔和现实面孔之间的差异，但观察者无法有意识地区分它们。 我们关于大脑反应和行为之间分离的发现对我们如何研究假脸感知、我们在询问假图像识别时提出的问题以及我们建立防止假图像滥用的保护标准的可能方法都有影响。

结果是在几轮测试中得出的，这些测试旨在评估人们对虚假图像的反应方式，包括明显假脸、汽车、室内空间和倒置（即颠倒）脸部的图像。

实验的各种迭代和方法，其中涉及两组测试对象，需要将简短显示的图像分类为“假”或“真”。 第一轮在 Amazon Mechanical Turk 上进行，有 200 名志愿者，而第二轮则有少量志愿者在连接 EEG 机器时对测试做出反应。 来源：https://tijl.github.io/tijl-grootswagers-pdf/Moshel_et_al_-_2022_-_Are_you_for_real_Decoding_realistic_AI- generated_.pdf

该论文断言：

“我们的结果表明，只需短暂一瞥，观察者就可以发现假脸。 然而，他们很难区分真脸和假脸，并且在某些情况下，他们认为假脸比真脸更真实。

“然而，使用时间分辨脑电图和多元模式分类方法，我们发现可以利用大脑活动从真实面孔中解码出不现实和现实的面孔。

“行为和真实面孔的神经反应之间的这种分离产生了关于虚假面孔感知的重要新证据，以及涉及 GAN 生成的日益真实的面孔类别的影响。”

该论文提出，这项新工作对应用网络安全具有“几个影响”，并且深度伪造学习分类器的发展也许应该由潜意识反应驱动，如根据对虚假图像的脑电图读数来测量，而不是由观看者的有意识估计来驱动图像的真实性。

作者评论*：

“这让人想起这样的发现：患有面容失认症的人虽然无法在行为上将面孔分类或识别为熟悉或陌生，但对熟悉的面孔表现出比其他人更强的自主反应。” 陌生的面孔.

“同样，我们在这项研究中表明，虽然我们可以通过神经活动准确解码真实面孔和现实面孔之间的差异，但这种差异在行为上并没有看到。 相反，观察者错误地将 69% 的真实面孔识别为假面孔。

这个 新工作 标题为 你是真的吗？ 从神经活动中解码人工智能生成的真实面孔，来自悉尼大学、麦考瑞大学、西悉尼大学和昆士兰大学的四位研究人员。

时间

结果是通过两轮测试对人类区分明显错误、超现实（但仍然错误）和真实图像的能力进行了更广泛的检查得出的。

研究人员使用生成对抗网络（GAN）创建的图像， 共用的， 由 NVIDIA 提供。

NVIDIA 提供 GAN 生成的人脸图像。 Source: https://drive.google.com/drive/folders/1EDYEYR3IB71-5BbTARQkhg73leVB9tam

这些数据包括 25 张面孔、汽车和卧室，渲染级别从“不现实”到“现实”不等。 对于面部比较（即适合的非伪造材料），作者使用了 NVIDIA 源 Flickr-Faces-HQ (FFHQ) 的源数据中的选择 数据集。 为了与其他场景进行比较，他们使用了来自 龙生 数据集。

最终，图像将以正确的方式或倒置的方式呈现给测试对象，并且以一定的频率范围，所有图像的大小都调整为 256×256 像素。

所有材料组装完毕后，我们为测试策划了 450 张刺激图像。

测试数据的代表性示例。

检测

测试本身最初是通过在线进行的 心理学 在 pavlovia.org 上，200 名参与者对收集到的总测试数据的各个子集进行判断。 图像呈现 200 毫秒，然后是一个空白屏幕，直到观看者决定闪烁的图像是真还是假。 每张图像仅呈现一次，整个测试需要 3-5 分钟才能完成。

第二轮也是更具启发性的一轮，使用了配备脑电图监视器的现场受试者，并在 心理2 平台。 这 40 个序列中的每一个都包含 18,000 个图像，整个测试数据部分包含 XNUMX 个图像。

收集到的脑电图数据通过 MATLAB 和 CoSMoMVPA 工具箱进行解码，使用 留一交叉验证 线性判别分析下的方案（LDA).

LDA 分类器能够区分大脑对虚假刺激的反应和受试者自己对图像是否虚假的看法。

结果演示

研究人员对脑电图测试对象是否能够区分假脸和真脸很感兴趣，他们汇总并处理了结果，发现参与者可以轻松地区分真实的脸和不真实的脸，但显然很难识别真实的、GAN 生成的假脸。 图像是否颠倒似乎没有什么区别。

第二轮对真实面孔和合成面孔的行为辨别。

然而，脑电图数据却讲述了一个不同的故事。

该文件指出：

“尽管观察者很难区分真脸和假脸，并且倾向于对假脸进行过度分类，但脑电图数据包含与这种区分相关的信号信息，这些信息在现实和不现实之间存在显着差异，并且该信号似乎被限制在相对较短的处理阶段。 '

这里，脑电图准确性和受试者报告的意见（即面部图像是否是假的）之间的差异并不相同，脑电图捕获的数据比相关人员的明显感知更接近事实。

研究人员得出的结论是，尽管观察者可能难以默认识别假面孔，但这些面孔“在人类视觉系统中具有独特的表现”。

发现的差异促使研究人员推测他们的发现对未来安全机制的潜在适用性：

“在网络安全或 Deepfakes 等应用环境中，最好使用应用于神经影像数据的机器学习分类器来检查真实面孔的检测能力，而不是针对行为表现。”

他们得出结论：

“了解假脸检测的大脑和行为之间的分离将对我们处理人工生成信息的潜在有害和普遍传播的方式产生实际影响。”

* 我将内联引用转换为超链接。

首次发布于 11 年 2022 月 XNUMX 日。