深度伪造检测器追求新突破：潜在扩散模型和GAN

观点

最近，深度伪造检测研究社区自2017年末以来一直专注于基于自动编码器的框架，这一框架当时引起了广泛的关注（和失望），现在开始对更静态的架构感兴趣，包括潜在扩散模型，如DALL-E 2和Stable Diffusion，以及生成对抗网络（GAN）的输出。例如，在六月，UC Berkeley 发布了其研究成果，内容是关于开发一个检测器，用于检测DALL-E 2的输出。

似乎驱动这种日益增长的兴趣的是2022年潜在扩散模型的突然演化跳跃，春季以闭源和有限访问的方式发布DALL-E 2，接着在夏末，稳定性.ai 开源了Stable Diffusion。

GAN也在这一背景下被广泛研究，尽管研究的强度较低，因为使用GAN生成令人信服和精致的视频重现非常困难，尤其是与老牌的自动编码器包如FaceSwap和DeepFaceLab相比，后者有一个名为DeepFaceLive的直播版本。

动态图像

无论哪种情况，催化剂似乎是潜在的后续发展冲刺，目标是视频合成。十月初——也是2022年主要的会议季节——出现了大量突然而意外的解决方案，针对各种长期存在的视频合成问题：Facebook 发布了其文本到视频平台的样本，紧接着Google Research宣布了新的Imagen-to-Video T2V架构，能够输出高清视频（尽管仅通过7层上采样网络）。

如果你相信这种事情总是成三现象，请考虑稳定性.ai的神秘承诺，即“视频即将来到”Stable Diffusion，可能在今年晚些时候，而Stable Diffusion的联合开发者Runway也做出了类似的承诺，尽管不清楚他们是否指的是同一个系统。来自Stability CEO Emad Mostaque的Discord消息还承诺了“音频、视频和3D”。

伴随着新音频生成框架的意外发布（其中一些基于潜在扩散），以及一个可以生成真实角色动作的新扩散模型，认为“静态”框架如GAN和扩散器最终将成为外部动画框架的支持辅助工具的想法开始获得真正的关注。

简而言之，似乎很可能，基于自动编码器的视频深度伪造世界将在明年被新一代基于扩散的深度伪造技术所超越，这些技术具有开源、流行的潜力，可以生成不仅仅是面部的照片级假图，还可以生成整个场景的假图。

银翼杀手

最新两篇论文分别解决了潜在扩散和基于GAN的深度伪造检测问题，分别是DE-FAKE：检测和归属由文本到图像扩散模型生成的假图像，这是CISPA亥姆霍兹信息安全中心和Salesforce的合作成果；以及BLADERUNNER：合成（AI生成）StyleGAN面部的快速对策，来自Adam Dorian Wong在MIT林肯实验室的工作。

在解释其新方法之前，后一篇论文花了一些时间来检查之前的方法，用于确定图像是否由GAN生成（该论文具体处理NVIDIA的StyleGAN家族）。

“布拉迪家族”方法——也许对于那些没有在1970年代观看电视或错过1990年代电影改编的人来说，这是一个无意义的引用——根据GAN面部的固定位置识别GAN伪造内容，这是由于GAN“生产过程”的例行和模板化性质。

2022年SANS研究所的网络播客中提出的“布拉迪家族”方法：GAN面生成器将执行不太可能的统一面部特征放置，揭示了照片的来源。在某些情况下。来源：https://arxiv.org/ftp/arxiv/papers/2210/2210.06587.pdf

另一个有用的已知指标是StyleGAN经常无法渲染多个面部（第一张图像下），如果必要，还缺乏配饰协调（中间图像下），以及倾向于使用发际线作为即兴帽子的起点（第三张图像下）。

第三种方法是照片叠加（如我们八月的文章中关于AI辅助精神健康疾病诊断所示），它使用组合“图像混合”软件，如CombineZ系列，将多个图像连接成一个图像，通常会揭示潜在的结构相似性——这可能是合成的指标。

新论文中提出的架构被称为（可能违背所有SEO建议）银翼杀手，参考了科幻系列中用于确定反派是否为“假”的沃伊特-坎普夫测试。

管道由两个阶段组成，第一个阶段是PapersPlease分析器，可以评估从已知GAN面部网站（如thispersondoesnotexist.com或generated.photos）中提取的数据。

尽管代码的精简版可以在GitHub上查看，但关于此模块几乎没有提供任何细节，除了使用OpenCV和DLIB来勾勒和检测材料中的面部。

第二个模块是AmongUs检测器。该系统旨在搜索照片中的协调眼部放置，这是StyleGAN面部输出的持久特征，典型地体现在上述“布拉迪家族”场景中。AmongUs由标准的68个标志点检测器提供支持。

通过智能行为理解小组（IBUG）进行面部标志点注释，其面部标志点绘制代码用于银翼杀手包。

AmongUs依赖于PapersPlease中已知的“布拉迪家族”坐标，并旨在针对基于StyleGAN的面部图像的实时、面向网络的样本进行检测。

银翼杀手，作者建议，是一种即插即用解决方案，适用于缺乏资源开发内部解决方案的公司或组织，也是一种“暂时措施，给更永久的对策留下时间”。

事实上，在这个如此动荡和快速发展的安全领域中，几乎没有定制的或云供应商的解决方案可以让资源不足的公司放心地使用。

尽管银翼杀手在检测戴眼镜的StyleGAN伪造人脸方面表现不佳，但这是类似系统中一个相对常见的问题，因为这些系统期望能够评估眼部轮廓作为核心参考点，而在这种情况下，这些点被遮挡。

DE-FAKE

DE-FAKE架构旨在实现对由文本到图像扩散模型生成的图像的“通用检测”，并提供一种方法来确定哪个潜在扩散（LD）模型生成了图像。

DE-FAKE的通用检测框架解决了本地图像、混合框架（绿色）和开放世界图像（蓝色）。来源：http://export.arxiv.org/pdf/2210.06998

老实说，目前，这是一个相当简单的任务，因为所有流行的LD模型——无论是闭源还是开源——都有显著的区别特征。

此外，大多数共享一些共同的弱点，例如倾向于切断头部，因为非正方形网页抓取图像被任意地摄入为大型数据集的组成部分，这些数据集为DALL-E 2、Stable Diffusion和MidJourney等系统提供动力：

潜在扩散模型与所有计算机视觉模型一样，需要正方形输入格式；但是，LAION5B数据集的聚合网页抓取不提供“豪华附加功能”，如识别和关注面部（或其他任何内容），而是将图像残忍地截断，而不是用较低分辨率的图像填充。这些“裁剪”一旦被训练，就会变得非常常见，并且经常出现在潜在扩散系统如Stable Diffusion的输出中。来源：https://blog.novelai.net/novelai-improvements-on-stable-diffusion-e10d38db82ac和Stable Diffusion。

DE-FAKE旨在成为算法不可知，这是自动编码器反深度伪造研究人员长期以来一直追求的目标，在LD系统方面，这个目标目前是可以实现的。

该架构使用OpenAI的对比语言图像预训练（CLIP）多模态库——这是Stable Diffusion和新一波图像/视频合成系统的核心组件——作为一种从“伪造”的LD图像中提取嵌入并训练分类器的方法。

在一个更“黑盒”的场景中，PNG块中关于生成过程的信息由于上传过程和其他原因已经被删除，研究人员使用Salesforce的BLIP框架（也是Stable Diffusion某个版本的组件）来“盲目”地探测图像的可能语义结构。

研究人员使用Stable Diffusion、潜在扩散（本身是一个离散产品）、GLIDE和DALL-E 2来使用MSCOCO和Flickr30k填充训练和测试数据集。

通常，我们会对新框架的结果进行详细分析；但是，DE-FAKE的发现似乎更有可能作为未来迭代和类似项目的基准，而不是作为项目成功的有意义指标，考虑到它所处的环境的波动性和系统的新颖性——在论文的试验中，所竞争的系统几乎已经三年了，来自图像合成场景的早期。

左边两张图像：起源于2019年的先前框架，预计在四个测试的LD系统中表现较差（右边两张图像）。

该团队的结果非常积极，主要有两个原因：首先，几乎没有先前的工作可以与之比较（也没有任何能提供公平比较的工作，即涵盖Stable Diffusion开源发布后的十二周）。

其次，如上所述，当前的LD图像合成领域正在以指数级的速度发展，但当前的输出内容有效地通过其自身的结构性（且非常可预测的）缺陷和怪癖“水印”了自己——其中许多可能在Stable Diffusion的1.5检查点（即4GB训练模型）发布时得到缓解。

同时，Stability已经表明，它为系统的V2和V3版本有一个明确的路线图。考虑到过去三个月的重大事件，OpenAI和其他图像合成领域的竞争对手可能已经摆脱了公司的迟缓，这意味着我们可以期待在闭源图像合成领域也会有类似的快速进步。

首次发布于2022年10月14日。