人工智能
深度伪造检测器开辟新天地：潜在扩散模型和GAN
观点
最近，深度伪造检测研究社区几乎完全专注于自2017年末以来基于自编码器的框架，这个框架当时令公众感到惊讶（和失望），开始对更不停滞的架构产生了法医兴趣，包括潜在扩散模型，如DALL-E 2和Stable Diffusion，以及生成对抗网络（GAN）的输出。例如，在六月，UC Berkeley 发布了其研究成果，内容是关于开发一个检测器，用于检测当时占主导地位的DALL-E 2的输出。
似乎正在推动这种日益增长的兴趣的是潜在扩散模型在2022年的突然演化跳跃，春季首次发布了闭源和有限访问的DALL-E 2，随后在夏季末，稳定性.ai对Stable Diffusion进行了开源。GAN也在这种情况下被长期研究，尽管研究的强度较低，因为使用它们来生成令人信服和精致的基于视频的人物重现非常困难；至少，相比之下，使用基于自编码器的包，如FaceSwap和DeepFaceLab，以及后者的直播版本DeepFaceLive，要容易得多。
动态图像
无论如何，激发因素似乎是视频合成的前景。十月初——2022年主要会议季节——以对各种长期存在的视频合成问题的突然和意外解决方案为标志：Facebook 发布了其文本到视频平台的样本后，Google Research迅速通过宣布其新的Imaget-to-Video T2V架构而抢占了头条，这种架构可以输出高清视频（尽管仅通过7层上采样网络）。如果你相信这种事情总是成三现象，那么还要考虑稳定性.ai的神秘承诺，即“视频即将推出”Stable Diffusion，显然是在今年晚些时候，而Stable Diffusion的共同开发者Runway也做出了类似的承诺，尽管不清楚他们是否指的是同一个系统。来自Stability的CEO Emad Mostaque的Discord消息还承诺了音频、视频和3D。随着新音频生成框架的意外推出（其中一些基于潜在扩散），以及一个可以生成真实人物动作的新扩散模型，静态框架（如GAN和扩散器）最终将成为外部动画框架的支持辅助工具的想法开始获得真正的关注。简而言之，似乎很可能，基于自编码器的视频深度伪造的世界，它只能有效地替换面部的中央部分，到明年这个时候将被一代新的基于扩散的深度伪造技术所超越——流行的开源方法，它们有可能不仅伪造整个身体，还能伪造整个场景。因此，反深度伪造研究社区开始认真对待图像合成，并意识到它可能不仅仅是用于生成假的LinkedIn个人资料照片；如果所有他们难以处理的潜在空间在时间运动方面所能做的就是作为一个很好的纹理渲染器，那么这可能已经足够了。
银翼杀手
最近两篇论文分别解决了潜在扩散和GAN-based深度伪造检测问题，分别是DE-FAKE：检测和归属由文本到图像扩散模型生成的假图像，这是CISPA赫尔姆霍兹信息安全中心和Salesforce之间的合作；以及BLADERUNNER：合成（AI生成）StyleGAN面部的快速对策，来自MIT林肯实验室的Adam Dorian Wong。在解释其新方法之前，后一篇论文花了一些时间来审视之前的方法，以确定图像是否由GAN生成（该论文具体讨论了NVIDIA的StyleGAN系列）。“布拉迪家族”方法——也许对于任何在1970年代没有观看电视或错过1990年代电影改编的人来说，这是一个无意义的引用——根据GAN面部的某些部分由于“生产过程”的刻板和模板化性质而必然占据的固定位置来识别GAN伪造内容。
2022年SANS研究所的网络播客中提出的“布拉迪家族”方法：GAN面部生成器将执行不太可能的统一放置某些面部特征，暴露照片的来源，在某些情况下。 来源：https://arxiv.org/ftp/arxiv/papers/2210/2210.06587.pdf
另一个有用的已知指标是StyleGAN经常无法渲染多个面部（第一张图像），如果必要，以及它缺乏配饰协调能力（中间图像），以及倾向于使用发际线作为即兴帽子的起点（第三张图像）。
通过智能行为理解小组（IBUG）的人脸特征点注释，用于Blade Runner包中的代码。
AmongUs依赖于基于PapersPlease中的“布拉迪家族”坐标的预训练特征点，并旨在针对基于StyleGAN的面部图像的实时网络样本进行使用。Blade Runner，作者建议，是一种即插即用解决方案，适用于缺乏资源开发内部解决方案的公司或组织，并且是“买时间”的暂时措施，以便更永久的对策。实际上，在这个如此动荡和快速发展的安全领域，几乎没有定制的或云供应商的解决方案可供公司放心使用。虽然Blade Runner在检测戴眼镜的StyleGAN伪造人时表现不佳，但这在类似系统中是一个相对常见的问题，它们期望能够评估眼部轮廓作为核心参考点，在这种情况下，这些点被遮挡。Blade Runner的简化版本已在GitHub上以开源形式发布。一个更丰富的专有版本存在，可以处理多张照片，而开源存储库中的版本每次操作只能处理一张照片。作者表示，他打算在时间允许的情况下升级GitHub版本到相同的标准。他还承认，StyleGAN可能会随着时间的推移而演变超越其已知或当前的弱点，软件也将需要同步发展。
DE-FAKE
DE-FAKE架构旨在实现“通用检测”，用于由文本到图像扩散模型生成的图像，并提供一种方法来确定哪个潜在扩散（LD）模型生成了图像。
DE-FAKE的通用检测框架解决了本地图像（绿色）、混合框架（绿色）和开放世界图像（蓝色）。 来源：http://export.arxiv.org/pdf/2210.06998
说实话，目前这是一项相当简单的任务，因为所有流行的LD模型——无论是闭源还是开源——都具有显著的区别特征。此外，大多数模型都有一些共同的弱点，例如由于非正方形网页抓取图像被任意地摄入为大型数据集（如DALL-E 2、Stable Diffusion和MidJourney提供的数据集）而倾向于切断头部：
潜在扩散模型与所有计算机视觉模型一样，需要正方形格式的输入；但是，LAION5B数据集的聚合网页抓取不提供诸如识别和关注面部（或其他任何东西）等“豪华附加功能”，而是将图像非常粗暴地截断，而不是填充它们（这将保留整个源图像，但以较低的分辨率）。一旦训练完成，这些“裁剪”就会变得正常化，并且经常出现在潜在扩散系统（如Stable Diffusion）的输出中。来源：https://blog.novelai.net/novelai-improvements-on-stable-diffusion-e10d38db82ac和Stable Diffusion。
DE-FAKE旨在对LD系统来说是算法不可知的，这是自编码器反深度伪造研究人员长期以来一直渴望的目标，现在在LD系统方面，这是一个相当容易实现的目标。该架构使用OpenAI的对比语言图像预训练（CLIP）多模态库——Stable Diffusion中的一个必备元素，也是新一波图像/视频合成系统的核心——作为一种从“伪造”的LD图像中提取嵌入并训练分类器以观察到的模式和类别的方式。在更“黑盒”的场景中，PNG块中关于生成过程的信息由于上传过程和其他原因而被剥离，研究人员使用Salesforce的BLIP框架（也是至少一个Stable Diffusion版本的组件）来“盲目”地询问图像的生成提示的可能语义结构。
研究人员使用Stable Diffusion、潜在扩散（它本身是一个离散产品）、GLIDE和DALL-E 2来填充一个训练和测试数据集，利用MSCOCO和Flickr30k。
通常，我们会对新框架的结果进行详细分析；但是，事实上，DE-FAKE的发现似乎更有可能作为未来迭代和类似项目的基准，而不是作为项目成功的有意义的指标，考虑到它所处的环境的波动性，以及它所竞争的系统在论文试验中几乎已经有三年历史——回到图像合成场景仍然处于初期阶段的时候。
最左边的两张图像：2019年起源的先前框架，预计在DE-FAKE（最右边的两张图像）面前表现较差，跨越四个测试的LD系统。
该团队的结果出于两个原因而非常积极：首先，几乎没有以前的工作可供比较（更不用说公平的比较，即涵盖Stable Diffusion开源发布后的十二周）。其次，正如上面提到的，LD图像合成领域正在以指数速度发展，但当前产品的输出内容本质上是自我标记的，因为它自己的结构性（且非常可预测的）缺陷和怪癖——其中许多可能在Stable Diffusion的 caso 中通过发布更好的1.5检查点（即4GB训练模型）而得到缓解。同时，Stability已经表明，它有一个清晰的V2和V3系统的路线图。考虑到过去三个月的头条事件，图像合成空间中任何开放的竞争对手（如OpenAI）可能都已经摆脱了任何企业性惰性，这意味着我们也可以期待在闭源图像合成空间中同样迅速的进步。
首次发布于2022年10月14日。
