使用基于人工智能的标签识别 Deepfake 数据源

中国、新加坡和美国的研究人员合作开发了一种弹性系统，可以对人脸照片进行“标记”，这种系统非常强大，以至于识别标记在识别过程中不会被破坏。 deepfake 培训过程，为知识产权主张铺平道路，这可能会削弱合成图像生成系统“匿名”非法抓取的源数据的能力。

该系统名为 假标记者，使用编码器/解码器过程将视觉上难以辨别的 ID 信息以足够低的级别嵌入到图像中，使得注入的信息将被解释为基本的面部特征数据，从而通过 抽象化 例如，以与眼睛或嘴巴数据相同的方式完整地处理数据。

FakeTagger 架构概述。 源数据用于生成“冗余”面部特征，忽略将通过典型的深度伪造工作流程掩盖的背景元素。 该消息可在流程的另一端恢复，并可通过适当的识别算法进行识别。 来源：http://xujuefei.com/felix_ammmm21_faketagger.pdf

这项研究来自武汉网络科学与工程学院、中国教育部航天信息安全与可信计算重点实验室、美国阿里巴巴集团、波士顿东北大学和新加坡南洋理工大学。

FakeTagger 的实验结果表明，四种常见类型的 Deepfake 方法的重新识别率高达近 95%： 身份交换（即 深度人脸实验室, 换脸）； 面部重现； 属性编辑； 和全合成。

Deepfake检测的缺点

尽管过去三年带来了 作物 深度伪造识别方法的新方法，所有这些方法都关键在于深度伪造工作流程的可弥补缺陷，例如 目光闪烁 在训练不足的模型中，以及 缺乏眨眼 在早期的深度伪造中，面部设置不够多样化。随着新密钥的确定，免费和开源软件存储库已经消除了它们，无论是故意的，还是作为 Deepfake 技术改进的副产品。

新论文指出，就在野外发现 Deepfake 而言，Facebook 最近的 Deepfake 检测竞赛 (DFDC) 产生的最有效的事后检测方法的准确度仅限于 70%。 研究人员将这种代表性失败归咎于对新事物和新事物的普遍性不佳。 创新 GAN 和编码器/解码器 Deepfake 系统，以及 Deepfake 替代品质量经常下降的问题。

在后一种情况下，这可能是由于 Deepfaker 的低质量工作造成的，或者是在将视频上传到寻求限制带宽成本的共享平台时出现压缩伪影，并以比提交的比特率低得多的比特率重新编码视频时造成的。 。 具有讽刺意味的是，这不仅使图像质量下降 不能 干扰深度伪造的表面真实性，但它实际上可以增强幻觉，因为深度伪造视频被纳入一种常见的、低质量的视觉习惯中，被认为是真实的。

生存标记作为模型反演的辅助手段

从机器学习输出中识别源数据是一个相对较新且不断发展的领域，并且使基于知识产权的诉讼的新时代成为可能，因为政府当前 宽容 随着该行业的商业化，屏幕抓取法规（其目的不是为了在全球人工智能“军备竞赛”面前扼杀国家研究的领先地位）演变为更严格的立法。

模型反演 处理从多个领域的合成系统生成的输出中源数据的映射和识别，包括自然语言生成（NLG）和图像合成。 模型反演对于重新识别模糊、像素化或通过生成对抗网络或编码器/解码器转换系统（例如 DeepFaceLab）的抽象过程的人脸特别有效。

向新的或现有的面部图像添加有针对性的标记是模型反演技术的潜在新助手， 水印 一个新兴领域。

事后标记

FakeTagger 旨在作为一种后处理方法。 例如，当用户将照片上传到社交网络时（通常涉及某种优化过程，很少直接且纯粹地传输原始图像），算法会处理图像以将所谓不可磨灭的特征应用于面部。

或者，该算法可以应用于历史图像集合，就像过去二十年中多次发生的那样，因为大型库存照片和商业图像集合网站一直在寻求 方法 识别未经许可重复使用的内容。

FakeTagger 试图嵌入来自各种 Deepfake 过程的可恢复 ID 特征。

开发和测试

研究人员通过上述四种方法对 FakeTagger 与许多 Deepfake 软件应用程序进行了测试，包括使用最广泛的存储库 DeepFaceLab； 斯坦福大学的 面对面，可以跨图像和身份传输面部表情； 和 STGAN，可以编辑面部属性。

测试完成 CelebA-总部，一个流行的抓取公共存储库，包含 30,000 张名人的面部图像，分辨率高达 1024 x 1024 像素。

作为基线，研究人员最初测试了传统的图像水印技术，看看强加的标签是否能够在深度伪造工作流程的训练过程中幸存下来，但这些方法在所有四种方法中都失败了。

FakeTagger 的嵌入数据在编码器阶段使用基于 优网 用于生物医学图像分割的卷积网络，于 2015 年发布。随后，框架的解码器部分经过训练以查找嵌入信息。

该过程在 GAN 模拟器中进行了试验，该模拟器利用了前面提到的 FOSS 应用程序/算法，在黑匣子设置中对每个系统的工作流程没有离散或特殊的访问权限。 随机信号被附加到名人图像上，并记录为每张图像的相关数据。

在黑盒设置中，FakeTagger 能够比四种应用程序的方法实现超过 88.95% 的准确率。 在并行白盒场景下，准确率提高到接近100%。 然而，由于这表明深度伪造软件的未来迭代将直接整合 FakeTagger，因此在不久的将来这种情况不太可能发生。

计算成本

研究人员指出，FakeTagger 最具挑战性的场景是完整的图像合成，例如基于 CLIP 的抽象生成，因为在这种情况下，输入训练数据受到最深层次的抽象的影响。 然而，这并不适用于过去几年占据头条新闻的深度造假工作流程，因为这些工作流程依赖于身份定义面部特征的忠实再现。

该论文还指出，可以想象，对抗性攻击者可能会尝试添加扰动，例如人工噪声和颗粒，以挫败这种标记系统，尽管这可能会对深度伪造输出的真实性产生不利影响。

此外，他们指出，FakeTagger 需要向图像添加冗余数据，以确保其嵌入的标签的生存，而这可能会产生显着的大规模计算成本。

作者最后指出，FakeTagger 可能具有在其他领域进行来源追踪的潜力，例如 对抗性降雨攻击 以及其他类型的基于图像的攻击，例如 对抗性暴露, 阴霾, 模糊, 渐晕 和 颜色抖动.