实时DeepFake流媒体与DeepFaceLive

世界上最常用的深度伪造软件，也是与深度伪造色情内容最密切相关的软件，正在获得新的实现——将名人面部特征实时叠加到直播摄像头画面中。

开源仓库 DeepFaceLive 是一个基于 DeepFaceLab 的 Windows 10 应用程序，后者迅速成为色情面部替换的领先资源，原因是原始深度伪造软件的创造者在 2018 年深度伪造引起全球争议后不久就放弃了该项目。两个项目都将 mrdeepfakes 色情网站的论坛部分列为官方支持资源。

在四月份由开发者 Ivan Petrov 发布的 DeepFaceLive 界面视频中，我们看到下载的 Miles Fisher 仿照 Tom Cruise 的视频被实时转换成 Tom Cruise 的样子。来源：https://martinanderson.substack.com/p/real-time-deepfake-streaming-is-apparently

昨天，两个项目的负责人、俄罗斯开发者 Ivan Petrov 在项目的 Discord 群中宣布了 DeepFaceLive 的新版本，指出 DeepFaceLive 现在包含了女演员 Margot Robbie 的预训练模型，这位女演员经常出现在 mrdeepfakes 的色情视频中。

已经上传了四个样本视频来展示 DeepFaceLive 将 Margot Robbie 的面部特征附加到任何摄像头视频中的能力。

Margot Robbie 的深度伪造演示之一。来源：https://github.com/iperov/DeepFaceLive/tree/master/doc/celebs/Margot_Robbie

Margot Robbie 变身视频最初在 Twitch 上分享，但后来被删除。

DeepFaceLive 提供的其他三个面部替换示例。目标对象的面部特征仍然需要与源对象相似。在左下图像中，我们看到该软件无法有效地遮挡障碍物，因为这需要在 DeepFaceLab 的 XSeg 应用程序中训练遮罩，而这种方法不能应用于实时伪造。

DeepFaceLive 还承诺很快会提供英国喜剧演员和演员 Rowan Atkinson 的默认模型。最初，DeepFaceLive 仓库包含一个名为 CELEB_MODEL 的类别，用户可以从那里下载其他名人的模型，包括 Tom Cruise，作为 Open Neural Network Exchange (.onnx) 文件，但这些目录已经被删除。

Tom Cruise 曾经是 DeepFaceLive 的一个集成身份，但现在已经从软件包中删除。然而，模型仍然可以下载和安装，包括其他名人和用户自定义训练的模型。

DeepFaceLive 只能在 Windows 10 上运行，据一位用户报告，它与 NVIDIA 的直播应用 Broadcast 配合得很好。

获取身份

用户不需要花费数天时间收集面部数据集，然后等待 3-10 天才能获得一个很好的匹配，因为 DeepFaceLive 的 FAQ 表明它可以使用其他创作者编译好的现成“公共面部模型”。实际上，mrdeepfakes 色情网站的 Forum-Trained Models 线程（存档链接）是这些模型的最大来源，可以在一位俄罗斯用户的 最近的 YouTube 视频 中看到它的使用。

Vladislav Pedro 使用 DeepFaceLive 将自己实时转换成 Tom Cruise。视频中的模型托管在 mrdeepfakes，并以前用于离线深度伪造处理。来源：https://www.youtube.com/watch?v=0TcCKtObSnI

尽管最好的结果将通过训练用户的面部与目标名人来获得，但模拟的质量似乎与用户与目标名人相似度直接成比例。当用户与名人相似度较高时，可以获得令人信服的结果。

如上图中最后三个 Margot Robbie 替换所示，软件无法在用户面部特征与目标名人面部特征差异很大的情况下实现奇迹。然而，DeepFaceLab 也可以 执行整个头部替换，该过程完全覆盖源头，尽管在发型方面有一些限制。Discord 服务器上的评论确认这些也可以在 DeepFaceLive 中实现。

DeepFaceLive 目前仅支持 NVIDIA 显卡，GTX 750 是可以获得合理结果的最低硬件配置。对于 4GB VRAM 的显卡，还需要 32GB 的交换磁盘空间。

训练 Margot Robbie 模型 – 一张由 Ivan Petrov 在 DeepFaceLab/DeepFaceLive Discord 上发布的图像。这里我们看到源数据集非常多样化，显然是为了创建一个强大且通用的模型，以便将各种面部类型转换成澳大利亚女演员的形象。大多数“A”集通常由单个个体组成。

用户报告说，DeepFaceLive 对硬件资源的要求非常高，但 Petrov 回应说，DeepFaceLive 是为配置良好的室内环境的 PC 设计的。

DeepFaceLab 的 GitHub 仓库已经被 fork 过 6000 次，而新的 DeepFaceLive 目前有 85 个 fork。

可能的用途

俄罗斯社交网站 VK.com 上的一个 线程（俄语）中的评论者推测了 DeepFaceLive 的可能用途，似乎已经找到了该软件的所有可能应用：作为 Zoom 和类似应用程序中的“匿名化”或娱乐滤镜；作为欺骗或欺骗直播观众的手段；以及——可能最有可能，考虑到软件的来源和用户群——作为实现名人焦点的基于网络摄像头的性工作的手段（见文章末尾的图像）。

“深度伪造网络摄像头女郎”的可能性 在媒体上出现 已经两年了。2020 年，Avatarify 应用程序 宣布 名人网络摄像头深度伪造功能，但质量明显 低于 DeepFaceLab 设定的标准，后者现在是 最近的头条 中 Tom Cruise 深度伪造者 Chris Ume 以及全球各地的高级电影和电视制作公司的首选仓库。

DeepFaceLab 是 DeepFaceLive 的基础应用程序，也是 报道（俄语）中 95% 的 YouTube 深度伪造的框架，也是深度伪造者 Shamook 使用的软件，他在《曼达洛人》中改进卢克·天行者客串的非凡 作品 最近激发了卢卡斯影业 聘请他 作为视觉特效顾问。

适应深度伪造的局限性

DeepFaceLab 和 FaceSwap 等深度伪造软件的方法得益于典型的网络摄像头环境，并消除了许多离线深度伪造可能存在的真实性障碍。

例如，深度伪造在用户转向侧面（或抬头）、快速移动或受到场景变化或突然的照明变化时，效果较差。

因此，典型的 Zoom 通话或网络摄像头的“静态”性质符合软件的优势。过去三年中，许多最令人敬畏的深度伪造技巧都以直接面对摄像头、在受限环境中几乎不动的演讲者为特征，例如将 Steve Buscemi 置于 Jennifer Lawrence 奥斯卡演讲 上，以及各种“对着镜头”的政治广播的转换。

最可能使用 DeepFaceLive 中的默认 Margot Robbie 模型 – 俄罗斯用户 ‘NoFace’ 在 DeepFaceLab Discord 上发布的摄像头实现测试视频。

8月7日20:52修改 – 更正姓氏。
8月8日20:30修改 – 添加来自 Discord 的图像。