人工智能

使用 DeepFaceLive 进行实时 DeepFake 流传输

更新 on 2022 年 12 月 9 日

世界上最常用的深度造假软件，也是与深度造假色情最密切相关的软件，正在获得一种新的实现——能够将名人肖像的深度造假叠加到实时网络摄像头镜头中。

开源存储库深脸直播是一个建立在以下基础上的 Windows 10 应用程序深度人脸实验室，在原始 Deepfake 软件的创建者在 2018 年 Deepfake 出现引起全球争议后不久就放弃了该项目后，该项目迅速成为色情换脸的主要资源。这两个项目名单 Deepfake 色情网站 mrdeepfakes 的论坛部分作为官方支持资源。

在开发者 Ivan Perov 四月份发布的 DeepFaceLive 界面视频中，我们看到下载的模仿者迈尔斯·费舍尔 (Miles Fisher) 实时变成汤姆·克鲁斯 (Tom Cruise) 的镜头。来源：https://martinanderson.substack.com/p/real-time-deepfake-streaming-is-apparently

在开发者 Ivan Petrov 四月份发布的 DeepFaceLive 界面视频中，我们看到下载的模仿者迈尔斯·费舍尔 (Miles Fisher) 实时转变成汤姆·克鲁斯 (Tom Cruise) 的镜头。 来源：https://martinanderson.substack.com/p/real-time-deepfake-streaming-is-apparently

昨天，俄罗斯开发商主导了这两个项目伊万彼得罗夫, 公布该项目的 Discord 小组上发布了 DeepFaceLive 的新版本，并指出 DeepFaceLive 现在采用了经过训练的女演员玛格特·罗比 (Margot Robbie) 模型，她是 mrdeepfakes 上色情视频的常见对象。

已上传四个示例视频剪辑，以演示 DeepFaceLive 将 Robbie 身份附加到网络摄像头源中的任何扬声器的能力。

玛格特·罗比的现场深度伪造演示之一。 来源：https://github.com/iperov/DeepFaceLive/tree/master/doc/celebs/Margot_Robbie

罗比变身视频最初在 Twitch 上分享，但随后被删除。

DeepFaceLive 提供的其他三个换脸示例。与目标对象进行近似面部匹配的要求仍然很明显。在左下图中，我们看到该软件无法像 DeepFaceLab 中那样有效地屏蔽障碍物，因为这需要在 DeepFaceLab 的 XSeg 应用程序中训练屏蔽，而这种方法无法应用于实时伪造。

DeepFaceLive 提供的其他三个换脸示例。与目标对象进行近似面部匹配的要求仍然很明显。在左下图中，我们看到该软件无法像 DeepFaceLab 中那样有效地屏蔽障碍物，因为这需要在 XSeg应用 DeepFaceLab的方法，无法应用于实时造假。

英国喜剧演员兼演员罗温·阿特金森的另一个默认模型预计很快就会在 DeepFaceLive 上提供。最初 DeepFaceLive 存储库以 CELEB_MODEL 类别为特色，可以在其中下载其他名人，包括汤姆克鲁斯，作为开放神经网络交换（.onnx）文件，尽管这些目录已被删除。

早在 2021 年 XNUMX 月，汤姆·克鲁斯 (Tom Cruise) 就已成为 DeepFaceLive 的合并身份，但此后显然已作为默认包中的身份被删除。

早在 2021 年 XNUMX 月，汤姆·克鲁斯 (Tom Cruise) 就曾是 DeepFaceLive 测试版的合并身份，但此后显然已作为默认包中的身份被删除。但是，可以下载并安装该模型以及许多其他名人的训练模型以及最终用户训练的自定义模型。

DeepFaceLive 仅作为 Windows 10 应用程序运行，并且报道由一名用户与 NVIDIA 的实时流媒体良好配合广播 Broadcast 应用程序。

获取身份

用户不需要经历为数据集收集面部材料的费力过程，然后需要 3-10 天才能获得非常好的匹配，因为 DeepFaceLive 的常见问题解答指出它可以使用现成的“公共面部模型” ”其他创作者已经编译过。实际上，此类模型的最大来源是论坛训练模型（存档链接）mrdeepfakes 色情网站上的线程，可以看到一名俄罗斯最终用户在最近的 YouTube 视频.

弗拉迪斯拉夫·佩德罗 (Vladislav Pedro) 使用 DeepFaceLive 将自己实时变身为汤姆·克鲁斯 (Tom Cruise)。他在视频中加载的模型托管在 mrdeepfakes 上，到目前为止一直用于离线深度伪造处理。来源：https://www.youtube.com/watch?v=0TcCKtObSnI

尽管通过针对目标名人训练最终用户的脸部可以获得最佳结果，但模拟的质量似乎与最终用户与目标的相似程度成正比。当用户与名人比较吻合时，可以获得令人信服的结果。

从上图中最后三个玛格特·罗比的交换中可以明显看出，当最终用户的面部具有完全不同的一般特征时，该软件无法创造奇迹。然而，DeepFaceLab 还可以执行整个头部交换，尽管在发型方面有限制，但完全覆盖源头的过程。 Discord 服务器上的评论证实这些也可以在 DeepFaceLive 中实现。

DeepFaceLive 目前仅支持 NVIDIA GPU，GTX 750 是能够在应用程序中获得合理结果的最低硬件。在具有 4GB VRAM 的显卡上，还需要 32GB 交换磁盘空间。

训练 Margot Robbie 模型 - Ivan Petrov 在 DeepFaceLab/DeepFaceLive Discord 上发布的图片

训练 Margot Robbie 模型 – 图像发布在 Ivan Petrov 的 DeepFaceLab/DeepFaceLive Discord 上。在这里我们看到源数据集极其多样化，显然是为了创建一个强大且通用的模型，可以将各种面部类型转换为澳大利亚女演员的图像。大多数“A”组通常都是一个人。

用户反映 DeepFaceLive 对硬件资源的要求极高，但 Petrov 对此做出了回应，声称 DeepFaceLive 适用于室内环境中规格齐全的 PC。

DeepFaceLab GitHub 已岔超过 6,000 次，而新的 DeepFaceLive 目前有 85 个分叉。

可能的用途

评论者在绪（俄语）俄罗斯社交网站 VK.com 推测 DeepFaceLive 的可能用途，并且似乎已经识别出该软件的所有可能应用：作为 Zoom 和类似应用程序中的“匿名化”或娱乐过滤器；作为实施欺诈或欺骗直播观看者的手段；并且 - 也许最有可能的是，鉴于该软件的出处和用户群 - 作为实施以名人为中心的基于网络摄像头的性工作的手段（参见文章末尾的图片）。

“深假凸轮女孩”的可能性出现几年前在媒体上。 2020 年 Avatarify 应用程序公布 Deepfake 名人网络摄像头功能，但质量显着降低高于 DeepFaceLab 制定的标准，该标准现在是选择的存储库最近抢夺头条汤姆·克鲁斯 Deepfaker Chris Ume，以及世界各地的高水平影视制作公司。

DeepFaceLab，DeepFaceLive 的种子应用程序和报道 YouTube 上 95% 的 Deepfake 的（俄语）框架，也是 Deepfake 的 Shamook 使用的软件，其非凡的技术工作改善卢卡斯·天行者在《曼达洛人》中的客串形象最近启发了卢卡斯影业雇用他作为视觉特效顾问。

适应 Deepfake 的限制

DeepFaceLab等deepfake软件的方法论换脸典型的网络摄像头环境提供了良好的服务，并消除了许多仍然困扰离线深度伪造的真实性障碍。

例如，当用户转向个人资料（或向上查找）、快速移动或受到场景变化或光照突然变化的影响时，深度伪造的表现就不那么令人信服了。

因此，典型 Zoom 通话或网络摄像头的“静态”特性发挥了该软件的优势。过去三年来，许多最受推崇的 Deepfake 欺骗示例都是扬声器直接面向镜头，并且在受限环境中移动得很少，例如将史蒂夫·布西密 (Steve Buscemi) 强加到詹妮弗·劳伦斯 (Jennifer Lawrence) 身上在奥斯卡演讲中，以及各种“镜头前”政治广播的转变。