新的深度伪造方法解决了“面部宿主”问题

尽管媒体对深度伪造图像的潜力进行了多年的炒作，但所有当前流行的方法都依赖于找到与目标面部形状相似的“面部宿主”。

当原始视频中有宽脸，但目标对象有窄脸时，结果始终存在问题，因为这种转移涉及切除原始面部的一部分并重建现在暴露的背景。当前的软件包，如DeepFaceLab和FaceSwap，只能在配置反转（窄＞宽）时产生有限的结果，但它们没有能力令人信服地处理这种情况。

现在，腾讯和中国厦门大学之间的合作开发了一种新方法，称为HifiFace，旨在解决这个问题。

两个HifiFace深度伪造图像，第一个是安妮·海瑟薇，尽管宿主面部形状不兼容，但仍然获得了良好的相似度。HifiFace还在传统上深度伪造中容易出错的眼镜目标上表现良好。 来源：https://arxiv.org/pdf/2106.09965.pdf

重建深度伪造面部

之前的方法，例如2019年的主体无关面部交换和重演（FSGAN），依赖于3DMM拟合（3D形态模型）或其他基于面部标志识别或转换的方法，其中要“覆盖”的面部的面部线条基本上决定了交换的边界。

3DMM面部标志检测。 来源：https://github.com/Yinghao-Li/3DMM-fitting

虽然其他方法使用了来自面部识别网络的特征，但这些主要是为了重建纹理而不是结构，并且在宿主面部不完全兼容的情况下也会产生“面具般”的效果（即发际线、下巴线和颧骨的限制和形状）。

为了解决这些问题，中国研究人员开发了一个端到端的网络，该网络使用3D重建模型来回归目标面部和源面部的系数，然后将其重新组合为形状信息，并将其与来自面部识别网络的身份向量信息连接起来。

然后将这些几何数据作为结构信息输入到编码器-解码器模型中，并与目标面部的表情和姿势相结合，后者作为辅助源用于准确转移。

语义面部融合

此外，HifiFace包括一个语义面部融合（SFF）组件，该组件使用编码器中的低级特征来保留空间和纹理信息，而不会牺牲目标图像的身份。编码器和解码器的特征被集成到一个学习到的自适应掩码中，背景信息通过学习到的面部掩码与输出相结合。

HifiFace在行动。 来源：https://johann.wang/HifiFace/

通过这种方式，HifiFace偏离了使用原始材料的面部边界作为硬限制，而是使用扩张面部语义分割，其中模型可以在面部边界上执行更好的自适应融合。

两个先前的方法（左上和左下），以及新的HifiFace架构，包括编码器、解码器、3D形状感知身份提取器和SFF模块。

在与前几种方法FSGAN、SimSwap和FaceShifter的比较中，HifiFace表现出更好的面部形状重建，因为它不是近似“幽灵”元素，而是在面部边界上进行了明确的重建。

测试

研究人员使用VGGFace2和DeepGlint Asian-Celeb数据集实现了该系统。面部通过5个外部标志对齐并裁剪为256×256像素。还使用了一个肖像增强网络来生成512×512像素的版本，用于更高分辨率的模型。该模型在Adam下训练。

虽然FaceShifter在保留身份方面表现良好，但它无法像HifiFace一样有效地处理表达、颜色和遮挡等问题，并且具有更复杂的网络结构。FSGAN在从源到目标转移照明时存在问题。

研究人员使用FaceForensics++进行量化比较，分别从每种方法转换的视频中采样10帧，并发现HifiFace获得了更好的ID检索分数。在测试其他因素（如图像质量）时，研究人员还发现他们的方法优于其他方法。

本尼迪克特·康伯巴奇的面部线条被忠实地重现。

这项工作代表了进一步抽象源材料，使其成为一个粗略的模板，可以将准确的身份转移到其中。一些当前的开源软件包，包括DeepFaceLab，具有原始的全头替换功能，但与HifiFace类似，这些功能不考虑头发，并且更擅长“构建”面部而不是削减面部以匹配所需的目标源。