Anderson 视角

为什么当前的Deepfakes无法传达情感的细微差别

Martin Anderson
将 Unite.AI 添加到您在 Google 上的首选来源
The Book of Boba Fett - Disney
要点深度伪造缺乏匹配源身份与目标身份之间微妙情感所需的面部拓扑数据。
查看更多
  • 深度伪造缺乏匹配源身份与目标身份之间微妙情感所需的面部拓扑数据。
  • 训练数据不匹配迫使深度伪造模型对罕见表情配对要么欠拟合,要么过拟合。
  • 编码器-解码器过程为了泛化而牺牲了表情保真度,从而产生情感不匹配的结果。

昨天,星球大战衍生剧《波巴·费特之书》的第六集首播,似乎引发了粉丝们的两极分化。一般来说,人们认为对马克·哈米尔(Mark Hamill)进行去老化处理(与2020年在《曼达洛人》第二季结局中的前一次出现相比)的改进是工业光魔公司(Industrial Light and Magic)聘请业余深度伪造艺术家Shamook的结果(他曾用开源软件大幅改进该公司的成果);并且认为角色渲染一定是深度伪造技术和可能用CGI整理的结合。

目前没有太多证据支持这一说法,尽管Shamook自从受工业光魔公司合同保密协议约束后就很少对外发言。尽管如此,这项工作相比2020年的CGI有了显著的改进,展现出了一些与从存档作品中派生的深度伪造模型相关的“光泽”;并且总体上符合当前深度伪造的最佳视觉标准。

粉丝们的另一个观点是,这个新的“年轻卢克”尝试有着与之前不同的一组缺陷。也许最能说明这一点的是,在长时间的序列中,新卢克天行者重现的缺乏表达性和微妙、恰当的情感,更典型的是深度伪造而非CGI;The Verge将《波巴·费特》的模拟描述为“马克·哈米尔定格在1983年的面孔上那诡异而空洞的神情”。

无论《波巴·费特》中使用的新技术是什么,深度伪造转换都有一个与情感细微差别相关的基本问题,这个问题很难通过改变架构或改进源训练材料来解决,通常会通过深度伪造者在选择目标视频时的谨慎选择来避免。

面部对齐的局限性

最常用的两个深度伪造开源存储库是DeepFaceLab(DFL)和FaceSwap,两者都源自2017年的匿名且有争议的源代码,DFL在视觉特效行业中拥有巨大的领先优势,尽管其工具性有限。

每个包最初的任务是从源材料(即视频帧和/或静止图像)中提取面部特征。

阿德里安·布拉特的面部对齐网络(FAN)在行动,来自官方存储库。来源:https://github.com/1adrianb/face-alignment

面部对齐网络(FAN)在行动,来自官方存储库。 来源:https://github.com/1adrianb/face-alignment

两者都使用面部对齐网络(FAN)库。FAN可以为提取的面部创建2D和3D(见上图)特征。3D特征可以充分考虑面部的感知方向,直到极端的侧面和相对锐角。

然而,很明显,这些是非常基本的指南,用于引导和评估像素:

来自FaceSwap论坛的面部线条的大致指示。来源:https://forum.faceswap.dev/viewtopic.php?f=25&t=27

来自FaceSwap论坛的面部线条的大致指示。 来源:https://forum.faceswap.dev/viewtopic.php?f=25&t=27

最基本的面部线条是允许的:眼睛可以睁开和闭上,下巴也可以,嘴巴的基本配置(如微笑、皱眉等)可以被追踪和适应。面部可以在相机视角上旋转约200度。

但除此之外,这些是非常粗糙的界限,用于控制像素的行为;并且代表了整个深度伪造过程中唯一真正的数学和精确的面部指南。训练过程本身只是比较像素在这些边界内或附近的排列方式。

在DeepFaceLab中训练。来源:https://medium.com/geekculture/realistic-deepfakes-with-deepfacelab-530e90bd29f2

在DeepFaceLab中训练。 来源:https://medium.com/geekculture/realistic-deepfakes-with-deepfacelab-530e90bd29f2

由于没有面部子部分的拓扑结构(如脸颊的凸凹、老化细节、酒窝等),所以甚至无法尝试匹配源身份(“要被替换的脸”)和目标身份(“要粘贴进来的脸”)之间的这些“细微”子特征。

处理有限的数据

在两个身份之间匹配数据以训练深度伪造并不容易。需要匹配的角度越不寻常,您可能需要在该角度匹配是否实际上具有相同的表情之间进行更多的妥协。

接近,但不是完全匹配。

接近,但不是完全匹配。

上面的例子中,两个身份相对来说很相似,但这是数据集可以接近的最接近的匹配。

仍然存在明显的差异:角度和镜头不完全匹配,照明也不匹配;主题A的眼睛没有完全闭上,不像主题B;图像质量和压缩比主题B要差;不知为何,主题B看起来比主题A更高兴。

但是,你知道的,这就是我们所拥有的,所以我们将不得不在此基础上进行训练。

由于这个A<>B匹配有这么多不寻常的元素,可以肯定数据集中很少有类似配对,甚至可能一个也没有。因此,训练将要么欠拟合它,要么过拟合它。

欠拟合:如果这一配对确实属于少数情况,即原始数据集很大,却很少出现这两张照片的特征,那么它得到的训练时间就会少于更“常见”的简单或中性配对。因此,该角度或表情在训练后模型生成的深度伪造中不会得到充分体现。

过拟合:面对这种罕见A><B配对的匹配数据不足,深度伪造者有时会在数据集中多次复制同一配对,让它更有机会成为最终模型的特征。这会导致过拟合:模型生成的视频很可能刻板地重复两张照片间的差异,例如眼睛闭合程度不同。

下图展示了在DeepFaceLab中训练弗拉基米尔·普京以替换凯文·史派西的过程。此时训练已相当深入,达到160,000次迭代。

来源:https://i.imgur.com/OdXHLhU.jpg(最初来自一个无法在此链接的网站)。

来源:https://i.imgur.com/OdXHLhU.jpg

随意观看的人可能会觉得,这些测试替换中的普京比史派西更显得心不在焉。看看在线情绪识别程序如何理解这种表情差异:

来源:https://www.noldus.com/facereader/measure-your-emotions

来源:https://www.noldus.com/facereader/measure-your-emotions

这个程序分析的面部形貌比DFL和FaceSwap详细得多。根据它的判断,与生成的普京深度伪造相比,史派西的愤怒、厌恶和轻蔑程度都较低。

这些不一致的表情属于一个相互纠缠的整体,因为常见深度伪造应用不能记录或匹配表情与情绪,只能通过原始的像素>像素映射隐式体现。对我们而言,差异却很大。我们从幼年起就把解读面部表情当作基本生存技能;成年后继续依靠它融入社会、取得进展、寻找伴侣并持续评估威胁。我们对微表情如此敏感,深度伪造技术最终必须对此加以考虑。

违背常规

尽管深度伪造革命带来了将“经典”电影明星插入现代电影和电视的承诺,但人工智能无法回到过去并以更兼容的定义和质量拍摄他们的经典作品,这对于这种用例至关重要。

假设(并且为了我们的目的,这并不重要,如果它是错误的)《波巴·费特》中哈米尔的重现主要是训练有素的深度伪造模型的工作,那么该模型的数据集将需要利用拍摄时期的片段(即《绝地归来》制作期间三十岁出头的哈米尔,1981-83)。

这部电影拍摄于Eastman Color Negative 250T 5293/7293胶片上拍摄的,这是一种当时被认为是中等到细粒的250ASA乳剂,但即使在1980年代末也被后来的胶片在清晰度、色彩范围和保真度方面超越。它是那个时代的产品,而且由于《绝地归来》的歌剧式宏大场面,即使对于主要演员来说,也很少有特写镜头,这使得颗粒问题更加关键,因为源面部只占据了部分画面。

哈米尔在《绝地归来》(1983年)中的几幕场景。

哈米尔在《绝地归来》(1983年)中的几幕场景。

此外,许多包含哈米尔的特效镜头都经过光学打印机处理,这增加了胶片颗粒。然而,访问卢卡斯影业档案(这些档案可能已经妥善保管了原始负片,并且可以提供数小时的额外未使用的原始镜头)可以解决这个问题。

有时,可以通过覆盖演员作品的多年时间来增加和多样化深度伪造数据集。在哈米尔的例子中,深度伪造者们因哈米尔在1977年的一次车祸后外貌的变化以及他在《绝地归来》之后几乎立即开始了他作为配音演员的第二职业生涯而受到限制,使得源材料相对匮乏。

情感范围有限?

如果您需要您的深度伪造演员表现得极具戏剧性,您将需要源镜头中包含异常广泛的面部表情。也许只有有限的、适合年龄的镜头可用,并且这些镜头中没有出现太多的表情。

例如,当《绝地归来》的故事发展到这一阶段时,哈米尔的角色已经基本上掌握了他的情绪,这是原创系列神话中的一个基本发展。如果您从《绝地归来》的数据中创建一个哈米尔深度伪造模型,那么您将不得不使用哈米尔在那个时候的角色所要求的更有限的表情和不寻常的面部表情自制力来工作,相比他在特许经营中的早期作品。

即使您考虑到《绝地归来》中有一些时刻,天行者角色处于压力之下,可以为更广泛的表情提供素材,但这些场景中的面部素材是短暂的,并且容易受到动作场景中典型的模糊和快速编辑的影响;因此,数据是相当不平衡的。

概括:情感的融合

如果《波巴·费特》中的天行者重现确实是一个深度伪造,那么针对它的一些批评——缺乏表达范围——并不是完全由于源材料有限。深度伪造的编码器-解码器训练过程正在寻找一个能够从成千上万张图像中提取中心特征的泛化模型,并且可以尝试深度伪造一个在数据集中缺失或罕见的角度。

如果没有这种灵活性,深度伪造架构只会在每一帧的基础上复制和粘贴基本形态,而不会考虑时间适应或上下文。

然而,牺牲表达忠实度是这种多功能性的痛苦代价,任何确实“细微”的表达可能不是正确的。我们都像指挥百人乐团一样调动自己的面部,并且具备这样的能力,而深度伪造软件可以说至少缺少了弦乐声部。

表情中的情感差异

面部运动及其对我们的影响在所有面部上都不是一种统一的语言;罗杰·摩尔的眉毛扬起可能看起来很无忧无虑,但在塞斯·罗根身上可能看起来就不那么成熟,玛丽莲·梦露的诱惑力可能会在深度伪造到一个最可用角色是“愤怒”或“失望”(例如奥布里·普拉扎在《公园与游憩》七季中的角色)的角色身上转化为更负面的情绪。

因此,A/B面部集之间的像素对像素等价性在这方面并没有太大的帮助;但这就是当前的深度伪造开源软件所提供的全部。

可能需要的是一种深度伪造框架,不仅可以识别表情和推断情绪,还具有体现高级概念(如愤怒、诱惑、无聊、疲劳等)的能力,并能够在每个面部身份中对这些情绪及其相关表情进行分类,而不是检查和复制嘴巴或眼睑的排列。  首次发表于2022年2月3日。于东欧时间19:47更新:更正错误的人名归属。

机器学习撰稿人,专注于人类图像合成的领域专家。曾任 Metaphysic.ai 的研究内容负责人,直至其并入 DNEG 的 Brahma.ai。
网站: martinanderson.ai
联系:martin@martinanderson.ai