使用人工智能修改视频中的情绪表达

来自希腊和英国的研究人员开发了一种新型的深度学习方法，可以改变视频中的人物表情和情绪，同时保持他们的嘴唇运动与原始音频的忠实度，这是以前的尝试所无法匹配的。

从本文末尾的视频中，演员阿尔·帕西诺的表情被NED微妙地改变，基于高级语义概念定义个体面部表情及其相关情绪。右侧的“参考驱动”方法取自源视频的解释情绪，并将其应用于整个视频序列。 来源: https://www.youtube.com/watch?v=Li6W8pRDMJQ

这种特定领域属于日益增长的“深度伪造情绪”类别，其中原始演讲者的身份得到保留，但他们的表情和微表情被改变。随着这种人工智能技术的成熟，它为电影和电视制作提供了可能，使演员的表情进行微妙的改变——同时也开启了一个全新的“情绪改变”视频深度伪造类别。

改变面部表情

公共人物的面部表情，例如政客，都是经过精心策划的；2016年，希拉里·克林顿的面部表情曾经受到媒体的密切关注，因为它们可能对她的选举前景产生负面影响；面部表情，也是FBI感兴趣的主题；它们也是工作面试中的关键指标，使得（遥远的）“表情控制”滤镜的前景对于在Zoom上进行预筛的求职者来说是可取的。

2005年，英国的一项研究断言，面部外貌影响投票决定，而2019年《华盛顿邮报》的一篇文章审视了“脱离上下文”的视频片段共享，这是目前最接近能够改变公众人物看起来的行为、反应或感受的方法。

向神经表情操控靠近

目前，操控面部情绪的最先进方法相当初步，因为它涉及处理解耦高级概念（例如悲伤、愤怒、幸福、微笑）与实际视频内容。虽然传统的深度伪造架构似乎很好地实现了这种解耦，但在不同身份之间镜像情绪仍需要两个训练面部数据集包含每个身份的匹配表情。

用于训练深度伪造的面部图像的典型示例。目前，您只能通过在深度伪造神经网络中创建特定于ID的表情<>表情路径来操控某人的面部表情。2017年的深度伪造软件没有对“微笑”的内在、语义理解——它只是在两个主题之间映射和匹配感知的面部几何变化。

理想的情况是，能够识别出主体B（例如）如何微笑，并简单地在架构中创建一个“微笑”开关，而无需将其映射到主体A微笑的等效图像。

这篇新论文的标题为神经情绪导演：语音保留的语义控制面部表情在“野外”视频中，来自希腊国家技术大学电气与计算机工程学院、希腊研究与技术基金会计算机科学研究所以及英国埃克塞特大学工程、数学与物理科学学院的研究人员。

该团队开发了一个名为神经情绪导演（NED）的框架，包括一个基于3D的表情翻译网络，3D-Based表情操控器。

NED接受一系列表情参数，并将其翻译到目标域。它是训练在无对齐数据上的，这意味着不需要在每个身份都有对应面部表情的数据集上进行训练。

本文末尾的视频展示了NED对YouTube数据集视频施加明显的情绪状态的系列测试。

作者声称NED是第一个用于在随机和不可预测情况下“指导”演员的基于视频的方法，并且已经在NED的项目页面上发布了代码。

方法和架构

该系统是训练在两个大型视频数据集上，这些数据集已被注释为“情绪”标签。

输出是通过一个视频面部渲染器实现的，该渲染器使用传统的面部图像合成技术渲染所需的情绪到视频，包括面部分割、面部标志对齐和混合，只有面部区域被合成，然后被叠加到原始视频上。

NED管道的架构。 来源: https://arxiv.org/pdf/2112.00585.pdf

最初，系统获取3D面部恢复并在输入帧上施加面部标志对齐，以识别表情。之后，这些恢复的表情参数被传递到基于3D的表情操控器，并通过语义标签（例如“幸福”）或参考文件计算出样式向量。

参考文件是表现特定识别表情/情绪的视频，然后将其叠加到整个目标视频上，替换原始表情。

情绪转移管道的阶段，展示了从YouTube视频中采样的各种演员。

最终生成的3D面部形状然后与归一化平均面部坐标（NMFC）和眼部图像（上图中的红点）连接，并传递到神经渲染器，执行最终的操控。

结果

研究人员进行了广泛的研究，包括用户研究和消融研究，以评估该方法与先前工作的有效性，并发现NED在大多数类别中优于当前的最先进技术。

论文作者预计，这项工作的后续实现以及类似的工具，将主要在电视和电影行业中找到用途，声明：

‘我们的方法为神经渲染技术的有用应用打开了大量新的可能性，从电影后期制作和视频游戏到照片级别的情感化身.’

这是该领域的早期工作，但也是首次尝试使用视频而不是静止图像进行面部重演。虽然视频本质上是快速连续播放的许多静止图像，但存在时间考虑，这使得以前的情绪转移应用变得不那么有效。在随附的视频和论文中的示例中，作者包括NED输出与其他最近方法的可视化比较。

更详细的比较和NED的更多示例可以在下面的完整视频中找到：

2021年12月3日，18:30 GMT+2 – 根据论文作者的请求，对“参考文件”进行了更正，我错误地将其描述为静态照片（实际上它是一个视频片段）。同时，也更正了希腊研究与技术基金会计算机科学研究所的名称。
2021年12月3日，20:50 GMT+2 – 根据论文作者的第二次请求，对上述机构的名称进行了进一步的更正。