迪士尼将CGI与神经渲染相结合，应对“不适感谷”

迪士尼的AI研究部门开发了一种混合方法，用于电影质量的面部模拟，将面部神经渲染的优势与CGI方法的一致性相结合。

该待发表的论文题为《带有风格的渲染：传统和神经方法的结合，用于高质量的面部渲染》，并在迪士尼研究YouTube频道上发布的新10分钟视频中进行了预览（文章末尾嵌入）。

将网格与神经面部渲染相结合。请参阅文章末尾的视频嵌入以获取更好的细节和质量。 来源：https://www.youtube.com/watch?v=k-RKSGbWLng（已替换为https://www.youtube.com/watch?v=TwpLqTmvqVk）

正如视频所述，面部神经渲染（包括深度伪造）可以产生比CGI更真实的眼睛和嘴巴内部，而CGI驱动的面部纹理更一致，适合电影级别的VFX输出。

因此，迪士尼正在尝试使用NVIDIA的StyleGan2神经生成器处理面部周围的特征和“生命关键”元素（如眼睛），同时将一致的CGI面部皮肤和相关元素叠加到输出上。

来自视频（见文章末尾）的迪士尼混合方法的架构概念，其中一种老式CGI网格（用于重现“年轻”的卡里·费舍尔和已故的彼得·库欣的《侠盗一号：星球大战外传》）被集成到神经渲染的面部环境中。

视频中暗示了对英国已故《星球大战》演员彼得·库欣在《侠盗一号：星球大战外传》（2016）中CGI重现的不真实性和“不适感谷”效应的批评，承认：

‘仍然存在巨大的差距，人们可以轻松捕获和渲染的内容与最终的照片级数字双胞胎相比，包括头发、眼睛和嘴巴内部。要弥补这一差距，通常需要大量的手动工作来自有经验的艺术家。’

事实上，即使是最现代的面部捕捉系统也不尝试重现眼睛、嘴巴内部或头发，这些元素在此类技术中存在真实性问题（眼睛）或时间一致性问题（头发）。

视频演示了VFX艺术家在典型的现代面部捕捉会话后会得到什么。眼睛、头发、胡须和嘴巴内部都需要由生产管道中的单独团队处理，除了纹理和照明之外。

照明控制

混合方法也可以更容易地重新照明，这是面部神经渲染的一个显著挑战，因为CGI皮肤叠加可以更容易地重新照明。

迪士尼CGI/神经方法的动画版本。

在更具挑战性的环境中，例如外景拍摄，研究人员开发了一种方法，使用一种围绕被“创建”的人的“非军事区”进行填充。

生成黑色边缘以创建“画布”，用于填充身份的外部部分并将CGI皮肤集成到CGI/神经输出中。

视频中指出：

‘神经渲染不完美地匹配背景约束。——它只作为指南，因为优化真实的人类组件（如头发、眼睛和牙齿）是主要目标。更具挑战性的问题是，在改变环境照明的同时保持一致的身份。’

从神经渲染创建CGI网格

研究团队还开发了一种变分自编码器，训练在大量3D面部图像数据库上，并声称可以从真实数据生成“随机但合理”的3D面部网格。

该研究仍需要克服一些限制，包括难以使头发在神经渲染中保持时间一致性，视频（见下）显示了几种快速变化的头发的例子，尽管面部是CGI/神经渲染的。

时间一致性在神经视频渲染中是一个比迪士尼更广泛的问题，后续系统版本可能会使用其他方法来生成头发，而不是依赖于新的神经方法来解决这个问题。

数据集生成的用途

该方法还被提议作为生成合成数据和丰富面部图像集的潜在方法，这些数据集近年来变得过于单调。

迪士尼设想使用新技术填充面部图像数据集。

‘我们生成的每个照片级结果都有一个潜在的几何形状和外观图，渲染自未知相机视点，具有已知照明。这种“真实”信息对于训练下游应用程序（如单目3D面部重建、面部识别或场景理解）至关重要。因此，每个渲染结果都可以被认为是一个数据样本，我们可以生成许多不同个体的变体。 ‘

‘此外，对于单个人物，以单一表情、单一视点和照明渲染，我们可以通过在优化过程中改变随机化种子来生成照片级渲染的随机变体。’

研究人员指出，这种可配置输出的多样性可以用于训练面部识别应用程序，总结如下：

‘我们的方法可以利用当前的面部皮肤捕捉、建模和渲染技术，并自动创建与所需身份、表情和场景配置相匹配的照片级面部渲染。这种方法适用于电影和娱乐中的面部渲染，节省了手动艺术家的劳动，并且还适用于深度学习的不同领域中的数据生成。’

要更深入地了解新方法，请查看今天发布的10分钟视频：

*原始视频链接在文章发布8小时后被替换为另一个看似相同的链接。我更改了所有相关链接，因为没有原始视频的痕迹。

8:24 GMT+2 – 更换视频，因为迪士尼研究YouTube频道出于某种原因将其替换。