迪士尼将CGI与神经渲染相结合以解决“不适感谷”

迪士尼的AI研究部门开发了一种混合方法，用于电影级别的面部模拟，将面部神经渲染的优势与基于CGI的方法的一致性相结合。

待发表的论文题为《带有风格的渲染：结合传统和神经方法实现高质量面部渲染》(Rendering with Style: Combining Traditional and Neural Approaches for High Quality Face Rendering），并在新的10分钟视频中预览，该视频位于迪士尼研究YouTube频道（附在文章末尾*）。

网格与神经面部渲染相结合。请参阅文章末尾的视频嵌入以获得更好的细节和质量。 来源：https://www.youtube.com/watch?v=k-RKSGbWLng（已被https://www.youtube.com/watch?v=TwpLqTmvqVk替换）

如视频所述，面部神经渲染(包括深度伪造)可以产生比CGI更真实的眼睛和嘴巴内部，而CGI驱动的面部纹理更一致、更适合电影级别的VFX输出。

因此，迪士尼正在尝试让NVIDIA的StyleGan2神经生成器处理面部周围的特征和“生命关键”元素，如眼睛，同时将一致的CGI面部皮肤和相关元素叠加到输出中。

来自视频（见文章末尾）的迪士尼混合方法的架构概念，其中旧式CGI网格（如用于重现《侠盗一号：星球大战外传》（2016）中的“年轻”卡莉·费舍尔和已故的彼得·库欣）被集成到神经渲染的面部环境中。

视频中含蓄地提到了对已故英国《星球大战》演员彼得·库欣在《侠盗一号：星球大战外传》（2016）中CGI重现的不真实性和“不适感谷”效应的批评，承认：

‘仍然存在巨大的差距，人们可以轻松捕获和渲染的内容与最终的照片级数字双胞胎相比，包括头发、眼睛和内嘴。为了弥合这一差距，通常需要大量的手动工作来自熟练的艺术家。’

实际上，即使是最现代的面部捕捉系统也不尝试重现眼睛、嘴巴内部或头发，这些元素在此类技术中存在真实性问题（眼睛）或时间一致性问题（头发）。

视频演示了VFX艺术家在典型的现代面部捕捉会话后会得到什么。眼睛、头发、面部毛发和嘴巴内部都需要由生产管道中的单独团队处理，除了纹理和照明。

照明控制

混合方法也可以更容易地重新照明——这是面部神经渲染的一个显著挑战，因为CGI皮肤叠加可以更容易地重新照明。

CGI/神经方法的动画版本。

在更具挑战性的环境中，例如外景拍摄，研究人员开发了一种在被“创建”的人周围的某种非军事区周围进行繪畫的方法。

生成黑色边缘以允许“画布”用于繪畫身份的外部部分并将CGI皮肤集成到CGI/神经输出中。

视频中提到：

‘神经渲染并不完美地匹配背景约束——它只作为指南，因为优化真实的人类组件（如头发、眼睛和牙齿）是主要目标。更具挑战性的是尝试在更改环境照明的同时保持一致的身份。’

从神经渲染创建CGI网格

研究团队还开发了一种变分自编码器，训练在大量3D面部图像数据库上，并声称它可以从真实数据中生成“随机但合理”的3D面部网格。

这种研究仍然存在一些需要克服的局限性，包括在神经渲染中保持头发时间一致性的困难，而视频（见下）显示了几种在CGI/神经面部周围旋转时头发快速变化的例子。

神经视频渲染中的时间一致性是一个比迪士尼更广泛的问题，可能后续系统的迭代将通过在后期添加头发或其他可能的方法来解决头发生成问题，而不是希望新的神经方法最终解决它。

数据集生成的用途

该方法也被提出作为生成合成数据和丰富面部图像集景观的潜在方法，近年来面部图像集景观变得危险地单调。

迪士尼设想新的技术填充面部图像数据集。

‘每个照片级结果都有一个底层对应的几何形状和外观地图，从未知的摄像机视点和已知的照明中渲染。这种“真实”信息对于训练下游应用（如单目3D面部重建、面部识别或场景理解）至关重要。因此，每个渲染结果都可以被认为是一个数据样本，我们可以生成许多不同个体的多个变体。 ‘

‘此外，即使对于单个人以单一表情、单一视点和单一照明渲染，我们也可以通过在优化期间更改随机化种子来生成照片级渲染的随机变体。’

研究人员指出，这种可配置输出的多样性可能对训练面部识别应用程序有用，总结如下：

‘我们的方法可以利用当前的面部皮肤捕捉、建模和渲染技术，并自动创建匹配所需身份、表情和场景配置的完整照片级面部渲染。这种方法适用于电影和娱乐中的面部渲染，节省了手动艺术家的劳动，并且还适用于不同深度学习领域的数据生成。’

要更深入地了解新的方法，请查看今天发布的10分钟视频：

*原始视频链接在文章发布8小时后被替换为另一个看似相同的链接。我更改了所有相关链接，因为原始视频没有任何踪迹。

8:24 GMT+2 – 替换视频，因为它被迪士尼研究YouTube频道出于某种原因切换了。