迪士尼将 CGI 与神经渲染相结合来应对“恐怖谷”

迪士尼的人工智能研究部门开发了一种电影质量面部模拟的混合方法，结合了面部神经渲染的优势和基于 CGI 方法的一致性。

待审论文的标题是 风格渲染：结合传统方法和神经方法实现高质量人脸渲染，并在中预览 新的 10 分钟视频 位于迪士尼研究 YouTube 频道（嵌入在本文末尾*）。

网格与神经面部渲染相结合。 请参阅文章末尾嵌入的视频以获得更好的细节和质量。 来源：https://www.youtube.com/watch?v=k-RKSGbWLng（已被 https://www.youtube.com/watch?v=TwpLqTmvqVk 取代）

正如视频所指出的那样， 面部神经渲染 （包括 Deepfakes）可以产生比 CGI 更真实的眼睛和嘴巴内部，而 CGI 驱动的面部纹理更加一致，适合影院级 VFX 输出。

因此，迪士尼正在尝试让 NVIDIA 的 风格甘2 神经生成器处理面部周围的特征和“生命关键”元素（例如眼睛），同时将一致的 CGI 面部皮肤和相关元素叠加到输出中。

从视频（见文章末尾）可以看出，迪士尼混合方法背后的架构概念是，将用于重现“年轻”的凯莉·费雪和《侠盗一号》（2016）中已故的彼得·库欣的老式 CGI 网格集成到神经渲染的面部环境中。

这段视频暗指了人们对 CGI 重现英国已故人物的不真实性和“恐怖谷”效应的频繁批评。 《星球大战》 演员彼得·库欣 霸一方 （2016），承认：

“人们能够轻松捕捉和渲染的图像与最终逼真的数字替身（包括头发、眼睛和口腔内部）之间仍然存在巨大差距。为了缩小这一差距，通常需要技艺精湛的艺术家进行大量的手工工作。”

事实上，即使是最现代的面部捕捉系统也不会尝试重建眼睛、嘴巴内部或头发，这些技术要么存在技术的真实性（眼睛），要么存在时间一致性（头发）的问题。

该视频展示了视觉特效艺术家在典型的现代面部捕捉会话后将获得的效果。 除了纹理和灯光之外，眼睛、头发、面部毛发和嘴巴内部都必须由制作流程中的单独团队处理。

照明控制

混合方法还具有重新照明的优点——这对于面部神经渲染来说是一个显着的挑战，因为 CGI 皮肤叠加可以更容易地重新照明。

CGI/神经方法的动画版本。

在更具挑战性的环境中，例如外景拍摄，研究人员开发了一种在被“创造”的人物周围的非军事区进行修复的方法。

生成黑色边缘以允许“画布”用于修复身份的外部部分并将 CGI 皮肤集成到组合的 CGI/神经输出中。

视频中注明：

“神经渲染与背景约束并非完美匹配。——它仅供参考，因为我们的主要目标是优化头发、眼睛和牙齿等逼真的人体组成部分。更具挑战性的是在改变环境光照的同时，尝试保持一致的身份。”

从神经渲染创建 CGI 网格

研究团队还开发了一种变分自动编码器，该编码器在（未指定的）大型 3D 人脸图像数据库上进行训练，并声称它可以从地面真实数据中生成“随机但合理”的 3D 人脸网格。

这项研究需要克服一些局限性，包括难以让头发在神经渲染中保持时间一致，并且视频（见下文）展示了几个在 CGI/神经面部周围一致的平移中快速突变头发的示例。

神经视频渲染的时间一致性是一个比迪士尼更广泛的问题，并且该系统的后续迭代可能会采用“在后期”添加头发，或采用其他各种可能的方法来生成头发，而不是希望新颖的神经方法最终能够解决这个问题。

用于数据集生成

该方法也被提出作为生成合成数据和丰富面部图像集景观的潜在方法，近年来已成为 危险地单调.

迪士尼设想了填充面部图像数据集的新技术。

我们生成的每一个逼真结果都包含一个底层对应的几何图形和外观图，这些图形和外观图是从未知的相机视点在已知光照条件下渲染的。这些“地面实况”信息对于训练下游应用至关重要，例如单目、3D 人脸重建、面部识别或场景理解。因此，每个渲染结果都可以被视为一个数据样本，我们可以生成许多不同个体的多种变体。

“此外，即使对于以单一视角和照明渲染的单一表情的单个人，我们也可以通过在优化过程中改变随机化种子来生成照片真实渲染的随机变化。”

研究人员指出，这种可配置输出的多样性可能有助于训练面部识别应用程序，得出的结论是：

“[我们的]方法能够利用当前的面部皮肤捕捉、建模和渲染技术，自动创建完全逼真的面部渲染图，以匹配所需的身份、表情和场景配置。这种方法可以应用于电影和娱乐领域的面部渲染，节省手工艺术家的劳动，并可用于深度学习不同领域的数据生成。”

要更深入地了解新方法，请观看今天发布的 10 分钟视频：

 * 在本文发表 8 小时后，原始视频链接被另一个明显相同的视频链接所取代。 我更改了所有相关链接，因为没有原始视频的痕迹。

8:24 GMT+2 – 替换视频，因为迪士尼研究 YouTube 频道出于某种原因将其切换掉。