Anderson 视角
迪士尼将 CGI 与神经渲染相结合，以应对‘恐怖谷’
将 Unite.AI 添加到您在 Google 上的首选来源
迪士尼的 AI 研究部门开发了一种用于电影级面部模拟的混合方法，将面部神经渲染的优势与基于 CGI 的一致性相结合。
即将发表的论文题为 Rendering with Style: Combining Traditional and Neural Approaches for High Quality Face Rendering，并在 Disney Research YouTube 频道的 全新 10 分钟视频 中预览（嵌入于本文末尾*）。
网格与神经面部渲染相结合。请参见文章末尾的视频嵌入以获取更清晰的细节和质量。 来源: https://www.youtube.com/watch?v=TwpLqTmvqVk
正如视频所述，面部神经渲染（包括深度伪造）能够产生远比 CGI 更逼真的眼睛和口腔内部，而基于 CGI 的面部纹理则更为一致，适合电影级视觉特效输出。
因此，迪士尼正在尝试让 NVIDIA 的 StyleGan2 神经生成器负责处理面部的周边特征以及诸如眼睛等‘关键生命’元素，同时在输出中叠加一致的 CGI 面部皮肤及相关部件。
来自视频（见文章末尾），迪士尼混合方法的架构概念：将一种传统 CGI 网格（用于在《星球大战外传：侠盗一号》（2016）中重现‘年轻’的卡丽·费希尔和已故的彼得·库欣）整合进神经渲染的面部环境中。
视频对经常出现的对已故英国 Star Wars 演员 Peter Cushing 在 Rogue One (2016) 中 CGI 重现的非真实性和‘恐怖谷’效应的批评作了含蓄的提及，并承认:
‘[仍然] 在人们能够轻松捕捉和渲染的内容与最终的光照真实数字双胞胎（包括头发、眼睛和口腔内部）之间仍存在巨大的差距。要弥合这一差距，通常需要熟练艺术家的大量手工工作。’
事实上，即使是最先进的面部捕捉系统也并未尝试重建眼睛、口腔内部或头发，因为这些在此类技术中要么面临真实性问题（眼睛），要么面临时间一致性问题（头发）。
视频展示了典型的现代面部捕捉会话后，视觉特效艺术家将会得到的内容。眼睛、头发、面部毛发以及口腔内部都必须由制作流程中的不同团队分别处理，此外还需进行纹理和灯光工作。
光照控制
该混合方法在重新照明方面也有优势——这一直是面部神经渲染的显著挑战，因为 CGI 皮肤叠加更容易进行重新照明。
CGI/神经方法的动画演示。
在更具挑战性的环境中，例如外景拍摄，研究人员开发了一种在被‘创建’人物周围的类似非军事区范围内进行图像修补的方法。
生成一个黑色边缘，以提供用于修补身份外部区域并将 CGI 皮肤整合到组合的 CGI/神经输出中的‘画布’。
The video notes:
‘[神经] 渲染并未完美匹配背景约束——它仅作为指导，因为优化头发、眼睛和牙齿等真实人类部件是主要目标。更具挑战性的是在改变环境光照的同时保持身份的一致性。’
从神经渲染创建 CGI 网格
研究团队还开发了一种在（未指明的）大型 3D 人脸图像数据库上训练的变分自编码器，并声称它能够从真实数据生成‘随机但合理’的 3D 人脸网格。
该研究仍面临一些限制，包括在神经渲染中保持头发时间一致性的困难，视频（见下文）展示了在整体一致的 CGI/神经面部环绕中，头发快速变化的多个示例。
神经视频渲染的时间一致性是一个远比迪士尼单独面临更广泛的问题，后续系统迭代可能会转向在后期添加头发，或采用其他各种头发生成方法，而不是寄望于新颖的神经方法最终解决此问题。
数据集生成的用途
该方法也被提出作为生成合成数据的潜在手段，以丰富面部图像集合的生态，而近年来该生态已变得危险单调。
迪士尼设想该新技术用于填充面部图像数据集。
‘[每个] 我们生成的光照真实结果都有相应的底层几何和外观贴图，这些是从未知相机视角、已知光照渲染得到的。此类‘真实数据’对训练下游应用至关重要，例如单目、3D 人脸重建、面部识别或场景理解。因此，每个渲染结果都可视为一个数据样本，我们可以为众多不同个体生成大量变体。’
‘此外，即使是对单个人在单一表情、单一视角和光照下的渲染，我们也可以通过在优化过程中改变随机种子来生成光照真实渲染的随机变体。’
研究人员指出，这种可配置输出的多样性可用于训练面部识别应用，结论是:
‘[我们的] 方法能够利用当前的面部皮肤捕捉、建模和渲染技术，自动创建完整的光照真实面部渲染，匹配所需的身份、表情和场景配置。此方法在电影娱乐的面部渲染以及深度学习各领域的数据生成中都有应用，可节省手工艺术家的工作量。’
想更深入了解该新方法，请观看今天发布的 10 分钟视频:
* 原始视频链接在本文发布 8 小时后被替换为另一看似相同的链接。我已更改所有相关链接，因为已找不到原始视频的痕迹。
8:24 GMT+2 – 视频已被替换，原因是 Disney Research YouTube 频道出于某种原因更换了视频。
