AI 研究人员从用户照片创建 3D 视频游戏面部模型

一组来自中国游戏公司 NetEase (NTES ) 的研究人员创建了一个系统，可以自动从照片中提取面部并使用图像数据生成游戏中的 3D 模型。该论文的结果，题为 面部到参数的翻译用于游戏角色自动创建，被 Synced 在 Medium 上总结。

越来越多的游戏开发者选择使用 AI 来自动化耗时的任务。例如，游戏开发者已经使用 AI 算法来帮助 渲染角色和物体的动作。游戏开发者最近使用 AI 的另一个例子是创建更强大的角色定制工具。

角色定制是角色扮演视频游戏中深受喜爱的功能，允许玩家以多种方式定制他们的游戏角色。许多玩家选择让他们的角色看起来像自己，这变得更加容易，因为角色创建系统的复杂性增加。然而，当这些角色创建工具变得更加复杂时，它们也变得更加复杂。创建一个与自己相似的角色可能需要花费数小时来调整滑块和修改神秘的参数。NetEase 研究团队旨在改变这一点，通过创建一个分析玩家照片并在游戏角色上生成面部模型的系统。

自动角色创建工具由两个部分组成：模仿学习系统和参数翻译系统。参数翻译系统从输入图像中提取特征，并为学习系统创建参数。这些参数然后被用于模仿学习模型来迭代生成和改进输入面部的表示。

模仿学习系统具有模拟游戏引擎创建角色模型的风格的架构。模仿模型旨在提取面部的基本真相，考虑到像胡须、口红、眉毛和发型这样的复杂变量。面部参数通过梯度下降过程更新，与输入进行比较。输入特征和生成模型之间的差异不断被检查，并对模型进行调整，直到游戏模型与输入特征对齐。

在模仿网络被训练后，参数翻译系统检查模仿网络的输出与输入图像特征，决定一个特征空间，以便计算最佳面部参数。

最大的挑战是确保 3D 角色模型可以保留基于人类照片的细节和外观。这是一个跨域问题，3D 生成图像和 2D 真人图像必须被比较，并且两者的核心特征必须相同。

研究人员使用两种不同的技术解决了这个问题。第一种技术是将他们的模型训练分成两个不同的学习任务：面部内容任务和判别任务。面部的总体形状和结构是通过最小化两个全局外观值之间的差异/损失来确定的，而判别/细节是通过最小化阴影等小区域内的损失来填充的。两个不同的学习任务被合并在一起，以实现完整的表示。

用于生成 3D 模型的第二种技术是一种使用模拟骨骼结构的 3D 面部构造系统，考虑到骨骼的形状。这使得研究人员能够创建比其他依赖于网格或面部网的 3D 建模系统更复杂、更准确的 3D 图像。

创建一个可以根据 2D 图像生成逼真 3D 模型的系统已经足够令人印象深刻，但自动生成系统不仅可以处理 2D 照片，还可以处理面部的草图和漫画，并以惊人的准确性渲染为 3D 模型。研究团队怀疑该系统能够根据 2D 角色生成准确的模型，因为该系统分析面部语义，而不是解释原始像素值。

虽然自动角色生成器可以用于根据照片创建角色，但研究人员表示，用户也应该能够使用它作为一种补充技术，并根据自己的偏好进一步编辑生成的角色。