AI 研究人员从用户照片创建 3D 视频游戏面部模型

一组 NetEase 研究人员，该公司是一家中国游戏公司，已经创建了一个可以自动从照片中提取面部并使用图像数据生成游戏模型的系统。该论文的结果，题为 面部到参数的翻译用于游戏角色自动创建，被 Synced 在 Medium 上总结。

更多和更多的游戏开发者正在选择使用 AI 来自动执行耗时的任务。例如，游戏开发者已经使用 AI 算法来帮助 渲染角色和物体的运动。游戏开发者最近使用 AI 的另一个用途是创建更强大的角色自定义工具。

角色自定义是角色扮演视频游戏中深受喜爱的功能，允许玩家以多种方式自定义他们的游戏角色。许多玩家选择让他们的角色看起来像自己，这变得更加容易，因为角色自定义系统的复杂性增加。然而，当这些角色创建工具变得更加复杂时，它们也变得更加复杂。创建一个与自己相似的角色可能需要花费数小时来调整滑块和修改晦涩的参数。NetEase 研究团队旨在改变这一切，通过创建一个分析玩家照片并在游戏角色上生成玩家面部模型的系统。

自动角色创建工具由两个部分组成：模仿学习系统和参数翻译系统。参数翻译系统从输入图像中提取特征并为学习系统创建参数。这些参数然后被用于模仿学习模型来迭代生成和改进输入面部的表示。

模仿学习系统具有模拟游戏引擎以恒定风格创建角色模型的架构。模仿模型旨在提取面部的真实值，考虑到胡须、唇膏、眉毛和发型等复杂变量。面部参数通过梯度下降过程更新，与输入进行比较。输入特征和生成模型之间的差异不断被检查，并对模型进行调整，直到游戏模型与输入特征对齐。

在模仿网络被训练后，参数翻译系统检查模仿网络的输出与输入图像特征，决定一个特征空间，以计算最佳面部参数。

最大的挑战是确保 3D 角色模型可以保留基于人类照片的细节和外观。这是一个跨域问题，3D 生成图像和 2D 真人图像必须被比较和核心特征相同。

研究人员使用两种不同的技术解决了这个问题。第一种技术是将他们的模型训练分为两个不同的学习任务：面部内容任务和判别任务。面部的整体形状和结构是通过最小化两个全局外观值之间的差异/损失来确定的，而判别/细节是通过最小化阴影等小区域内的损失来填充的。两个不同的学习任务被合并在一起以实现完整的表示。

用于生成 3D 模型的第二种技术是使用模拟骨骼结构的 3D 面部构造系统，考虑到骨骼形状。这使得研究人员能够创建比其他依赖于网格或面部网状的 3D 建模系统更复杂和准确的 3D 图像。

创建一个可以根据 2D 图像生成真实 3D 模型的系统已经足够令人印象深刻，但自动生成系统不仅可以处理 2D 照片。该系统还可以接受面部的草图和漫画，并以令人印象深刻的准确性渲染为 3D 模型。研究团队怀疑该系统能够根据 2D 角色生成准确的模型，因为该系统分析面部语义而不是解释原始像素值。

虽然自动角色生成器可以用于根据照片创建角色，但研究人员表示，用户也应该能够使用它作为一种补充技术，并根据他们的偏好进一步编辑生成的角色。