Anderson 视角
使用 AI 重塑人体类型

要点NeuralReshaper利用SMPL参数化模型,实现对体重、身高及身体比例的精细控制。
查看更多
- NeuralReshaper利用SMPL参数化模型,实现对体重、身高及身体比例的精细控制。
- 双编码器架构分别处理前景身体重塑与背景修复,以生成逼真效果。
- 基于SMPL的CGI方法仍不可或缺,因为GAN和NeRF尚无法可靠地编辑身体形状参数。
来自中国的一项新研究合作提供了一种通过协调的双神经编码器网络来重塑图像中的人体的新方法,该网络由参数模型引导,允许最终用户在交互式 GUI 中调节体重、身高和体型比例。

参数化的身体形状调节,滑块改变三个可用功能。 来源:https://arxiv.org/pdf/2203.10496.pdf
该工作在几个方面改进了阿里巴巴最近的类似项目,因为它可以令人信服地改变身高和体型比例,以及体重,并且具有一个专门的神经网络用于“填充”(不存在的)背景,可以通过“更瘦”的身体图像显示出来。它还改进了早期的参数化方法,通过去除在变换公式中需要大量的人类干预。
该新架构被称为 NeuralReshaper,它将参数化的 3D 人体模板拟合到源图像中,然后使用模板中的变形来适应原始图像到新的参数。
该系统可以处理穿着衣服和半穿着衣服(例如泳装)的身体变形。
这种类型的变换目前在时尚 AI研究领域引起了极大的兴趣,该领域已经产生了许多 StyleGAN/CycleGAN 基础的和一般神经网络平台,用于虚拟试穿,可以将可用的服装适应用户提交的图像的身体形状和类型,或者帮助视觉一致性。
该 论文 被称为 单图像人体重塑与深度神经网络,来自杭州的浙江大学和香港城市大学创意媒体学院的研究人员。
SMPL 拟合
NeuralReshaper 使用了由马克斯·普朗克智能系统研究所和工业光魔公司于 2015 年开发的 Skinned Multi-Person Linear Model (SMPL)。

SMPL 参数化的人体来自 2015 年的 Planck/ILM 合作。 来源:https://files.is.tue.mpg.de/black/papers/SMPL2015.pdf
在该过程的第一阶段,源图像生成一个 SMPL 模型,需要进行身体变换。SMPL 模型适应图像的方法遵循 2018 年由德国和美国大学提出的 Human Mesh Recovery (HMR) 方法。
三个变形参数(体重、身高、体型比例)在此阶段计算,同时考虑相机参数,如焦距。2D 关键点和生成的轮廓对齐提供了变形的封闭,在形式上增加了边界准确性,并允许进一步的背景填充。

SMPL 拟合阶段:从左到右依次为原图;马克斯·普朗克智能系统研究所牵头的 2016 年研究所述方法的优化结果;预训练的人体形状与姿态端到端恢复模型直接推理结果;二维关键点优化结果;轮廓优化后的最终拟合结果。
然后将三维变形投影到图像空间,建立定义变形的稠密形变场。该过程大约需要 30 秒每张图像。
NeuralReshaper 架构
NeuralReshaper 同时运行两个神经网络:一个前景编码器生成变形的身体形状,一个背景编码器专注于填充“去遮挡”背景区域(例如,减瘦身体时)。
U-net 风格的框架集成了两个编码器的特征输出,然后传递结果到一个统一的解码器,最终从两个输入中产生一个新图像。该架构具有一个新颖的变形引导机制,以实现集成。
训练和实验
NeuralReshaper 使用 PyTorch 在单个 NVIDIA (NVDA ) 1080ti GPU 上实现,具有 11GB 的 VRAM。网络在 100 个 epoch 下训练,使用 Adam 优化器,生成器和判别器的学习率分别为 0.0001 和 0.0004。训练使用批大小 8,来自COCO、MPII和 LSP 的专用户外数据集,以及批大小 2,来自DeepFashion数据集。
以下是 DeepFashion 数据集的示例,仅用于 NeuralReshaper 训练,原始图像始终在左侧。
三个可控属性是解耦的,可以单独应用。
在派生的户外数据集上进行变换更具挑战性,因为它们经常需要填充复杂的背景和清晰地分离变形的身体类型:
参数化方法的必要性
如论文所述,这种对同一图像进行变换的任务是图像合成中的一个不适定问题。许多变换 GAN 和编码器框架可利用成对图像,例如执行草图转照片和照片转草图的项目。
但本任务需要同一个人在不同体型下的成对图像,例如减肥或整容广告中的“前后对比”照片。这类数据很难获取或生成。
另一种方法是在更多样化的数据上训练变换 GAN,通过寻找源图像的潜在代码与目标类别(如“胖”“瘦”“高”)之间的潜在方向来实现变换。但目前这种方法仍不足以支持精细的体型重塑。
神经辐射场(NeRF)在全身模拟方面比大多数 GAN 系统更先进,但仍依赖特定场景且资源消耗大。除了相对环境缩放整个身体之外,目前难以像 NeuralReshaper 及此前项目所追求的那样精细编辑体型。
GAN 的潜在空间难以控制,单靠 VAE 尚不能解决全身重建的复杂性,而 NeRF 稳定、逼真地重建人体的能力仍处于起步阶段。因此,人体图像合成研究仍可能继续采用 SMPL 等传统 CGI 方法,以约束并整合这些新技术中参数和可利用性尚未完全明晰的特征、类别及潜在代码。
首次发布于 2022 年 3 月 31 日。




















