Anderson 视角
通过AI虚拟试穿新衣服

要点Vanast的单阶段AI模型整合了服装、身份与动作,以生成更稳定的虚拟试穿视频。
查看更多
- Vanast的单阶段AI模型整合了服装、身份与动作,以生成更稳定的虚拟试穿视频。
- 该系统利用Flux和Qwen等模型生成合成训练数据,以克服现实世界数据稀缺的问题。
- 尽管技术有所进步,但高计算需求和延迟问题仍限制了其商业可行性。
一种AI模型如今可以将一张人物照片和服装图片转化为视频,让同一个人穿着新装活动,同时避免旧式两阶段系统常见的画面瑕疵。
计算机视觉研究中的 “虚拟试穿”(VTON)领域 是相关文献中资金最充足、成果最丰富的方向之一。每年频繁发表的产学合作研究表明,主要原因是财力雄厚的时尚行业为这一目标投入了大量资金:

论文《Image-Based Virtual Try-On: A Survey》中的示例:人物表示方式,以及即使基础图像也必须经过的部分筛选和精修步骤,以实现虚拟试穿(VTON)。 来源
这一目标有许多变体,例如 从人物图像中提取服装,以及在必要时 适配更丰满的体型 。部分图像系统已在veesual.ai、wanna.fashion和fashn.ai等平台投入商用。
在视频方面,Google Labs的实验性 Doppl应用 曾尝试这项功能,并于 去年夏天推出:
如果视频没有自动播放,请点击播放。片段来自已停止的Google Doppl视频试穿项目。 来源
然而,在 反响平淡后,Doppl于2026年4月关闭。用户目前被引导至该公司仅提供静态图片的 试穿服务†:

Google仅使用静态图片的试穿服务,已停止的Doppl平台用户会被引导至此。 来源
虽然少数平台提供视频虚拟试穿,但似乎都不隶属于实际零售商;这些产品均处于尚不成熟的技术前沿,规模边缘,兜售token,而且往往令人存疑。
研究领域有不少有趣的尝试,但传统方案的架构复杂,难以同时实现低延迟和高质量:
如果视频没有自动播放,请点击播放。2024年Fashion-VDM项目中不包含人物头部的服装转移示例. 来源
让衣服贴合真实人物,而又不扭曲衣服或人物,同时保留有用的展示动作,是当前最先进技术面临的巨大挑战。例如,当人物转过身时,必须 准确地 展示商品背面。
Vanast
韩国的一篇新论文试图通过一种全新、完全整合的方案,同时处理服装、人物和动作,来应对这一挑战:
如果视频没有自动播放,请点击播放。示例来自Vanast项目的补充材料网站。 来源
新系统 Vanast利用定制数据集,将完成任务所需的服装、人物和动作三种因素整合并协同起来:
点击播放。 Vanast项目网站的更多示例。
系统使用Flux、Qwen和ChatGPT等不同框架生成“三元组”数据集,为端到端架构的训练提供支持:

新论文中的示例:用于生成和训练的数据集数据点。 来源 –
这篇 新论文 题为 Vanast: Virtual Try-On with Human Image Animation via Synthetic Triplet Supervision,由首尔大学的四位研究者撰写,另有一个包含大量视频的 项目网站.
方法
作者的目标是将上述三个方面整合进一个单阶段框架。不仅是为了让流程统一,也为了使不同方面在训练过程中有更多机会结合与交互,从而生成更连贯的结果:

Vanast将一张人物照片、独立服装图片和动作参考结合起来,生成同一个人穿着新装活动的连续画面。姿态引导确保动作一致,并在各帧间保持人物身份特征和服装细节。
系统输入包括目标服装图片、人物穿着其他服装的照片、规定动作的参考视频,以及描述行为和场景的文本提示。输出是完整视频:同一个人看起来穿上了新装,遵循指定动作,并在时间上保持各帧的视觉一致性。
多数类似的既有工作将换装和动画分为两个阶段,而Vanast在同一流程中处理服装、身份和动作,使这些要素在生成时相互作用,减少早期方法中的不匹配与不稳定现象。
数据集
训练使用相互配对的人物图像、对应服装,以及该人物穿着这些衣服活动的视频。动作通过 已有架构提取,为各帧提供稳定的姿态引导。
由于没有符合要求的公开数据集,研究者从未指明名称的网络购物平台收集了包含多种服装的视频。然而,任务需要同一个人 穿着多套服装的视频,这在自然采集的数据中很少见,因此必须创建 合成数据。
三阶段流程首先通过 Qwen2.5-VL 视觉语言模型(VLM)从收集的视频中选择合适的候选帧,并进行裁剪和适用性评估,例如没有遮挡、人物位置正确等。随后创建适当的 局部重绘 遮罩,隔离需要处理的区域。与先前的 PERSE工作一致,这一步使用已经资历颇深的 SDXL 扩散模型。

Vanast处理流程概览:人物图像、目标服装图片和动作引导视频经过编码,在统一的视频扩散模型中处理。系统生成保留人物身份、遵循姿态序列并应用目标服装的动画。合成三元组生成支持训练,双模块设计则将动画与服装转移分开,以保持一致性。
第三阶段再次使用Qwen按性别分类图像,然后利用流行的 Flux 图像扩散框架修改图片中的服装,因为Flux能够整合多个输入要素。局部重绘的文本提示由ChatGPT整理,未说明版本。
为进一步增加姿态和背景的多样性,研究者引入从自然拍摄视频中构造训练三元组的流程,并使用 HumanVid数据集。同一流程也用于生成保留人物身份的图像。
这些视频没有单独的服装图片,因此研究者直接从视频素材中合成。先从每段视频采样帧,由Qwen给正面可见程度评分,再根据全身可见程度、清晰度、遮挡多少、照明质量与整体构图选择最佳候选。
随后使用 SegFormer提取上身服装区域,并移除背景以单独得到衣服。
为避免 位置偏差,服装区域在其边界框内随机移动,Qwen再次筛掉不可靠的分割结果。这样得到与动作和身份配对的合成服装图片,使研究者能够从非结构化视频大规模构造三元组,并提高对多种真实条件的稳健性。
架构
针对早期试图融合全部条件的方法中 收敛 缓慢和控制平衡较弱的问题,研究者引入双模块架构,采用 Wan的文本生成视频扩散Transformer,并参考 VACE 项目(下文详述)。
模型分为 人物动画模块 (HAM)和 服装转移模块 (GTM)。HAM根据人物和姿态输入处理动作与身份,GTM根据服装图片处理衣物。两者共享骨干网络,并以分布式、级联方式融合特征,改善条件控制。
训练时 冻结 骨干网络,只优化HAM和GTM的参数,并在特征融合时平衡两者贡献。合成三元组数据集的输入被转换为 潜在表示 ,使用的是WAN的变分自编码器(VAE)。
人物与姿态信息沿时间维度结合,形成感知动作的上下文;服装特征则单独处理,并通过投影到词元嵌入进行对齐。
模型还扩展支持 服装插值:融合两件衣服的表示,产生平滑过渡,无需额外优化即可在衣物间进行一致、连贯的混合。
数据与测试
模型在9,135段长度为3至10秒的视频上训练,素材来自前述购物网站、作者自己生成的数据集,以及HumanVid数据集。
研究者建立了两个评估集:包含购物网站视频和商品图的“Internet数据集”,另一个采用 官方测试划分 ,该划分来自Alibaba的 ViViD 数据集。
由于ViViD没有人物面部,研究者通过 Flux图像外扩添加面部。上文视频展示了这种在虚拟试穿文献中常见的不含面部的数据。
评价指标包括 L1损失; 峰值信噪比 (PSNR); 结构相似性指数 (SSIM); 学习式感知图像块相似度 (LPIPS); Fréchet Inception Distance (FID)以及 Fréchet Video Distance†† (FVD)。
服装转移测试系统包括 OOTDiffusion; CatVTON; OmniTry以及 Any2AnyTryon。以人物为参照生成图像的受测模型包括 VisualCloze; MOSAIC以及ByteDance的 UNO。
第二阶段的人物图像动画使用 StableAnimator 和 DisPose 框架。
VACE也接受了更受限的测试,因为它并不直接支持这一目标,研究者尝试弥补部分缺失功能:

在Internet和ViViD数据集上,与人物参照图像生成模型及动画模型组合进行的定量比较。提出的方法在所有报告指标上表现最佳。粗体表示各列最高分。
对于上文的初步结果,作者表示:
“与人物参照图像生成模型和动画模型的组合相比,我们的模型在所有指标上表现最佳。”
“定性结果[下图]进一步确认,我们的方法在姿态跟随和服装转移方面最准确,同时比所有基于人物参照图像生成的基线更忠实地保留身份。”

在Internet和ViViD数据集上,与人物参照图像生成和动画基线进行的定性比较。作者认为,提出的方法比VisualCloze、MOSAIC、UNO和VACE更准确地对齐姿态和转移服装,并更一致地保留身份。
第二类测试比较了图像虚拟试穿模型与动画模型的组合,新方法再次获得最高分:

在Internet和ViViD数据集上,与图像虚拟试穿和动画模型组合进行的定量比较。提出的方法在各指标上的总体表现最佳,SSIM仍与最强基线相当。粗体表示最高分。
作者补充道:
“定性比较[下图]显示,在所有基于图像虚拟试穿的基线中,我们的结果最接近真实参考数据。”

将VTON模型与动画模型结合成基线后进行的定性测试。
结论
Vanast实现了统一的端到端方案,但论文没有详述训练与推理的资源需求,说明它可能并非最轻巧灵活的方案。即使在未经优化的系统中,这个目标本身也极其难以实现,更不用说还要兼顾低延迟、合理成本和规模化投资回报的商业部署。
虚拟试穿是AI众多极其雄心勃勃的目标之一。标题和精心挑选的结果所呈现的先进技术面貌,掩盖了任务的实际难度。最终解决它的,也许是晚于Transformer出现、更加轻量的技术。
† 在美国可用。其他许多地区,甚至可能所有其他地区,都有地理限制。
†† 作者提到“VFID”,却只链接到ViViD论文。在有限的查证时间里,我看不出该论文足以支持这一引用。我假定他们实际指的是Fréchet Video Distance(FVD),而且也同样时间不足。如需修正,请联系我。
首次发表于2026年4月8日星期三












