AI 模型与平台
MagicDance：真实的人类舞蹈视频生成
计算机视觉是人工智能行业中最受讨论的领域之一，主要是因为它在各个领域的潜在应用。近年来，计算机视觉框架已经迅速发展，现代模型现在能够在实时场景中分析面部特征、物体等。尽管具有这些能力，人类运动传递仍然是计算机视觉模型面临的重大挑战。这个任务涉及从源图像或视频到目标图像或视频的面部和身体运动的重定向。人类运动传递被广泛用于计算机视觉模型，用于样式化图像或视频、编辑多媒体内容、数字人类合成，甚至生成感知框架的数据。
在本文中，我们关注MagicDance，一种基于扩散的模型，旨在革新人类运动传递。MagicDance框架专门针对将2D人类面部表情和运动传递到具有挑战性的人类舞蹈视频。其目标是为特定目标身份生成新的姿势序列驱动的舞蹈视频，同时保持原始身份。MagicDance框架采用两阶段训练策略，重点关注人类运动解耦和外观因素，如皮肤色调、面部表情和服装。我们将深入探讨MagicDance框架，探索其架构、功能和与其他最先进的人类运动传递框架相比的性能。让我们开始吧。
MagicDance：真实的人类运动传递
如前所述，人类运动传递是计算机视觉任务中最复杂的任务之一，因为它涉及从源图像或视频到目标图像或视频的运动和表情传递的复杂性。传统上，计算机视觉框架通过训练特定任务的生成模型（包括GAN或生成对抗网络）来实现人类运动传递，用于面部表情和身体姿势的目标数据集。虽然训练和使用生成模型在某些情况下可以产生令人满意的结果，但它们通常存在两个主要限制。
- 它们严重依赖图像变形组件，因此通常难以插入源图像中不可见的身体部位，可能是由于视角变化或自遮挡造成的。
- 它们不能推广到外部来源的其他图像，这限制了它们在野外实时场景中的应用。
现代扩散模型已经展示了在不同条件下的卓越图像生成能力，并且扩散模型现在能够在诸如视频生成和图像修复等一系列下游任务中展示强大的视觉效果，通过学习来自网络规模的图像数据集。由于其能力，扩散模型可能是人类运动传递任务的理想选择。虽然扩散模型可以用于人类运动传递，但它确实有一些局限性，可能是生成内容的质量、身份保持或由于模型设计和训练策略限制而导致的时间不一致性。另外，基于扩散的模型在推广性方面没有显示出与GAN框架的显著优势。
为了克服扩散和GAN框架在人类运动传递任务中面临的障碍，开发人员引入了MagicDance，一种新颖的框架，旨在利用扩散框架的潜力，展示前所未有的身份保持、视觉质量和领域推广能力。MagicDance框架的核心概念是将问题分为两个阶段：外观控制和运动控制，这是图像扩散框架需要的两个能力，以提供准确的运动传递输出。
上图简要概述了MagicDance框架，如图所示，框架采用稳定扩散模型，并部署两个额外的组件：外观控制模型和姿势控制网络，其中前者通过注意力为SD模型提供来自参考图像的外观指导，而后者为扩散模型提供来自条件图像或视频的表情/姿势指导。框架还采用多阶段训练策略来有效地学习这些子模块，以解耦姿势控制和外观。
总之，MagicDance框架是一种
- 新颖且有效的框架，包括外观解耦姿势控制和外观控制预训练。
- MagicDance框架能够在姿势条件输入和参考图像或视频的控制下生成真实的人类面部表情和人类运动。
- MagicDance框架旨在通过引入多源注意力模块来生成外观一致的人类内容，该模块为稳定扩散UNet框架提供准确的指导。
- MagicDance框架还可以用作稳定扩散框架的方便扩展或插件，并且确保与现有模型权重的兼容性，因为它不需要对参数进行额外的微调。
此外，MagicDance框架在外观和运动推广方面表现出卓越的能力。
- 外观推广：MagicDance框架在生成多样化外观方面表现出卓越的能力。
- 运动推广：MagicDance框架还具有生成广泛运动的能力。
MagicDance：目标和架构
对于给定的参考图像，无论是真实的人类还是风格化的图像，MagicDance框架的主要目标是生成输出图像或输出视频，条件为输入和姿势输入{P，F}，其中P代表人类姿势骨架，F代表面部标志。生成的输出图像或视频应能够保留所涉及的人类的外观和身份，以及参考图像中的背景内容，同时保留由姿势输入定义的姿势和表情。
架构
在训练期间，MagicDance框架作为帧重构任务进行训练，以重构来自同一参考视频的参考图像和姿势输入的真值。在测试期间，为了实现运动传递，姿势输入和参考图像来自不同的来源。
MagicDance框架的整体架构可以分为四个类别：预备阶段、外观控制预训练、外观解耦姿势控制和运动模块。
预备阶段
潜在扩散模型或LDM代表专门为在潜在空间中运行而设计的扩散模型，利用自编码器，并且稳定扩散框架是LDM的一个值得注意的实例，它采用矢量量化-变分自编码器和时间U-Net架构。稳定扩散模型采用基于CLIP的变换器作为文本编码器来处理文本输入，通过将文本输入转换为嵌入。稳定扩散框架的训练阶段将模型暴露在文本条件和输入图像上，涉及将图像编码为潜在表示，并将其暴露在由高斯方法引导的预定义扩散步骤序列中。生成的序列产生一个噪声潜在表示，提供一个标准正态分布，稳定扩散框架的主要学习目标是迭代地对噪声潜在表示进行去噪，直到潜在表示。
外观控制预训练
原始ControlNet框架的一个主要问题是它无法在空间上变化的运动中一致地控制外观，尽管它倾向于生成具有与输入图像中类似姿势的图像，但整体外观主要由文本输入影响。虽然这种方法有效，但它不适合涉及运动传递的任务，其中参考图像而不是文本输入是外观信息的主要来源。
MagicDance框架中的外观控制预训练模块旨在作为辅助分支，为外观控制提供指导，采用分层方法。与依赖文本输入不同，该模块专注于利用参考图像的外观属性，旨在提高框架准确生成外观特征的能力，特别是在涉及复杂运动动态的情况下。此外，仅在外观控制预训练期间才可以训练外观控制模型。
外观解耦姿势控制
输出图像中控制姿势的简单解决方案是直接将预训练的ControlNet模型与预训练的外观控制模型集成，而无需微调。然而，这种集成可能会导致框架难以实现外观独立的姿势控制，从而导致输入姿势和生成姿势之间的不一致。为了解决这种不一致，MagicDance框架同时微调姿势控制网络模型和预训练的外观控制模型。
运动模块
当外观解耦姿势控制网络和外观控制模型共同工作时，可以实现准确有效的图像到运动传递，尽管这可能会导致时间不一致。为了确保时间一致，框架将一个额外的运动模块集成到主要的稳定扩散UNet架构中。
MagicDance：预训练和数据集
对于预训练，MagicDance框架使用一个TikTok数据集，包含350多个舞蹈视频，长度在10到15秒之间，捕捉一个人跳舞，大多数视频包含面部和上半身。MagicDance框架以每秒30帧提取每个单独的视频，并在每个帧上运行OpenPose以推断姿势骨架、手部姿势和面部标志。
对于预训练，外观控制模型以批大小64在8个NVIDIA A100 GPU上进行10,000步预训练，图像大小为512×512，然后将姿势控制和外观控制模型联合微调批大小16，20,000步。在训练期间，MagicDance框架随机采样两个帧作为目标和参考，图像在相同位置和相同高度裁剪。在评估期间，模型在图像中心裁剪，而不是随机裁剪。
MagicDance：结果
对MagicDance框架进行的实验结果如下图所示，MagicDance框架在所有指标上都优于Disco和DreamPose等现有框架，用于人类运动传递。名称前带有“*”的框架使用目标图像作为输入，包含比其他框架更多的信息。
有趣的是，MagicDance框架实现了0.426的Face-Cos评分，这比Disco框架提高了156.62%，比DreamPose框架提高了近400%。结果表明MagicDance框架在保持身份信息方面具有强大的能力，并且性能的明显提高表明MagicDance框架优于现有的最先进方法。
以下图像比较了MagicDance、Disco和TPS框架之间的人类视频生成质量。如图所示，GT、Disco和TPS框架生成的结果遭受着不一致的人类姿势身份和面部表情。
此外，以下图像演示了MagicDance框架在TikTok数据集上的人脸表情和人类姿势传递的可视化，MagicDance框架能够在多样化的面部标志和姿势骨架输入下生成真实和生动的表情和运动，同时准确地保留参考输入图像的身份信息。
值得注意的是，MagicDance框架具有出色的推广能力，可以处理具有不同姿势和风格的外域参考图像，即使没有在目标域上进行额外的微调，结果如下图所示。
以下图像演示了MagicDance框架在面部表情传递和零次人类运动方面的可视化能力。如图所示，MagicDance框架完美地推广到野外人类运动。
MagicDance：局限性
OpenPose是MagicDance框架的一个重要组件，因为它在姿势控制中起着至关重要的作用，显著影响生成图像的质量和时间一致性。然而，MagicDance框架仍然难以准确地检测面部标志和姿势骨架，特别是当图像中的物体部分可见或显示快速运动时。这些问题可能会导致生成图像中出现伪影。
结论
在本文中，我们讨论了MagicDance，一种基于扩散的模型，旨在革新人类运动传递。MagicDance框架尝试将2D人类面部表情和运动传递到具有挑战性的人类舞蹈视频，旨在为特定目标身份生成新的姿势序列驱动的舞蹈视频，同时保持身份不变。MagicDance框架采用两阶段训练策略，重点关注人类运动解耦和外观，如皮肤色调、面部表情和服装。
MagicDance是一种新颖的方法，用于实现真实的人类视频生成，通过整合面部和运动表达传递，并实现一致的野外动画生成，无需进一步的微调，展示了显著的改进，超过现有的方法。此外，MagicDance框架在复杂的运动序列和多样化的人类身份方面表现出卓越的推广能力，确立MagicDance框架为人工智能辅助运动传递和视频生成领域的领跑者。
