扩散模型已成为生成式人工智能的重要方法,在图像、音频和视频生成方面取得了领先成果。本文将深入介绍其工作原理、关键创新与成功原因,涵盖数学基础、训练过程、采样算法及前沿应用。
扩散模型简介 扩散模型 是一类通过逆转扩散过程,学习逐步去除数据噪声的生成模型。核心思路是从纯噪声出发,反复细化,最终得到符合目标分布的高质量样本。
这种方法受到非平衡热力学的启发,具体而言,是通过逆转扩散来恢复结构。在机器学习中,可以将其理解为学习逆转逐步向数据添加噪声的过程。
扩散模型的主要优势包括:
图像质量领先,在许多情况下超过生成对抗网络(GAN)
训练稳定,无需对抗式训练动态
高度适合并行计算
架构灵活:任何能将输入映射为相同维度输出的模型都可使用
理论基础扎实
下面进一步了解扩散模型的工作方式。
随机微分方程描述扩散模型的正向和反向过程。正向方程向数据添加噪声,使其逐渐变为噪声分布。反向方程则在学得的得分函数引导下逐步去噪,从随机噪声生成逼真图像。这是在连续状态空间中实现高质量生成的关键。
正向扩散过程 正向过程从真实数据分布中采样的数据点 x₀ 开始,在 T 个时间步内逐渐加入高斯噪声,得到噪声越来越大的 x₁、x₂、…、xT。
每个时间步 t 按以下方式加入少量噪声:
x_t = √(1 - β_t) * x_{t-1} + √(β_t) * ε
其中:
β_t 是控制每一步噪声量的方差调度
ε 是随机高斯噪声
这一过程持续到 xT 几乎成为纯高斯噪声。
数学上可用马尔可夫链表示:
q(x_t | x_{t-1}) = N(x_t; √(1 - β_t) * x_{t-1}, β_t * I)
其中 N 表示高斯分布。
β_t 通常在早期时间步较小,随后逐渐增大。常见调度包括线性、余弦和 sigmoid。
反向扩散过程 扩散模型的目标是学习逆过程:从纯噪声 xT 开始,逐步去噪,恢复干净样本 x₀。
反向过程建模如下:
p_θ(x_{t-1} | x_t) = N(x_{t-1}; μ_θ(x_t, t), σ_θ^2(x_t, t))
μ_θ 和 σ_θ² 是由参数 θ 决定的可学习函数,通常用神经网络实现。
关键创新在于不必显式建模完整的反向分布,而是可以利用已知正向过程来参数化它。
具体来说,可以得到最优反向过程均值 μ*:
μ* = 1/√(1 - β_t) * (x_t - β_t/√(1 - α_t) * ε_θ(x_t, t))
其中:
α_t = 1 – β_t
ε_θ 是学习得到的噪声预测网络
因此,目标很简单:训练神经网络 ε_θ,预测每一步加入的噪声。
训练目标 扩散模型的训练目标可由变分推断推导,经简化后得到 L2 损失:
L = E_t,x₀,ε [ ||ε - ε_θ(x_t, t)||² ]
其中:
t 在 1 到 T 之间均匀采样
x₀ 从训练数据中采样
ε 是采样得到的高斯噪声
x_t 按正向过程向 x₀ 添加噪声得到
也就是说,模型学习预测各时间步加入的噪声。
模型架构 U-Net 是扩散模型去噪步骤中的核心架构。它采用编码器—解码器结构,并通过跳跃连接在重建时保留精细细节。编码器逐步降低输入图像的分辨率并提取高层特征,解码器则上采样这些特征以重建图像。这种结构特别适合图像分割等需要精确定位的任务。
噪声预测网络 ε_θ 可以采用任何保持输入输出维度相同的架构。U-Net 类结构十分常见,尤其适用于图像生成。
典型架构如下:
class DiffusionUNet(nn.Module):
def __init__(self):
super().__init__()
# Downsampling
self.down1 = UNetBlock(3, 64)
self.down2 = UNetBlock(64, 128)
self.down3 = UNetBlock(128, 256)
# Bottleneck
self.bottleneck = UNetBlock(256, 512)
# Upsampling
self.up3 = UNetBlock(512, 256)
self.up2 = UNetBlock(256, 128)
self.up1 = UNetBlock(128, 64)
# Output
self.out = nn.Conv2d(64, 3, 1)
def forward(self, x, t):
# Embed timestep
t_emb = self.time_embedding(t)
# Downsample
d1 = self.down1(x, t_emb)
d2 = self.down2(d1, t_emb)
d3 = self.down3(d2, t_emb)
# Bottleneck
bottleneck = self.bottleneck(d3, t_emb)
# Upsample
u3 = self.up3(torch.cat([bottleneck, d3], dim=1), t_emb)
u2 = self.up2(torch.cat([u3, d2], dim=1), t_emb)
u1 = self.up1(torch.cat([u2, d1], dim=1), t_emb)
# Output
return self.out(u1)
关键组成包括:
带跳跃连接的 U-Net 类架构
以时间步为条件的时间嵌入
灵活的网络深度和宽度
采样算法
训练好噪声预测网络 ε_θ 后,就可以生成新样本。基本采样算法如下:
从纯高斯噪声 xT 开始
对 t 从 T 到 1 依次执行:
预测噪声:ε_θ(x_t, t)
计算均值:μ = 1/√(1-β_t) * (x_t - β_t/√(1-α_t) * ε_θ(x_t, t))
采样: x_{t-1} ~ N(μ, σ_t^2 * I)
返回 x₀
这一过程在噪声预测网络的引导下逐渐去除样本噪声。
实践中,多种采样技术 可以改善质量或速度:
DDIM 采样 :允许减少采样步骤的确定性变体
祖先采样 :使用学得的方差 σ_θ²
截断采样 :提前停止以加快生成
下面是采样算法的基本实现:
def sample(model, n_samples, device):
# Start with pure noise
x = torch.randn(n_samples, 3, 32, 32).to(device)
for t in reversed(range(1000)):
# Add noise to create x_t
t_batch = torch.full((n_samples,), t, device=device)
noise = torch.randn_like(x)
x_t = add_noise(x, noise, t)
# Predict and remove noise
pred_noise = model(x_t, t_batch)
x = remove_noise(x_t, pred_noise, t)
# Add noise for next step (except at t=0)
if t > 0:
noise = torch.randn_like(x)
x = add_noise(x, noise, t-1)
return x
扩散模型背后的数学
要真正理解扩散模型,需要深入其数学基础。以下介绍几个关键概念。
马尔可夫链与随机微分方程
正向扩散可视为马尔可夫链,在连续极限下则可表示为随机微分方程(SDE)。SDE 为分析和扩展扩散模型提供了有力的理论框架。
正向 SDE 可写为:
dx = f(x,t)dt + g(t)dw
其中:
f(x,t) 是漂移项
g(t) 是扩散系数
dw 是维纳过程(布朗运动)
不同的 f 和 g 会产生不同的扩散过程,例如:
方差爆炸型(VE) SDE: dx = √(d/dt σ²(t)) dw
方差保持型(VP)SDE: dx = -0.5 β(t)xdt + √(β(t)) dw
理解这些方程有助于推导最优采样策略,并将扩散模型扩展到新领域。
得分匹配与去噪得分匹配
扩散模型与得分匹配的联系提供了另一种重要视角。得分函数定义为对数概率密度的梯度:
s(x) = ∇x log p(x)
去噪得分匹配通过训练模型去除轻微扰动数据中的噪声,估计这一得分函数。在连续极限下,这一目标等价于扩散模型的训练目标。
这种联系使我们能够采用基于得分的生成建模技术,例如用于采样的退火朗之万动力学。
高级训练技术
重要性采样
标准训练均匀采样时间步,但各时间步对学习的重要性并不相同。重要性采样可使训练更关注信息量较大的时间步。
一种方法是采用非均匀时间步分布,以得分的 L2 范数平方期望加权:
p(t) ∝ E[||s(x_t, t)||²]
这可以加快训练并改善样本质量。
渐进蒸馏
渐进蒸馏旨在不牺牲质量的前提下加快采样。过程如下:
训练时间步较多的基础扩散模型,例如 1,000 步
创建时间步较少的学生模型,例如 100 步
训练学生模型,使其匹配基础模型的去噪过程
重复步骤 2—3,逐渐减少时间步
这样可以用明显更少的去噪步骤实现高质量生成。
架构创新
基于 Transformer 的扩散模型
U-Net 广泛用于图像扩散模型,但近期研究也探索 Transformer 架构。其潜在优势包括:
更好地处理远距离依赖
更灵活的条件控制机制
更容易扩展模型规模
DiT(扩散 Transformer) 等模型取得了有希望的结果,可能进一步提升生成质量。
分层扩散模型
分层扩散模型在多个尺度上生成数据,兼顾整体一致性和精细细节。通常包括:
生成低分辨率输出
逐步上采样并细化
这种方法特别适合高分辨率图像或长内容生成。
进阶主题
无分类器引导
无分类器引导 用于提高样本质量和可控性。其核心思路涉及两种扩散模型:
无条件模型 p(x_t)
条件模型 p(x_t | y),其中 y 是文本提示等条件信息
采样时,在两者的预测之间进行组合:
ε_θ = (1 + w) * ε_θ(x_t | y) - w * ε_θ(x_t)
w > 0 是引导强度,控制对条件模型的强调程度。
无需重新训练,即可增强条件控制。这对 DALL-E 2 和 Stable Diffusion 等文生图模型的成功十分重要。
潜空间扩散
潜空间扩散模型(LDM) 先将输入编码到潜空间,再在其中进行扩散。模型逐渐向图像的潜在表示添加噪声,然后利用 U-Net 去噪。U-Net 通过交叉注意力融合语义图、文本和图像表示等条件信息,最终在像素空间重建图像,从而生成结构可控、属性符合要求的高质量图像。
其优势包括:
训练和采样更快
更好地处理高分辨率图像
更容易加入条件控制
过程如下:
训练自动编码器,将图像压缩到潜空间
在潜空间训练扩散模型
生成时在潜空间采样,再解码为像素
这种方法十分成功,是 Stable Diffusion 等模型的基础。
一致性模型
一致性模型旨在提升扩散模型的速度和质量。其核心是训练一个模型,从任意噪声水平直接映射到最终输出,而不必反复去噪。
通过精心设计的损失函数,约束不同噪声水平下预测的一致性,模型可在一次前向传播中生成高质量样本,大幅加快推理。
扩散模型训练实用建议
训练高质量扩散模型并不容易。以下方法有助于提升稳定性和结果:
梯度裁剪 :防止梯度爆炸,尤其是在训练初期。
权重指数移动平均(EMA) :使用模型权重的 EMA 进行采样,可使生成更稳定、质量更高。
数据增强 :图像模型可通过随机水平翻转等简单增强改善泛化。
噪声调度 :比较线性、余弦和 sigmoid 等调度,寻找最适合数据的方案。
混合精度训练 :减少内存使用并加快训练,尤其适用于大型模型。
条件生成 :即使最终目标是无条件生成,使用图像类别等条件训练也可能提升整体样本质量。
评估扩散模型
生成模型的准确评估既重要又困难。常见指标与方法如下。
Fréchet Inception 距离(FID)
FID 广泛用于评估生成图像的质量与多样性。它在预训练分类器(通常为 InceptionV3)的特征空间中,比较生成样本与真实数据的统计量。
FID 越低,通常表示质量越好、分布越真实。但它存在局限,不应作为唯一指标。
Inception 分数(IS)
Inception 分数 同时衡量图像质量和多样性,使用预训练 Inception 网络计算:
IS = exp(E[KL(p(y|x) || p(y))])
其中 p(y|x) 是生成图像 x 的条件类别分布。
IS 越高通常表示质量和多样性越好,但该指标存在已知局限,尤其不适合与 ImageNet 差异很大的数据集。
可以计算扩散模型在留出数据上的负对数似然,直接衡量其对真实数据分布的拟合程度。
但对高维数据准确估计 NLL,计算成本可能很高。
人工评估
在许多应用,尤其是创意应用中,人工评估仍然不可或缺,包括:
与其他模型并排比较
类似图灵测试的评估
针对具体任务的评估,例如文生图模型的图像描述
人工评估虽然主观,却能发现自动指标遗漏的质量因素。
扩散模型的生产部署
将扩散模型部署到生产环境有独特挑战,以下是一些考虑因素与最佳实践。
推理优化
ONNX 导出 :转换为 ONNX 格式,加快不同硬件上的推理。
量化 :利用 INT8 等量化技术缩小模型并提升推理速度。
缓存 :对条件模型缓存无条件分支的中间结果,以加快无分类器引导。
批处理 :批量处理以高效利用 GPU。
扩展规模
分布式推理 :高吞吐应用可在多个 GPU 或机器上分配推理。
自适应采样 :根据质量与速度的取舍动态调整采样步数。
渐进生成 :高分辨率图像等大型输出可由低分辨率逐步生成,以更快提供初始结果。
安全与过滤
内容过滤 :使用可靠的过滤系统,防止生成有害或不适当内容。
水印 :考虑在生成内容中加入不可见水印,以便追溯。
应用
扩散模型已成功用于多种生成任务。
图像生成
图像生成是扩散模型最早崭露头角的领域,代表包括:
这些模型可根据文字描述生成逼真且富有创意的图像,表现超过此前基于 GAN 的方法。
视频生成
扩散模型也用于生成视频:
视频扩散模型 :将时间作为扩散过程的额外维度来生成视频
Make-A-Video :Meta 的文生视频扩散模型
Imagen Video :Google 的文生视频扩散模型
这些模型根据文字描述生成短视频,为内容创作带来新可能。
三维生成
近期研究将扩散模型扩展到三维生成:
这些方法可从文字描述创建三维资产,应用于游戏、虚拟/增强现实和产品设计。
挑战与未来方向
尽管取得显著成果,扩散模型仍面临挑战,也有许多值得研究的方向。
计算效率
迭代采样可能很慢,尤其是高分辨率输出。潜空间扩散和一致性模型试图解决这一问题,但进一步提高效率仍是活跃研究领域。
可控性
无分类器引导改善了控制能力,但仍需实现更精细的输出控制,这对创意应用尤其重要。
多模态生成
现有模型擅长图像或音频等单一模态。能够无缝跨模态生成的真正多模态扩散模型,是值得探索的方向。
理论理解
扩散模型实证表现很强,但其成功原因仍需深入理解。更扎实的理论可能带来进一步改进与新应用。
结论
扩散模型推动了生成式人工智能的发展,在多种模态中提供高质量结果。通过学习逆转加噪过程,它们构成了灵活且有理论依据的生成方法。
从创意工具到科学模拟,复杂高维数据的生成能力可能改变许多领域。使用这些技术时,应认真考虑其巨大潜力及伴随的伦理挑战。