AI 模型与平台

探索扩散模型:深入了解生成式 AI

Aayush Mittal
将 Unite.AI 添加到您在 Google 上的首选来源
要点扩散模型通过学习通过随机微分方程逆转逐步添加噪声的过程来生成图像。
查看更多
  • 扩散模型通过学习通过随机微分方程逆转逐步添加噪声的过程来生成图像。
  • 潜在扩散模型(如Stable Diffusion)在压缩空间中运行,以实现更快的高分辨率图像生成。
  • 无分类器引导技术融合条件模型与无条件模型,以加强对文本提示等输出内容的控制。

扩散模型已成为生成式人工智能的重要方法,在图像、音频和视频生成方面取得了领先成果。本文将深入介绍其工作原理、关键创新与成功原因,涵盖数学基础、训练过程、采样算法及前沿应用。

扩散模型简介

扩散模型是一类通过逆转扩散过程,学习逐步去除数据噪声的生成模型。核心思路是从纯噪声出发,反复细化,最终得到符合目标分布的高质量样本。

这种方法受到非平衡热力学的启发,具体而言,是通过逆转扩散来恢复结构。在机器学习中,可以将其理解为学习逆转逐步向数据添加噪声的过程。

扩散模型的主要优势包括:

  • 图像质量领先,在许多情况下超过生成对抗网络(GAN)
  • 训练稳定,无需对抗式训练动态
  • 高度适合并行计算
  • 架构灵活:任何能将输入映射为相同维度输出的模型都可使用
  • 理论基础扎实

下面进一步了解扩散模型的工作方式。

来源: Song et al.

来源: Song et al.

随机微分方程描述扩散模型的正向和反向过程。正向方程向数据添加噪声,使其逐渐变为噪声分布。反向方程则在学得的得分函数引导下逐步去噪,从随机噪声生成逼真图像。这是在连续状态空间中实现高质量生成的关键。

正向扩散过程

正向过程从真实数据分布中采样的数据点 x₀ 开始,在 T 个时间步内逐渐加入高斯噪声,得到噪声越来越大的 x₁、x₂、…、xT。

每个时间步 t 按以下方式加入少量噪声:

x_t = √(1 - β_t) * x_{t-1} + √(β_t) * ε

其中:

  • β_t 是控制每一步噪声量的方差调度
  • ε 是随机高斯噪声

这一过程持续到 xT 几乎成为纯高斯噪声。

数学上可用马尔可夫链表示:

q(x_t | x_{t-1}) = N(x_t; √(1 - β_t) * x_{t-1}, β_t * I)

其中 N 表示高斯分布。

β_t 通常在早期时间步较小,随后逐渐增大。常见调度包括线性、余弦和 sigmoid。

反向扩散过程

扩散模型的目标是学习逆过程:从纯噪声 xT 开始,逐步去噪,恢复干净样本 x₀。

反向过程建模如下:

p_θ(x_{t-1} | x_t) = N(x_{t-1}; μ_θ(x_t, t), σ_θ^2(x_t, t))

μ_θ 和 σ_θ² 是由参数 θ 决定的可学习函数,通常用神经网络实现。

关键创新在于不必显式建模完整的反向分布,而是可以利用已知正向过程来参数化它。

具体来说,可以得到最优反向过程均值 μ*:

μ* = 1/√(1 - β_t) * (x_t - β_t/√(1 - α_t) * ε_θ(x_t, t))

其中:

  • α_t = 1 – β_t
  • ε_θ 是学习得到的噪声预测网络

因此,目标很简单:训练神经网络 ε_θ,预测每一步加入的噪声。

训练目标

扩散模型的训练目标可由变分推断推导,经简化后得到 L2 损失:

L = E_t,x₀,ε [ ||ε - ε_θ(x_t, t)||² ]

其中:

  • t 在 1 到 T 之间均匀采样
  • x₀ 从训练数据中采样
  • ε 是采样得到的高斯噪声
  • x_t 按正向过程向 x₀ 添加噪声得到

也就是说,模型学习预测各时间步加入的噪声。

模型架构

U-Net 是扩散模型去噪步骤中的核心架构。它采用编码器—解码器结构,并通过跳跃连接在重建时保留精细细节。编码器逐步降低输入图像的分辨率并提取高层特征,解码器则上采样这些特征以重建图像。这种结构特别适合图像分割等需要精确定位的任务。

噪声预测网络 ε_θ 可以采用任何保持输入输出维度相同的架构。U-Net 类结构十分常见,尤其适用于图像生成。

典型架构如下:


class DiffusionUNet(nn.Module):
    def __init__(self):
        super().__init__()
        
        # Downsampling
        self.down1 = UNetBlock(3, 64)
        self.down2 = UNetBlock(64, 128)
        self.down3 = UNetBlock(128, 256)
        
        # Bottleneck
        self.bottleneck = UNetBlock(256, 512)
        
        # Upsampling 
        self.up3 = UNetBlock(512, 256)
        self.up2 = UNetBlock(256, 128)
        self.up1 = UNetBlock(128, 64)
        
        # Output
        self.out = nn.Conv2d(64, 3, 1)
        
    def forward(self, x, t):
        # Embed timestep
        t_emb = self.time_embedding(t)
        
        # Downsample
        d1 = self.down1(x, t_emb)
        d2 = self.down2(d1, t_emb)
        d3 = self.down3(d2, t_emb)
        
        # Bottleneck
        bottleneck = self.bottleneck(d3, t_emb)
        
        # Upsample
        u3 = self.up3(torch.cat([bottleneck, d3], dim=1), t_emb)
        u2 = self.up2(torch.cat([u3, d2], dim=1), t_emb)
        u1 = self.up1(torch.cat([u2, d1], dim=1), t_emb)
        
        # Output
        return self.out(u1)

关键组成包括:

  • 带跳跃连接的 U-Net 类架构
  • 以时间步为条件的时间嵌入
  • 灵活的网络深度和宽度

采样算法

训练好噪声预测网络 ε_θ 后,就可以生成新样本。基本采样算法如下:

  1. 从纯高斯噪声 xT 开始
  2. 对 t 从 T 到 1 依次执行:
    • 预测噪声:ε_θ(x_t, t)
    • 计算均值:μ = 1/√(1-β_t) * (x_t - β_t/√(1-α_t) * ε_θ(x_t, t))
    • 采样: x_{t-1} ~ N(μ, σ_t^2 * I)
  3. 返回 x₀

这一过程在噪声预测网络的引导下逐渐去除样本噪声。

实践中,多种采样技术可以改善质量或速度:

  • DDIM 采样:允许减少采样步骤的确定性变体
  • 祖先采样:使用学得的方差 σ_θ²
  • 截断采样:提前停止以加快生成

下面是采样算法的基本实现:


def sample(model, n_samples, device):
    # Start with pure noise
    x = torch.randn(n_samples, 3, 32, 32).to(device)
    
    for t in reversed(range(1000)):
        # Add noise to create x_t
        t_batch = torch.full((n_samples,), t, device=device)
        noise = torch.randn_like(x)
        x_t = add_noise(x, noise, t)
        
        # Predict and remove noise
        pred_noise = model(x_t, t_batch)
        x = remove_noise(x_t, pred_noise, t)
        
        # Add noise for next step (except at t=0)
        if t > 0:
            noise = torch.randn_like(x)
            x = add_noise(x, noise, t-1)
    
    return x

扩散模型背后的数学

要真正理解扩散模型,需要深入其数学基础。以下介绍几个关键概念。

马尔可夫链与随机微分方程

正向扩散可视为马尔可夫链,在连续极限下则可表示为随机微分方程(SDE)。SDE 为分析和扩展扩散模型提供了有力的理论框架。

正向 SDE 可写为:

dx = f(x,t)dt + g(t)dw

其中:

  • f(x,t) 是漂移项
  • g(t) 是扩散系数
  • dw 是维纳过程(布朗运动)

不同的 f 和 g 会产生不同的扩散过程,例如:

  • 方差爆炸型(VE) SDE: dx = √(d/dt σ²(t)) dw
  • 方差保持型(VP)SDE: dx = -0.5 β(t)xdt + √(β(t)) dw

理解这些方程有助于推导最优采样策略,并将扩散模型扩展到新领域。

得分匹配与去噪得分匹配

扩散模型与得分匹配的联系提供了另一种重要视角。得分函数定义为对数概率密度的梯度:

s(x) = ∇x log p(x)

去噪得分匹配通过训练模型去除轻微扰动数据中的噪声,估计这一得分函数。在连续极限下,这一目标等价于扩散模型的训练目标。

这种联系使我们能够采用基于得分的生成建模技术,例如用于采样的退火朗之万动力学。

高级训练技术

重要性采样

标准训练均匀采样时间步,但各时间步对学习的重要性并不相同。重要性采样可使训练更关注信息量较大的时间步。

一种方法是采用非均匀时间步分布,以得分的 L2 范数平方期望加权:

p(t) ∝ E[||s(x_t, t)||²]

这可以加快训练并改善样本质量。

渐进蒸馏

渐进蒸馏旨在不牺牲质量的前提下加快采样。过程如下:

  1. 训练时间步较多的基础扩散模型,例如 1,000 步
  2. 创建时间步较少的学生模型,例如 100 步
  3. 训练学生模型,使其匹配基础模型的去噪过程
  4. 重复步骤 2—3,逐渐减少时间步

这样可以用明显更少的去噪步骤实现高质量生成。

架构创新

基于 Transformer 的扩散模型

U-Net 广泛用于图像扩散模型,但近期研究也探索 Transformer 架构。其潜在优势包括:

  • 更好地处理远距离依赖
  • 更灵活的条件控制机制
  • 更容易扩展模型规模

DiT(扩散 Transformer)等模型取得了有希望的结果,可能进一步提升生成质量。

分层扩散模型

分层扩散模型在多个尺度上生成数据,兼顾整体一致性和精细细节。通常包括:

  1. 生成低分辨率输出
  2. 逐步上采样并细化

这种方法特别适合高分辨率图像或长内容生成。

进阶主题

无分类器引导

无分类器引导用于提高样本质量和可控性。其核心思路涉及两种扩散模型:

  1. 无条件模型 p(x_t)
  2. 条件模型 p(x_t | y),其中 y 是文本提示等条件信息

采样时,在两者的预测之间进行组合:

ε_θ = (1 + w) * ε_θ(x_t | y) - w * ε_θ(x_t)

w > 0 是引导强度,控制对条件模型的强调程度。

无需重新训练,即可增强条件控制。这对 DALL-E 2 和 Stable Diffusion 等文生图模型的成功十分重要。

潜空间扩散

来源: Rombach et al.

来源: Rombach et al.

潜空间扩散模型(LDM)先将输入编码到潜空间,再在其中进行扩散。模型逐渐向图像的潜在表示添加噪声,然后利用 U-Net 去噪。U-Net 通过交叉注意力融合语义图、文本和图像表示等条件信息,最终在像素空间重建图像,从而生成结构可控、属性符合要求的高质量图像。

其优势包括:

  • 训练和采样更快
  • 更好地处理高分辨率图像
  • 更容易加入条件控制

过程如下:

  1. 训练自动编码器,将图像压缩到潜空间
  2. 在潜空间训练扩散模型
  3. 生成时在潜空间采样,再解码为像素

这种方法十分成功,是 Stable Diffusion 等模型的基础。

一致性模型

一致性模型旨在提升扩散模型的速度和质量。其核心是训练一个模型,从任意噪声水平直接映射到最终输出,而不必反复去噪。

通过精心设计的损失函数,约束不同噪声水平下预测的一致性,模型可在一次前向传播中生成高质量样本,大幅加快推理。

扩散模型训练实用建议

训练高质量扩散模型并不容易。以下方法有助于提升稳定性和结果:

  1. 梯度裁剪:防止梯度爆炸,尤其是在训练初期。
  2. 权重指数移动平均(EMA):使用模型权重的 EMA 进行采样,可使生成更稳定、质量更高。
  3. 数据增强:图像模型可通过随机水平翻转等简单增强改善泛化。
  4. 噪声调度:比较线性、余弦和 sigmoid 等调度,寻找最适合数据的方案。
  5. 混合精度训练:减少内存使用并加快训练,尤其适用于大型模型。
  6. 条件生成:即使最终目标是无条件生成,使用图像类别等条件训练也可能提升整体样本质量。

评估扩散模型

生成模型的准确评估既重要又困难。常见指标与方法如下。

Fréchet Inception 距离(FID)

FID广泛用于评估生成图像的质量与多样性。它在预训练分类器(通常为 InceptionV3)的特征空间中,比较生成样本与真实数据的统计量。

FID 越低,通常表示质量越好、分布越真实。但它存在局限,不应作为唯一指标。

Inception 分数(IS)

Inception 分数同时衡量图像质量和多样性,使用预训练 Inception 网络计算:

IS = exp(E[KL(p(y|x) || p(y))])

其中 p(y|x) 是生成图像 x 的条件类别分布。

IS 越高通常表示质量和多样性越好,但该指标存在已知局限,尤其不适合与 ImageNet 差异很大的数据集。

负对数似然(NLL)

可以计算扩散模型在留出数据上的负对数似然,直接衡量其对真实数据分布的拟合程度。

但对高维数据准确估计 NLL,计算成本可能很高。

人工评估

在许多应用,尤其是创意应用中,人工评估仍然不可或缺,包括:

  • 与其他模型并排比较
  • 类似图灵测试的评估
  • 针对具体任务的评估,例如文生图模型的图像描述

人工评估虽然主观,却能发现自动指标遗漏的质量因素。

扩散模型的生产部署

将扩散模型部署到生产环境有独特挑战,以下是一些考虑因素与最佳实践。

推理优化

  1. ONNX 导出:转换为 ONNX 格式,加快不同硬件上的推理。
  2. 量化:利用 INT8 等量化技术缩小模型并提升推理速度。
  3. 缓存:对条件模型缓存无条件分支的中间结果,以加快无分类器引导。
  4. 批处理:批量处理以高效利用 GPU。

扩展规模

  1. 分布式推理:高吞吐应用可在多个 GPU 或机器上分配推理。
  2. 自适应采样:根据质量与速度的取舍动态调整采样步数。
  3. 渐进生成:高分辨率图像等大型输出可由低分辨率逐步生成,以更快提供初始结果。

安全与过滤

  1. 内容过滤:使用可靠的过滤系统,防止生成有害或不适当内容。
  2. 水印:考虑在生成内容中加入不可见水印,以便追溯。

应用

扩散模型已成功用于多种生成任务。

图像生成

图像生成是扩散模型最早崭露头角的领域,代表包括:

  • DALL-E 3:OpenAI 的文生图模型,结合 CLIP 文本编码器与扩散图像解码器
  • Stable Diffusion:用于文生图的开源潜空间扩散模型
  • Imagen:Google 的文生图扩散模型

这些模型可根据文字描述生成逼真且富有创意的图像,表现超过此前基于 GAN 的方法。

视频生成

扩散模型也用于生成视频:

  • 视频扩散模型:将时间作为扩散过程的额外维度来生成视频
  • Make-A-Video:Meta 的文生视频扩散模型
  • Imagen Video:Google 的文生视频扩散模型

这些模型根据文字描述生成短视频,为内容创作带来新可能。

三维生成

近期研究将扩散模型扩展到三维生成:

  • DreamFusion:使用二维扩散模型进行文本到三维生成
  • Point-E:OpenAI 用于三维物体生成的点云扩散模型

这些方法可从文字描述创建三维资产,应用于游戏、虚拟/增强现实和产品设计。

挑战与未来方向

尽管取得显著成果,扩散模型仍面临挑战,也有许多值得研究的方向。

计算效率

迭代采样可能很慢,尤其是高分辨率输出。潜空间扩散和一致性模型试图解决这一问题,但进一步提高效率仍是活跃研究领域。

可控性

无分类器引导改善了控制能力,但仍需实现更精细的输出控制,这对创意应用尤其重要。

多模态生成

现有模型擅长图像或音频等单一模态。能够无缝跨模态生成的真正多模态扩散模型,是值得探索的方向。

理论理解

扩散模型实证表现很强,但其成功原因仍需深入理解。更扎实的理论可能带来进一步改进与新应用。

结论

扩散模型推动了生成式人工智能的发展,在多种模态中提供高质量结果。通过学习逆转加噪过程,它们构成了灵活且有理论依据的生成方法。

从创意工具到科学模拟,复杂高维数据的生成能力可能改变许多领域。使用这些技术时,应认真考虑其巨大潜力及伴随的伦理挑战。

我已经沉浸在了令人着迷的机器学习和深度学习世界中五年了。我的热情和专业知识让我为超过50个不同的软件工程项目做出了贡献,特别关注AI/ML。我的持续的好奇心也让我对自然语言处理产生了兴趣,这是一个我渴望进一步探索的领域。