AI 模型与平台
扩散模型是什么？AI 图像生成是如何工作的
将 Unite.AI 添加到您在 Google 上的首选来源
扩散模型是一种生成模型，学习逆转逐渐加入噪声的过程。在训练期间，示例会在不同噪声水平下被破坏，神经网络学习将噪声样本移动到数据分布所需的信息。
在生成阶段，系统从噪声开始，并执行一系列去噪更新。文本条件、引导、潜在表示以及采样器决定模型如何将提示与图像、音频片段、视频或其他输出关联。
关键要点
- 训练在多个噪声水平上学习去噪或评分函数。
- 采样是迭代进行的，因此质量、速度和可复现性取决于求解器和调度方案。
- 潜在扩散通过对压缩表示而非像素进行去噪来降低成本。
- 生成的媒体继承了数据、同意、来源、偏见以及滥用风险，这些仅靠架构本身无法解决。
前向噪声与学习的逆过程
前向过程逐步添加已知的高斯噪声，直至样本几乎与随机噪声无法区分。训练时选择一个时间步，对真实样本进行破坏，并让神经网络预测噪声、干净样本或相关的参数化形式。
由于破坏过程是已知的，可以从训练数据自动生成配对。学习到的逆向动力学将扩散模型与生成式 AI相连接，而无需 GAN 所使用的对抗判别器。
条件与引导
文本编码器将提示转换为用于条件去噪的嵌入，通常通过交叉注意力实现。图像、遮罩、深度、姿态或音频条件可以约束构图。无分类器引导将条件预测与无条件预测相结合，以调节遵循程度。
更高的引导并不总是更好：它可能降低多样性或产生伪影。只有在模型、采样器、精度、软件和设置也保持一致时，种子才能复现初始噪声。提示工程会影响结果，但并未揭示所有学习到的因素。
像素空间、潜在空间与采样
像素空间模型直接在输出数组上操作。潜在扩散首先使用自编码器压缩图像，在该低维空间中进行扩散，然后再解码。压缩使高分辨率生成更为实用，但可能丢失细节。
DDPM 风格的采样器可能使用大量随机步骤；DDIM 以及现代求解器可以使用更少的步骤。蒸馏可以将生成压缩为更少的迭代。每种加速都必须在提示忠实度、多样性、伪影以及特定任务质量方面进行评估。
评估与负责任的部署
诸如 FID 的分布度量能够估计整体相似度，但无法衡量事实性、提示忠实度、解剖结构、排版或社会影响。人工评估需要明确的标准和盲测对比。安全性测试应覆盖记忆化、身份、有害内容以及人口统计表现等方面。
跟踪来源版权、同意、标记和出处。合成媒体控制应结合模型防护、审查、内容凭证、事件响应以及受影响者寻求补救的渠道。
学习目标的更详细说明
扩散调度定义了每个时间步加入的噪声量。训练时不必模拟每一步前向过程，而是可以使用闭式表达式直接将干净样本转换到选定的噪声水平。网络接收噪声样本、时间步以及可选条件，并预测与噪声或干净数据相关的目标。
训练损失通常是加权均方误差，但对时间步加权会改变对信噪比区域的关注程度。ε、x₀、速度等参数化方式具有不同的数值行为。变分解释将该过程与似然上界相连，而评分匹配则将网络解释为估计对数密度的梯度。
架构随模态而异。图像系统常使用具有多尺度特征的 U‑Net 或基于 Transformer 的去噪器；音频和视频模型必须能够表示时间和长程一致性。文本条件可以是冻结的，也可以与其他部分共同训练。强大的文本编码器能够提升提示匹配度，但也会带来自身的偏见和失效模式。
采样器、编辑与控制
采样对逆过程进行离散化。随机祖先采样器保持随机性，确定性或部分随机求解器可以减少步数，蒸馏则训练学生模型一次近似多个更新。比较方法时需在相同模型、分辨率、提示集和引导强度下进行。
图像到图像的生成从输入的噪声编码开始；噪声水平决定结构保留的强度。修补（inpainting）使用遮罩重新生成选定区域。结构适配器可以基于边缘、深度、姿态或分割进行条件化。这些控制引导采样，但并不保证几何或语义的正确性。
编辑会带来身份和来源风险。系统可能保留足够的面部结构以冒充他人，或改变纪录性的含义。界面应区分创意转换与对真实事件的主张，并为敏感身份和情境增加阻力或审查机制。
训练数据、评估与部署
数据管道负责收集、过滤、去重、标注并加权媒体。标注错误削弱文本对齐；重复数据会放大记忆化；过滤器可能剔除合法社区却留下有害关联。版权和同意必须独立于技术质量进行处理。
评估需要多个层面：重建或似然相关指标、分布度量、提示‑图像对齐、人工偏好、多样性、记忆化测试以及安全红队演练。需分别衡量计数、空间关系、文本渲染、身份以及长程视频一致性等失效类别。
部署成本包括模型权重、文本编码器、自编码器、采样步数、安全模型以及放大模块。批量大小和分辨率会显著影响延迟。记录种子和完整设置，尽可能附加来源信息，并保留用于调查事件的提示和审查决策。
实际中的扩散图像生成流水线
在潜在扩散系统中，编码器将图像映射为紧凑的潜在表示。训练时在选定的时间步加入噪声，并教会去噪网络——通常是 U‑Net 或 Transformer——在文本嵌入条件下预测噪声、速度或其他目标。调度器定义前向噪声过程和逆向采样步骤。解码器将最终的潜在表示转换回像素；每个组件都可能引入自身的伪影和偏见。
在推理时，同一提示会因种子、采样器、步数、引导尺度、分辨率、负向条件以及模型版本的不同而产生差异。更多步数并不一定提升质量，过度引导会降低多样性或扭曲图像。需通过人工审查和任务特定指标评估提示遵循度、构图、解剖、文本渲染、多样性、延迟和安全性。保留种子和配置以便复现结果。
部署时需在模型质量之外加入来源、版权和滥用控制。记录模型和数据集文档，遵守许可，过滤非法内容，防止未经同意的冒充，并在适当情况下对输出进行标记或签名。图像编辑、修补和个性化适配器会带来额外的身份风险。生产系统应保留生成元数据，支持报告和删除工作流，并避免仅因视觉逼真就暗示其为纪录性证据。
实用实施清单
将概念转化为有界、可测试的工作流：真实样本 → 添加噪声 → 学习去噪器 → 开始噪声 → 迭代 → 解码。指定负责人，记录数据和依赖，建立简易基线，设定接受和停止标准，测试代表性失败，并在扩大范围前定义监控、回滚和审查。记录版本和假设，以便其他团队复现结果并了解变更情况。
上线前，需与构建、运营、保障以及受系统影响的人员进行有文档记录的就绪评审。测试正常情况、边界条件、依赖失效和滥用场景；保留证据和未解决的风险。明确谁有权批准发布、修改阈值、覆盖输出或停止运行。实际数据到来后重新评估决策，因为技术上成功的试点并不保证在更大规模上的可靠表现。
- 训练：预测去噪信息。
- 条件：使用文本、图像或结构进行引导。
- 采样：在步数、速度和质量之间权衡。
常见问题
扩散模型仅用于图像吗？
不是。相同的思想体系也用于音频、视频、分子结构、动作以及其他连续或离散数据。
为什么生成需要多个步骤？
采样在数值上遵循从噪声到样本的学习路径。步数更少的求解器和蒸馏模型在计算量与质量、稳定性之间进行权衡。
主要参考文献
