微调 AI 模型的损害可以轻松恢复，研究发现

来自美国的新研究表明，微调 AI 基础模型在自己的数据上并不需要降低或损害原始模型的功能性 —— 而且一个相对简单的修复方法不仅可以恢复原始模型的能力，还可以提高输出质量。

使用作者的新型后训练校准的多样化模型的性能增益。文章后面会有更多详细信息。 来源：http://export.arxiv.org/pdf/2409.16223

这一发现的影响是重大的，不仅对于那些将注意力集中在将生成系统作为服务出租的财务回报上的科技巨头来说，也对于那些日益增长的“断网”爱好者来说，他们下载和定制开源模型，以便更便宜地、更少地受到限制地访问个性化的 AI 写作和图像/视频生成系统。

论文的作者们并不害怕表达他们对自己的方法的热情，这种方法似乎在 2023 年的 提交 整体转移：朝着非破坏性微调与部分目标数据 (与新论文的许多贡献者共同撰写) 的基础上取得了显著的进步。

他们表示：

‘这些发现是令人鼓舞的，并且具有深远的影响！它们意味着一个简单的后处理校准可以潜在地解决微调模型在缺失类别上的次优精度问题，同时恢复预训练模型的能力，并揭示所有类别上的特征质量的提高。’

我们将很快深入探讨这项新工作。首先，让我们看看它试图解决什么问题。

为什么重要

微调的第一次广泛应用发生在 Stability.ai 的 Stable Diffusion 文本到图像模型发布后的余波中。早期的模型是在一个超大规模的 LAION 数据集的子集上训练的，并且这些模型对任何人都可供下载。

然而，想要将特定内容（例如自己的身份、艺术风格或名人形象）插入 Stable Diffusion 的非凡生成能力的用户，则需要使用诸如 DreamBooth 之类的技术 —— 这是一种来自 Google 研究的定制方法 的衍生，允许用户通过微调将新数据训练到可自由获取的模型中。

2022 年 Google 官方 DreamBooth 实现的用户流程示例。用户策划一小部分图像，并在微调模型的文本提示中选择一个唯一的名称（Stable Diffusion 的训练数据中没有）。 来源：https://dreambooth.github.io/

通过这种方式，用户可以获得一个非常擅长创建特定人、自定义艺术风格的模型，但这个模型现在对更广泛的使用来说是“损害”的。

这意味着，如果用户想要微调 Stable Diffusion 以便它能够准确描绘三个人，他们不可避免地需要创建 三个不同的模型，每个模型的大小约为 2-4GB 或更大。

任何尝试对这些模型进行 第二次 微调的行为不仅会进一步降低模型的整体性能，还会对之前微调会话的输出产生不利影响。

无论如何，名人 DreamBooth 模型很快就会在互联网上流行起来，主要集中在 civit.ai 域名上。最终，诸如 低秩适应（LoRA）之类的方法在流行度上超过了微调（尽管 LoRA 输出是否像完整的微调一样有效仍然存在 争议，NVIDIA 随后 开源了一种看似更有效的方法，称为 DoRA）。

LoRA 属于 参数高效微调（PEFT）的范畴，只影响模型的训练参数的一个子集。

一些用户希望通过微调来改变开源 Stable Diffusion 检查点 的根本性质，以便在成千上万张图像上进行训练。

这实际上产生了一个替代的 基础模型，专门用于用户尝试训练的领域（例如特定的艺术风格）。为了这个目的，诸如 LoRA 之类的“轻量级”方法可能不太有效，因为模型的 权重 需要对新训练数据有 严重 的偏差。

本地聊天

随着 大型语言模型（LLM）的兴起，希望避免 API 驱动服务（如 ChatGPT）日益增长的成本和相关费用的大型语言模型用户，已经开始下载和微调有效的开源模型，例如 Llama 3，以及其他许多模型。

在这里，LoRA 也可以被使用，而不是对完整的检查点进行微调。我们之前曾 认为，微调是产生适应特定用户需求的 LLM 的一种更好的方法。虽然微调可能需要更多的硬件资源，并且可能需要更长的时间，但它提供了对新数据的更深入的概括。

微调的问题在于，它是一个破坏性的过程，不能在以后对额外的数据进行增量训练，如我们之前所提到的。

注入模型的特征和偏差显然 破坏了原始数据集中的权重平衡，这意味着模型要么过度反映用户贡献的数据，要么在与新数据无关的任务上整体性能较差。

可以通过 冻结 微调过程中模型的某些部分来一定程度上缓解这一问题；但是，这可能会导致降低模型的整体功能，因为冻结的模型架构部分可能无法很好地概括到模型的 潜在空间 中的新微调数据。

因此，如果有一个更简单的方法来保留微调模型的原始能力，同时保持模型根据微调数据产生输出的能力，那将非常理想。

这样的发展将对潜在用户（从使用本地 LLM 和其他类型的生成模型的爱好者和早期采用者到 FAANG 级别的大公司）都有益处，因为一个非常昂贵的 AI 模型可以被迭代地、非破坏性地改进，而无需重新开始训练的巨大费用。

后处理校准

这带我们回到 新论文，它被称为 微调是好的，如果校准，来自俄亥俄州立大学、威斯康星大学麦迪逊分校和伦斯勒理工学院的 11 名研究人员。

研究人员试图找出微调基础模型时会损害哪些部分。他们得出结论，微调前后模型之间的唯一重大差异是，微调类别和原始类别在模型中的对数尺度存在显著差异。

对数链接预测逻辑回归过程中的成功概率，将估计值（可能非常精确）转换为 0 或 1。

作者们不仅发现这种缺陷几乎可以通过校准技术轻松逆转，而且这种 事后 修复实际上提高了微调数据的输出质量。因此，使用这种技术，不仅可以获得基础模型的原始能力，还可以获得对微调数据的更好整合。

(尽管论文没有探讨这一前景，但这种技术意味着模型可以多次微调并保持有效)

在讨论微调后模型损害的发现时，作者们表示：

‘令我们惊讶的是，我们发现微调模型既没有忘记其他类别之间的关系，也没有降低识别这些类别的特征。 ‘

‘相反，微调模型经常为这些其他类别产生更具辨别性的特征，即使它们在微调过程中缺失！ ‘

‘真正损害准确性的是微调类别和其他类别之间的不一致的对数尺度，意味着一个简单的后处理校准将恢复预训练模型的能力，并揭示所有类别上的特征质量的提高。’

作者们已经在 GitHub 存储库 中使他们的测试结果可复现。

他们发现，调查后，基础模型架构中唯一被微调损害的部分是 二元分类器，它将在原始模型中缺失的类别误分类为微调类别。

论文指出：

‘通过向所有缺失类别的对数添加一个校准偏差因子 [4, 40 ]，微调模型可以成功恢复缺失类别的准确性，并在下游领域获得体面的整体改进。 ‘

‘结果性能甚至在许多基准测试中超越了强大的基线 [整体转移 —— 本论文的基础论文 ]，包括 ImageNet 和其变体 [ImageNet, ImageNet-R（渲染）, ImageNet-S（草图） ], Office-Home 和 VTAB， 而无需复杂的训练和超参数设置。’

论文结果：作者表示，经过后处理校准的微调模型可以超越最先进的方法来解决这个问题。

作者将后校准微调模型的改进性能归类为“意外的良性行为”，并观察到，当使用基本的 随机梯度下降（SGD）优化器时，会比使用更流行的当前优化器（如 Adam）获得更好的结果。

‘仍然，’ 他们注意到 ‘当学习率足够小，权重衰减时，良性行为就会出现并保持。’

小修复

为了修复微调后产生的对数不一致，作者们借鉴了 零样本学习 的技术，向所有缺失类别的对数添加一个常数因子。这导致了一个新的分类规则。

作者们指出，这个过程“促进”了被忽视的缺失类别，使其达到与微调类别相同的预测质量，恢复了原始性能，并在推理时提高了“添加”数据的性能。

在测试中，后校准技术恢复了多样化微调模型的性能。表格中的“Oracle”指的是一个考虑缺失类别数据的微调分类器。

他们还观察到，后处理校准“可能适用于任何模型”，并且通过冻结层（如分类器和主干）来保持基础模型完整性的方法与他们提出的方法相比，得分较低。

结论

这一合作的发现似乎很重要。训练一个 AI 模型在一个超大规模的数据集上是一个巨大的承诺，类似于一架客机的起飞。虽然训练可以被中断，并且可以通过定期保存当前权重（以较大的存储成本）来缓解损害，以允许训练中断，但训练开始后，几乎没有什么可以改变结果的方法。

令人印象深刻的是，研究人员似乎已经发现了通用 AI 模型训练中的一个基本原理，而且他们的解决方案出乎意料地优雅。

微调后能够保留基础模型准确性的经济影响也是显著的。到目前为止，解决多百万美元模型的缺陷最常见的方法是过滤推理时的输出，或控制推理以避免模型中的任何弱点。

此外，这种技术可能会为消费级别的微调生成模型带来显著的改进，并且具有输出质量的提升。

* 我将作者的内联引用转换为超链接。

首次发布于 2024 年 10 月 1 日星期二