微调 AI 模型的损害可以轻松恢复，研究发现

最近来自美国的研究表明，微调 AI 基础模型在自己的数据上并不需要降低或损害原始模型的功能，并且一个相对简单的修复方法不仅可以恢复原始模型的能力，还可以提高输出质量。

使用作者的新型后训练校准的多样模型的性能增益。稍后在文章中提供更多详细信息。来源：http://export.arxiv.org/pdf/2409.16223

这一发现的影响非常重大，不仅对于那些将注意力集中在将生成系统作为服务出租的财务回报上的科技巨头来说，也对于越来越多的“断网”爱好者来说，他们下载和定制开源模型，以便更便宜地访问个性化的 AI 写作和图像/视频生成系统，并且有较少的限制。

论文的作者并不害怕展示他们对自己方法的潜力的热情，这种方法似乎在 2023 年的提交《整体转移：朝着非破坏性微调的方向》(与本论文的许多贡献者共同撰写) 的基础上取得了显著的进步。

他们表示：

‘这些发现令人鼓舞，并且具有深远的影响！它们意味着一个简单的后处理校准可以潜在地解决微调模型在缺失类别上的劣势，恢复预训练模型的能力，同时揭示所有类别上的特征质量的改进。’

我们将很快深入探讨这项新工作。但首先，让我们看看它试图解决什么问题。

为什么它很重要

微调的第一次浪潮发生在 Stability.ai 的 Stable Diffusion 文本到图像模型于 2002 年 8 月发布之后。早期模型是在一个子集的超大规模 LAION 数据集上训练的，并且可以供任何人下载。

然而，想要在 Stable Diffusion 的非凡生成能力中插入特定内容（例如他们自己的身份、艺术风格或名人形象）的用户需要转向诸如 DreamBooth 之类的技术——这是 Google Research 定制方法的扩展，它允许用户通过微调将新数据训练到可自由获取的模型中。

2022 年 Google 官方 DreamBooth 实现的用户流程示例。用户策划一小部分图像，并在微调模型的文本提示中选择一个唯一的名称（该名称不在 Stable Diffusion 的训练数据中）。来源：https://dreambooth.github.io/

通过这种方式，用户可以获得一个非常擅长创建特定人物或自定义艺术风格的模型，但这个模型现在已经“损坏”，不适合一般使用。

这意味着，如果用户想要微调 Stable Diffusion 以便它能够准确描绘三个不同的人，他们不可避免地需要创建三个不同的模型，每个模型大约 2-4GB 或更大。

任何尝试对这些模型进行第二次微调不仅会进一步降低模型的整体性能，还会对之前微调会话的输出产生不利影响。

无论如何，名人 DreamBooth 模型很快就会在互联网上流行，主要聚集在 civit.ai 域名上。最终，像低秩适应（LoRA）这样的方法将在流行度上超过微调（尽管 LoRA 输出是否像完整的微调一样有效仍存在争议，NVIDIA 已经开源了一种看起来更有效的方法，称为 DoRA）。

LoRA 属于参数高效微调（PEFT）类别，只影响模型的训练参数的一个子集。

一些用户希望通过微调数千张图像来改变开源 Stable Diffusion 检查点的基本性质。

这有效地产生了一个专门用于用户尝试训练的领域的替代基础模型。对于这个目的，像 LoRA 这样的“轻量级”方法可能不太有效，因为模型的权重需要对新训练数据有严重的偏见。

本地聊天

最近，人们对大型语言模型（LLM）的兴趣激增，想要避免 API 驱动服务（如 ChatGPT）日益增长的出口和相关成本的用户已经开始下载和微调有效的开源模型，如 Llama 3 等。

在这里，LoRA 也可以被使用，而不是对完整的检查点进行微调。我们之前曾认为，微调是生产适应特定用户需求的 LLM 的更好的方法。虽然微调可能需要更大的硬件需求，并且可能需要更长的时间，但它提供了对用户想要模型吸收的新数据的更深入的概括。

微调的问题在于，它是一个破坏性的过程，不能在稍后对额外的数据进行增量训练，如我们之前所提到的。

注入模型中的特征和偏见似乎会破坏原始数据集中的权重平衡，这意味着模型要么过度反映用户贡献的数据，要么在与新数据无关的任务上整体性能较差。

可以通过在训练期间冻结模型的某些部分来一定程度上缓解这个问题；但是，这可能会导致降低的通用功能，因为冻结的模型架构部分可能无法很好地推广到模型的潜在空间中的新微调数据。

因此，找到一种更简单的方法来保留微调模型的原始能力，同时保留模型根据微调数据生成输出的能力，将非常有益。

这种发展将对潜在用户的整个范围都有益，从使用本地 LLM 和其他类型的生成模型的爱好者和早期采用者，到 FAANG 级别（在那里，非常昂贵的 AI 模型可以在不重新开始训练的巨大费用下迭代和非破坏性地改进）。

后处理校准

这使我们回到了新论文，这篇论文被称为《微调是好的，如果校准的话》，它来自俄亥俄州立大学、威斯康星大学麦迪逊分校和伦斯勒理工学院的 11 名研究人员。

研究人员试图找出微调基础模型时会损害什么。他们得出结论，微调前后的模型之间的唯一重大差异是，微调类别和模型的原始类别中的对数尺度表现出显著的差异。

对数链接预测逻辑回归过程中的成功概率，将估计值（可能非常精确）转换为 0 或 1。

作者们不仅发现这种缺陷几乎可以通过校准技术轻松逆转，而且这种事后修复实际上可以提高微调数据的输出质量。因此，使用这种技术，不仅可以获得基础模型的原始能力，还可以更好地集成自己的微调数据。

(虽然这篇论文没有探讨这种可能性，但这种技术意味着模型可以多次微调并保持有效)

讨论他们在调查微调后模型损害时的发现，作者指出：

‘令我们惊讶的是，我们发现微调模型既没有忘记其他类别之间的关系，也没有降低识别这些类别的特征。 ‘

‘相反，微调模型经常为这些其他类别产生更具鉴别性的特征，即使它们在微调期间缺失！ ‘

‘真正损害准确性的是微调类别和其他类别之间的对数尺度的差异，表明简单的后处理校准可以恢复预训练模型的能力，同时揭示所有类别上的特征改进。’

作者已经在一个GitHub 存储库中使他们的测试结果可复制。

他们发现，经过调查，基础模型架构中唯一受损的部分是二元分类器，它将原始模型中缺失的类别误分类为微调类别。

这篇论文指出*：

‘通过将校准偏差因子添加到所有缺失类别的对数中 [4, 40 ],微调模型可以成功恢复缺失类别的准确性，并在下游领域获得体面的整体改进。 ‘

‘所得到的性能甚至在许多基准测试中超过了强大的基线 [整体转移 —— 这篇论文的基础论文 ]，包括 ImageNet 和其变体 [ImageNet, ImageNet-R（渲染）, ImageNet-S（草图） ], Office-Home 和 VTAB ，而无需复杂的训练和超参数设置。’

论文结果：作者表示，经过后处理校准的微调模型可以超越最先进的方法。

作者将后校准微调模型的改进性能归类为“意外的良性行为”，并观察到，当使用基本的随机梯度下降（SGD）优化器时，会比使用更流行的当前优化器（如 Adam）获得更好的结果。

‘仍然，’ 他们注意到 ‘使用足够小的学习率和权重衰减，良性行为会出现并保持。’

次要修复

为了修复微调后产生的对数差异，作者借用了来自零样本学习的技术，向所有缺失类别的对数中添加一个常数因子。这导致了一个新的分类规则。

作者指出，这个过程“促进”被忽视的缺失类别到与微调类别相同的预测质量，恢复原始性能并在推理时提高“添加”数据的性能。

在测试中，后校准技术恢复了多样化微调模型的性能。表中指示的“Oracle”指的是一个同时考虑缺失类别数据的微调分类器。

他们进一步观察到，后处理校准“可能适用于任何模型”，并且通过冻结层（如分类器和骨干）来保持基础模型完整性的方法与他们自己的方法相比，得分较低。

结论

这项研究的发现似乎很重要。训练一个 AI 模型在一个超大规模的数据集上是一个巨大的承诺，类似于一架客机的起飞。虽然训练可以被中断，并且通过定期保存当前的权重（以显著的存储成本）来减轻损害，以便在训练中间断，但在启动后，有很少的事情可以改变结果。

这项工作令人印象深刻的地方在于，研究人员似乎已经发现了一个通用的 AI 模型训练原则，他们的解决方案出乎意料地优雅。

能够在微调后保留基础模型准确性的经济影响也很显著。到目前为止，解决多百万美元模型的缺陷的最常见方法是过滤输出或控制推理以避免模型中的任何弱点。

此外，这种技术可能会在消费者层面上为微调的生成模型带来显著的改进，并且可以提高输出质量。

* 我将作者的内联引用转换为超链接。

首次发布于 2024 年 10 月 1 日星期二