研究发现，微调人工智能模型造成的损害可以轻松恢复

美国新研究表明 微调 在您自己的数据上构建 AI 基础模型并不需要降低或削弱原始模型的功能——而且一个相对简单的修复不仅可以恢复原始模型的功能，而且实际上 改善 您尝试让（已训练的）模型产生的输出的质量。

作者新的训练后校准方法提升了多种模型的性能。更多详细信息请参阅文章后面。 资料来源：http://export.arxiv.org/pdf/2409.16223

这一现象意义重大，不仅对于那些关注以“即服务”方式出租生成系统财务回报的科技巨头而言，而且对于越来越多的“剪线族”爱好者而言， 下载并定制开源模型，这样他们就可以更便宜、更少限制地访问个性化的人工智能写作和图像/视频生成系统。

这篇论文的作者并不惧怕展示他们对该方法潜力的热情，这种方法显然在 2023 服从 整体迁移：利用部分目标数据实现无中断微调 （与新论文的许多贡献者合著）。

他们声明：

这些发现令人鼓舞，意义深远！这意味着，简单的后处理校准就能解决微调模型在缺失类别上准确率较低的问题，恢复预训练模型的能力，同时展现出所有类别特征质量的提升。

我们很快就会看一下这项新工作。首先，让我们看看它旨在解决什么问题。

为什么重要

第一波广泛的微调发生在 Stability.ai 发布之后 稳定扩散 2002 年 XNUMX 月，文本转图像模型诞生。早期模型是在超大规模数据集的一个子集上训练的 莱翁 数据集，可供任何人下载。

然而，想要插入 具体的 内容（例如他们自己的身份、艺术风格或名人形象）融入稳定传播的非凡生成品质，需要转向以下技术： 梦想展位 – 推断 Google Research定制方法，它允许用户通过微调将新数据训练到免费提供的模型中。

2022 年 Google 官方 DreamBooth 实施的用户流程示例。用户从经过微调的模型中精选少量图像，并在文本提示中选择一个唯一的名称（Stable Diffusion 在其训练数据中没有的名称）。 来源：https://dreambooth.github.io/

通过这种方式，可以得到一个模型的副本，这个模型非常擅长创造一个特定的人，或者一个定制的艺术风格，但它是 现已“妥协”以用于更广泛的用途.

这意味着，如果你想要微调稳定扩散，以便能够准确地描绘三个不同的人，你就必须创建 三种不同的模式，每个大约2-4GB，甚至更多。

任何试图微调这些模型的尝试 一秒 时间不仅会进一步降低模型的整体性能，而且会对之前微调会话的输出产生不利影响。

无论如何，名人 DreamBooth 模型很快就会在互联网上激增，主要在 civit.ai 域中召开。最终，诸如 低阶适应 （LoRA）在受欢迎程度上超过了微调（尽管 LoRA 输出是否与完全微调一样有效仍有待商榷 争议NVIDIA 自此 开源 一种显然更有效的方法叫做 多拉).

LoRA 属于 参数高效的微调 （PEFT），它只影响模型训练参数的一个子集。

有些用户希望改变开源稳定扩散的根本性质 检查站，通过对数千张图像进行微调。

这实际上产生了一种替代方案 基础模型专注于用户想要训练的任何领域（例如某种特定的艺术风格）。在这方面，像 LoRA 这样的“轻量级”方法可能不太有效，因为 权重 模型需要 严重 对新训练数据的偏见。

本地聊天

随着最近人们对 大型语言模型 （法学硕士）的用户希望避免使用 ChatGPT 等 API 驱动服务带来的不断增长的渠道（以及相关成本），因此越来越多地 开始下载并微调 有效的开源模型 像骆驼 3，等等。

这里也， LoRA 可以用于 而不是微调一个完整的检查点。我们有 之前争辩过 微调是生成适应特定用户需求的LLM的更优方法。虽然微调对硬件的要求更高，耗时也更长，但它能够更深入地概括用户希望模型吸收的新数据。

微调的问题在于它是一个破坏性的过程，无法在以后通过额外的数据进行逐步训练，正如我们上面提到的。

被注入到模型中的特征和偏见显然 破坏数据集中原有的权重平衡，这意味着该模型要么过于可能反映用户贡献的数据，要么至少整体表现比原始基础模型更差（在与新数据无关的任务上）。

可以在一定程度上解决这个问题，方法是 冷冻 在训练过程中冻结模型的某些部分；但这可能会导致通用功能的降低，因为架构中冻结的部分可能无法很好地推广到模型内部新微调的数据 潜在空间.

因此，如果有更简单的方法来保留微调模型的原始功能，同时保留模型基于微调数据产生输出的能力，那就太好了。

这种发展将使各种潜在用户受益，从使用本地 LLM 和其他类型生成模型的业余爱好者和早期采用者，到 FAANG 级别（其中非常昂贵的 AI 模型可以迭代和非破坏性地改进，而无需多百万美元的开支 使用附加数据重新开始训练）。

后处理校准

这又让我们回到 新文， 这就是所谓的 如果经过校准，微调是好的，来自俄亥俄州立大学、威斯康星大学麦迪逊分校和伦斯勒理工学院的 11 名研究人员。

研究人员试图找出基础模型在微调时究竟遭受了哪些损害。他们得出的结论是，“调整前后”模型之间唯一的主要区别在于，微调类别与模型中原始类别之间的逻辑回归尺度存在显著差异。

Logit 链接预测成功的概率 逻辑回归 过程，将估计值（可能非常精确）转换为零或一。

作者不仅发现这种缺陷几乎可以通过校准技术随意逆转，而且这种 事后 fix 实际上提高了微调数据的输出质量。因此，使用这种技术，您不仅可以获得基础模型的原始功能，还可以更好地集成您自己的微调数据。

（尽管本文没有研究前景，但这种技术意味着模型可以经过多次微调，并保持有效）

在讨论微调后模型损坏的研究结果时，作者指出：

令我们惊讶的是，我们发现微调模型既不会忘记其他类别之间的关系，也不会降低识别这些类别的特征。

“相反，微调模型通常会为这些其他类别产生更具辨别力的特征，即使它们在微调过程中缺失了！

“真正影响准确度的是微调类别和其他类别之间的逻辑尺度差异，这意味着简单的后处理校准将恢复预训练模型的能力，同时揭示所有类别的特征改进。”

作者已经使他们对该理论的测试结果在 GitHub存储库.

他们调查发现，基础模型架构中唯一在微调过程中受损的部分是 二元分类器，错误地将以下类别分类： 缺席 在原始模型中作为微调类。

论文指出*：

“[通过]为所有缺失类别添加校准偏差因子”logits[4, 40 ]，经过微调的模型可以成功恢复缺失的类别准确率，并在下游[领域]获得不错的整体提升。

“最终的表现甚至超过了强劲的基线[整体转移 – 本文所依据的论文]在许多基准测试中都取得了成功，包括 ImageNet 及其变体[影像网, ImageNet-R（版本), ImageNet-S（双桨冲浪） ], 办公室-家庭和 VTAB, 无需复杂的训练和超参数设置“。

论文的结果是：作者指出，经过后处理校准的微调模型可以胜过解决这个问题的最先进方法。

作者将校准后微调模型的改进性能归类为“意外的良性行为”，并观察到当基本 随机梯度下降 (SGD) 优化器，比目前更流行的优化器获得更好的结果，例如 Adam .

'仍然，' 他们注意到 “当学习率和权重衰减足够小时，良性行为就会出现并保持。”

小修

为了修复微调导致的逻辑差异，作者借用了 技术 ，来自 零镜头学习，为所有缺失类别的对数函数添加一个常数因子。这会产生一个新的分类规则。

作者指出，这一过程将被忽略的缺失类“提升”到与微调类相同的预测质量，恢复原始性能并提高推理时“添加”数据的性能。

在测试中，后校准技术恢复了多种微调模型的性能。表中所示的“Oracle”指的是微调分类器，它还考虑了缺失的类数据。

他们进一步观察到，后处理校准“可能适用于任何模型”，并且通过冻结层（例如分类器和主干）来寻求维持基础模型完整性的方法与他们自己提出的方法相比得分较低。

结语

此次合作的成果意义重大。在超大规模数据集上训练 AI 模型是一项巨大的投入，类似于客机的起飞。虽然可以中断训练，并且可以通过定期保存当前权重（以相当大的存储成本）来减轻任何损害，但为了允许中断训练，在发射后，人们几乎无法改变结果。

这项工作令人印象深刻的是，研究人员似乎发现了通用人工智能模型训练的基本原理，而且他们的解决方案出奇地优雅。

在微调后能够保持基础模型的准确性，其经济意义也十分重大。迄今为止，解决数百万美元模型缺陷的最常见方法是在推理时过滤输出，或控制推理以避免模型中出现任何明显的致命弱点。

此外，从理论上讲，这种技术可以显著提高消费者层面微调生成模型的能力，同时还能提高输出质量。

* 我将作者的内嵌引用转换为超链接。

首次发布于 1 年 2024 月 XNUMX 日星期二