参数高效的微调或PeFT方法旨在通过更新少量权重来适应大型语言模型。然而，现有的可解释性工作的大多数已经证明，表示编码了语义丰富的信息，表明修改这些表示可能是一个更好、更强大的替代方法。预训练的大型模型通常会微调以用于新的域或任务，在微调过程中，一个单一的基础模型可以适应广泛的任务，即使只有少量的域内数据可用。然而，微调整个模型的过程是资源密集型和昂贵的，特别是对于具有大量参数的语言模型。

参数高效的微调或PeFT方法提出通过只更新少量的权重来解决与微调整个模型相关的高成本，一个有助于减少训练时间和内存使用的过程。更重要的是，参数高效的微调或PeFT方法已经在几个实际场景中展示了与微调相似的性能。适配器是一种常见的PeFT方法，通过学习一个可以添加到基础模型的附加权重集上的编辑来工作，最近的适配器如LoRA通过使用低秩矩阵近似而不是全权重矩阵来训练适配器，减少了可训练参数的数量。

由于以前的工作已经证明，编辑表示可能是一个更好的替代方法，本文将讨论表示细化或ReFT方法，这些方法在一个冻结的模型上运行，并学习任务特定的表示干预。该文章旨在深入介绍ReFT框架，并探索其机制、方法、架构以及与最先进框架的比较。因此，让我们开始吧。

ReFT：语言模型的表示细化

为了采用预训练的语言模型到新的域和任务，当前的框架经常微调这些预训练的语言模型，微调过程允许一个单一的基础模型适应广泛的任务，即使只有少量的域内数据可用。虽然微调过程提高了整体性能，但它是一个昂贵的过程，特别是对于具有大量参数的语言模型。为了解决这个问题，PeFT或参数高效的微调框架更新仅少量的权重，一个有助于减少训练时间和内存使用的过程。适配器是一种常见的PeFT方法，通过学习一个可以添加到基础模型的附加权重集上的编辑来工作，最近的适配器如LoRA和QLoRA已经证明，可以在不影响性能的情况下在低精度模型上训练全精度适配器。

当前最先进的PeFT框架的一个主要亮点是，它们修改权重而不是表示。然而，处理可解释性的框架已经证明，表示编码了丰富的语义信息，表明表示编辑可能是一个更好的和更强大的方法。这个假设是ReFT或表示细化框架的基础，ReFT方法训练干预而不是适配模型权重，允许模型操纵少量的表示以在推理期间解决下游任务。ReFT方法是权重基于PeFT框架的替代品。ReFT方法从最近的模型中汲取灵感，这些模型通过干预表示来找到忠实的因果机制，并在推理期间控制模型的行为，因此可以看作是表示编辑模型的一种推广。基于此，LoReFT或低秩子空间ReFT是一个强大且有效的ReFT实例，是ReFT的一个参数化，干预隐藏表示在低秩投影矩阵的线性空间中，并直接建立在DAS或分布式对齐搜索框架上。

继续讨论，相比之下，PeFT或参数高效的微调框架训练模型的少量参数，并能够将模型适配到下游任务。PeFT框架可以分为三个主要类别：

• 适配器基于方法：适配器基于方法在预训练模型的冻结权重上训练附加模块，如全连接层。系列适配器在多层感知器或MLP和LM或大型模型注意力层之间插入组件，而并行适配器在现有组件旁边添加模块。由于适配器添加新的组件，这些组件不能轻松地折叠到现有的模型权重中，因此它们在推理期间带来额外的负担。

• LoRA：LoRA及其最近的变体在训练期间使用低秩矩阵来近似加性权重，并且它们不需要在推理期间进行额外的开销，因为权重更新可以合并到模型中，这也是为什么它们被认为是当前最强的PeFT框架的原因。

• 提示基于方法：提示基于方法将随机初始化的软标记添加到输入中，并在保持语言模型权重冻结的情况下训练它们的嵌入。这些方法的性能通常不如其他PeFT方法，而且它们也带来显著的推理开销成本。

相比之下，ReFT框架学习干预来修改少量的表示。此外，最近的表示工程和激活控制工作已经证明，添加固定控制向量到残差流中可能会在不需要资源密集型微调的情况下实现对预训练大型模型生成的控制。其他框架已经证明，使用学习的缩放和平移操作编辑表示可能会尝试匹配但不会超过LoRA适配器在广泛任务上的性能，并且具有更少的学习参数。此外，这些框架在一系列任务上的成功已经证明，预训练语言模型引入的表示具有丰富的语义，尽管这些模型的性能是次优的，因此PeFT仍然是最先进的方法，并且没有额外的推理负担。

ReFT：方法和架构

为了保持风格保存过程的简单，ReFT框架假设一个基于变换器的大型模型作为其目标模型，该模型能够产生令牌序列的上下文化表示。对于一个具有n个输入令牌的给定序列，ReFT框架首先将这些输入令牌嵌入到一个表示列表中，然后m层计算表示列表作为前一个表示列表的函数。每个表示是一个向量，语言模型使用最终的表示来产生预测。ReFT框架考虑了掩码语言模型和自回归语言模型。现在，根据线性表示假设，在神经网络中，概念被编码在表示的线性子空间中。最近的模型已经在自然语言和其他输入分布上训练的神经网络中发现了这一说法的真实性。

此外，在可解释性研究中，交换干预框架使用交换干预来建立神经网络组件在执行特定行为时的因果角色。交换干预的逻辑是，如果一个表示被固定为它在反事实输入中应该有的值，并且这种干预一致地影响模型的输出，那么组件在行为中起因果作用。虽然有几种方法，但分布式交换干预是测试一个概念是否编码在表示的线性子空间中的理想方法，如线性表示假设所声称的。另外，DAS方法以前被用于在语言模型中找到实体属性、情感、语言特征和数学推理的线性表示。然而，几个实验已经表明，DAS方法是高度表达性的，并且具有找到因果有效的子空间的能力，即使变换器语言模型是随机初始化的，并且尚未学习任何任务特定的表示，因此，关于DAS是否有效和足够负责用于可解释性任务的辩论仍在继续。

DAS方法的表达性表明，它可能是控制语言模型行为和可控生成以及负责编辑的理想工具。因此，为了适应语言模型到下游任务，ReFT框架使用分布式交换干预操作来创建一个新的参数高效方法。另外，ReFT方法是一组干预，框架强制执行，对于任何两个在同一层上运行的干预，干预位置必须是分离的，并且所有干预函数的参数保持独立。因此，ReFT是一个通用框架，涵盖了在模型前向传播期间对隐藏表示的干预。

ReFT：实验和结果

为了评估其性能与现有的PeFT框架，ReFT框架在四个不同的自然语言处理基准上进行实验，涵盖了20多个数据集，主要目标是提供一个关于LoReFT框架在不同场景中的性能的丰富图景。另外，当LoReFT框架在现实中实现时，开发人员需要决定学习多少个干预以及在哪里应用它们。为了完成这一任务，ReFT框架调整四个超参数。

1. 要干预的前缀位置的数量。
2. 要干预的后缀位置的数量。
3. 要干预的层的集合。
4. 是否将干预参数在同一层的不同位置上绑定。

通过这样做，ReFT框架简化了超参数搜索空间，并确保了仅增加固定额外的推理成本，该成本不会随着提示的长度而增加。

上表比较了LLaMA-7B和LLaMA-13B框架在8个常识推理数据集上的准确性与现有的PeFT模型。可以看到，LoReFT模型在具有更少参数的情况下，相比现有的PeFT方法取得了显著的性能优势，LoReFT模型的平均性能是通过三个运行计算得出的，使用不同的参数种子。Param（%）是通过将可训练参数的数量除以基础大型模型的总参数数量计算得出的。

上表总结了LLaMA-7B和LLaMA-13B框架在4个不同算术推理数据集上的准确性比较，LoReFT框架报告了三个运行的平均性能，使用不同的随机种子。可以看到，尽管LoReFT具有更少的参数，但它相比现有的PeFT框架取得了显著的性能优势。

上表总结了RoBERTa-base和RoBERTa-large框架在GLUE基准上的准确性比较，LoReFT框架报告了五个运行的平均性能，使用不同的随机种子。可以看到，尽管LoReFT具有更少的参数，但它相比现有的PeFT框架取得了显著的性能优势。

最后的思考

在本文中，我们讨论了LoReFT，一种强大的PeFT框架的替代方法，它在四个不同领域的基准上取得了强大的性能，并提供了高达50倍的效率。预训练的大型模型通常会微调以用于新的域或任务，在微调过程中，一个单一的基础模型可以适应广泛的任务，即使只有少量的域内数据可用。然而，微调整个模型的过程是资源密集型和昂贵的，特别是对于具有大量参数的语言模型。参数高效的微调或PeFT方法提出通过更新少量的权重来解决与微调整个模型相关的高成本，一个有助于减少训练时间和内存使用的过程。值得注意的是，LoReFT在常识推理、指令跟随和自然语言理解方面取得了新的最先进的性能，相比最强的PeFT方法。