パラメータ効率的なファインチューニングまたはPeFT方法は、大規模な言語モデルをわずかな重みの更新のみで適応させることを目指しています。ただし、現行の解釈可能な研究のほとんどは、表現が豊富な意味情報をエンコードしていることを示唆しており、重みの更新よりも表現の編集がより優れたアプローチである可能性があります。事前トレーニングされた大規模モデルは、新しいドメインまたはタスクに使用するために頻繁にファインチューニングされています。ファインチューニングプロセスにより、単一のベースモデルをわずかなドメイン内データのみで多様なタスクに適応させることができます。ただし、ファインチューニングプロセスはリソースを大量に消費し、特にパラメータ数が非常に多い言語モデルでは高価です。

パラメータ効率的なファインチューニングまたはPeFT方法は、ファインチューニング全体の高コストに対処するために、利用可能な重みのうちわずかな部分のみを更新することを提案しています。これにより、トレーニング時間とメモリ使用量が削減され、実用的シナリオでフルファインチューニングアプローチと同等のパフォーマンスを実現します。アダプタは、PeFTの一般的なファミリーであり、凍結されたベースモデルとともに動作する追加の重みセットに編集を追加することで機能します。最近のアダプタフレームワークであるLoRAとQLoRAは、低ランク行列を使用してトレーニング中に加算重みを近似し、推論時の追加オーバーヘッドを必要としないことを実証しました。

以前の研究は、表現を編集することがより優れたアプローチである可能性があることを示唆しており、これがReFTまたは表現ファインチューニングフレームワークの基礎となります。ReFTフレームワークは、重みを更新するのではなく、表現を変更する介入を学習します。さらに、表現エンジニアリングとアクティベーションステアリングに関する最近の研究は、事前トレーニングされた大規模モデルの生成を制御するために、固定ステアリングベクトルを残留ストリームに追加することができることを示しています。

ReFT：言語モデルにおける表現のファインチューニング

事前トレーニングされた言語モデルを新しいドメインまたはタスクに適応させるために、現在のフレームワークは頻繁にこれらの事前トレーニングされた言語モデルをファインチューニングしています。ファインチューニングプロセスにより、単一のベースモデルをわずかなドメイン内データのみで多様なタスクに適応させることができます。ただし、ファインチューニングプロセスはリソースを大量に消費し、特にパラメータ数が非常に多い言語モデルでは高価です。パラメータ効率的なファインチューニングまたはPeFT方法は、ファインチューニング全体の高コストに対処するために、利用可能な重みのうちわずかな部分のみを更新することを提案しています。これにより、トレーニング時間とメモリ使用量が削減され、実用的シナリオでフルファインチューニングアプローチと同等のパフォーマンスを実現します。

パラメータ効率的なファインチューニングまたはPeFT方法は、事前トレーニングされた大規模モデルを新しいドメインまたはタスクに適応させるために、わずかな重みの更新のみで機能します。アダプタは、PeFTの一般的なファミリーであり、凍結されたベースモデルとともに動作する追加の重みセットに編集を追加することで機能します。最近のアダプタフレームワークであるLoRAとQLoRAは、低ランク行列を使用してトレーニング中に加算重みを近似し、推論時の追加オーバーヘッドを必要としないことを実証しました。

ReFTフレームワークは、重みを更新するのではなく、表現を変更する介入を学習します。さらに、表現エンジニアリングとアクティベーションステアリングに関する最近の研究は、事前トレーニングされた大規模モデルの生成を制御するために、固定ステアリングベクトルを残留ストリームに追加することができることを示しています。

ReFT：方法論とアーキテクチャ

ReFTフレームワークは、トランスフォーマーベースの大規模モデルを対象モデルとして仮定します。このモデルは、トークンのシーケンスをコンテキスト化された表現に変換することができます。入力トークンのシーケンスを埋め込んだ後、ReFTフレームワークは、前の隠れ表現のリストを関数として、隠れ表現のリストを繰り返し計算します。各隠れ表現はベクトルであり、言語モデルは最終的な隠れ表現を使用して予測を生成します。ReFTフレームワークは、隠れ表現の線形部分空間で介入を学習し、事前トレーニングされた大規模モデルの生成を制御します。

さらに、解釈可能な研究では、因果抽象フレームワークは、特定の動作を実装するためにニューラルネットワークコンポーネントの役割を確立するために、交換介入を使用します。交換介入の論理は、表現を反事実的入力のものに固定し、この介入がモデル出力に一貫した影響を与える場合、ReFTフレームワークが主張するコンポーネントは、動作に因果的に関与しているというものです。分布式交換介入は、表現の線形部分空間で概念がエンコードされていることをテストするための理想的なアプローチです。

ReFTフレームワークは、分布式交換介入操作を使用して、大規模言語モデルの動作を制御します。さらに、ReFTフレームワークは、介入の位置が同一層内で離散的であることを保証し、介入関数のパラメータは独立したままです。したがって、ReFTは、モデルフォワードパス中に隠れ表現への介入を可能にする一般的なフレームワークです。

ReFT：実験と結果

ReFTフレームワークのパフォーマンスを評価するために、4つの異なる自然言語処理ベンチマークを使用して実験を実施し、20以上のデータセットをカバーしました。LoReFTフレームワークは、実装時に、開発者が介入の数、入力位置、層を決定する必要があります。ReFTフレームワークは、4つのハイパーパラメータを調整します。

1. 介入するプレフィックス位置の数。
2. 介入するサフィックス位置の数。
3. 介入する層のセット。
4. 同一層内の異なる位置の介入パラメータを結合するかどうか。

これにより、ReFTフレームワークはハイパーパラメータの検索空間を簡素化し、プロンプトの長さに比例しない固定の追加の推論コストを保証します。

上記の表は、LLaMA-7BとLLaMA-13Bフレームワークの精度を、8つの共通感覚推論データセットで既存のPEFTモデルと比較しています。LoReFTモデルは、パラメータ数が少ないにもかかわらず、既存のPEFTアプローチを大幅に上回っています。パラメータ数は、ベースの大規模モデルの総パラメータ数で割った訓練可能なパラメータ数で計算されます。

上記の表は、LLaMA-7BとLLaMA-13Bフレームワークの精度を、4つの異なる算術推論データセットで既存のPEFTモデルと比較しています。LoReFTフレームワークは、パラメータ数が少ないにもかかわらず、既存のPEFTフレームワークを大幅に上回っています。

上記の表は、RoBERTa-baseとRoBERTa-largeフレームワークの精度を、GLUEベンチマークで既存のPEFTモデルと比較しています。LoReFTフレームワークは、パラメータ数が少ないにもかかわらず、既存のPEFTフレームワークを大幅に上回っています。

最終的な考察

この記事では、LoReFTについて説明しました。LoReFTは、4つの異なるドメインのベンチマークで強力なパフォーマンスを発揮し、以前の最先端のPEFTモデルよりも最大50倍の効率性を提供します。事前トレーニングされた大規模モデルは、新しいドメインまたはタスクに使用するために頻繁にファインチューニングされています。ファインチューニングプロセスにより、単一のベースモデルをわずかなドメイン内データのみで多様なタスクに適応させることができます。ただし、ファインチューニングプロセスはリソースを大量に消費し、特にパラメータ数が非常に多い言語モデルでは高価です。パラメータ効率的なファインチューニングまたはPeFT方法は、ファインチューニング全体の高コストに対処するために、利用可能な重みのうちわずかな部分のみを更新することを提案しています。これにより、トレーニング時間とメモリ使用量が削減され、実用的シナリオでフルファインチューニングアプローチと同等のパフォーマンスを実現します。LoReFTは、共通感覚推論、命令の実行、自然言語理解の分野で最先端のPEFTに対して新しい最先端のパフォーマンスを達成しています。