ファインチューニングによるAIモデルへの損傷は簡単に回復可能、研究によると

米国の新しい研究によると、ファインチューニングによってAIの基礎モデルを独自のデータで訓練することで、元のモデルの機能が低下したり損なわれたりする必要はなく、比較的簡単な修正によって元のモデルの機能を回復できるだけでなく、出力の品質を向上させることもできる。

新しいポストトレーニングキャリブレーションを使用した多様なモデルでのパフォーマンスの向上。詳細は後述。ソース：http://export.arxiv.org/pdf/2409.16223

この研究の意味は大きい。テクノロジー企業だけでなく、オープンソースモデルのカスタマイズをしている多くのユーザーにとっても、AIシステムをより安価に、制限なく利用できるようになる。

研究者は、ファインチューニングによって基礎モデルに何が損なわれるのかを調査した。彼らは、ファインチューニングによってモデル内のロジットスケールが大きく変化することが判明した。

ロジットスケールは、ロジスティック回帰で成功の確率を予測するために使用される。研究者は、この損傷を修正するために、比較的簡単なポストプロセスキャリブレーションを提案した。

このキャリブレーションによって、ファインチューニングされたモデルの精度が向上し、元のモデルの機能も回復することができる。

なぜ重要か

最初のファインチューニングの波は、Stability.aiのStable Diffusionテキストイメージモデルがリリースされた2002年8月に起こった。初期のモデルは、LAIONデータセットのサブセットで訓練されたもので、誰でもダウンロードできるようになっていた。

しかし、ユーザーがStable Diffusionの特性に特定のコンテンツ（例：自身のアイデンティティ、芸術スタイル、有名人の表現）を挿入したい場合、DreamBoothなどのテクニックを使用する必要があった。

2022年のGoogleの公式DreamBooth実装からのユーザープロセスの例。ソース：https://dreambooth.github.io/

この方法では、特定の人物やカスタムアートスタイルを生成するモデルを作成できるが、一般的な使用には適していない。

これは、Stable Diffusionを3人の異なる人物を正確に描くようにファインチューニングしたい場合、3つの異なるモデル（それぞれ2-4GB以上）を作成する必要があることを意味する。

これらのモデルを2回目にファインチューニングすると、モデルの全体的なパフォーマンスが低下し、以前のファインチューニングセッションからの出力も悪影響を受ける。

ローカルチャット

最近、大規模言語モデル（LLM）への関心が高まっている。ユーザーは、API駆動のサービス（例：ChatGPT）を使用せずに、オープンソースモデルのダウンロードとファインチューニングを開始した。

ここでも、LoRAなどのテクニックを使用して、フルチェックポイントのファインチューニングを避けることができる。

しかし、ファインチューニングには、モデルのバランスが崩れる可能性がある。モデルの特徴やバイアスが、ユーザーが提供したデータによって変化する可能性がある。

ポストプロセスキャリブレーション

これは、新しい研究に戻る。研究者は、ファインチューニングによって基礎モデルに何が損なわれるのかを調査した。彼らは、ファインチューニングによってモデル内のロジットスケールが大きく変化することが判明した。

ロジットスケールは、ロジスティック回帰で成功の確率を予測するために使用される。研究者は、この損傷を修正するために、比較的簡単なポストプロセスキャリブレーションを提案した。

このキャリブレーションによって、ファインチューニングされたモデルの精度が向上し、元のモデルの機能も回復することができる。

マイナーリペア

研究者は、ファインチューニングによって生じるロジットスケールの不一致を修正するために、ゼロショットラーニングのテクニックを使用した。

このテクニックでは、不在クラスのロジットに定数ファクターを追加する。結果として、分類規則が新しくなり、元のモデルのパフォーマンスが回復する。

テストでは、ポストキャリブレーションテクニックが多様なファインチューニングモデルでのパフォーマンスを回復した。表の’Oracle’は、不在クラスデータを考慮したファインチューニングクラシファイアを指す。

結論

この研究の結果は重要である。AIモデルの訓練は、巨大なコミットメントである。訓練を中断し、損傷を軽減するために、現在の重みを周期的に保存することはできるが、訓練の結果を変更することはできない。

研究者は、ファインチューニングによって損なわれたモデルの機能を回復するための基本的な原理を発見した。彼らの解決策は、驚くほど簡単である。

このテクニックは、ファインチューニングされたジェネレーティブモデルを消費者レベルで改善する可能性がある。また、出力の品質も向上する。