ファインチューニングによるAIモデルへの損傷は簡単に回復できることが研究で明らかになった

米国の新しい研究によると、ファインチューニングによってAIの基礎モデルを独自のデータで調整しても、元のモデルの機能が低下したり損なわれたりする必要はなく、比較的簡単な修正によって元のモデルの機能を回復できるだけでなく、生成しようとしている出力の品質を実際に向上させることができる。

新しいポストトレーニングキャリブレーションによる多様なモデルでのパフォーマンスの向上。後述する。 Source: http://export.arxiv.org/pdf/2409.16223

これには、テクノロジー大手企業が「as-a-service」の形でジェネレーティブシステムの金銭的利益に注目していることだけでなく、オープンソースモデルをダウンロードしてカスタマイズする「コードカッター」愛好家が増えていることにも大きな影響がある。彼らは、より安く、制限も少ないAIの文章や画像/ビデオ生成システムにアクセスできるようにしているからだ。

この研究の著者は、自分の方法の潜在能力について熱意を隠さない。2023年の提出 ホリスティック・トランスファー: ターゲットデータの一部のみを使用した非破壊的なファインチューニングに向けて（多くの貢献者と共同で）に比べて、大きな進歩を遂げている。

彼らは次のように述べている：

‘結果は励ましに値するものであり、深い意味を持つ！ファインチューニングされたモデルの精度の低下を補うことができ、事前トレーニングされたモデルの機能を回復させ、すべてのクラスでの機能の品質を向上させることができる.’

新しい研究を見てみましょう。まず、解決しようとしている問題を見てみましょう。

なぜ重要か

ファインチューニングの最初の波は、2002年8月にStability.aiのStable Diffusionテキストから画像へのモデルがリリースされたときに起こった。初期のモデルは、hyperscale LAIONデータセットのサブセットでトレーニングされ、誰でもダウンロードできるようになっていた。

しかし、Stable Diffusionの特出なジェネレーティブ特性に特定のコンテンツ（例：自分のアイデンティティ、芸術スタイル、または有名人の表現）を挿入したいユーザーは、DreamBoothなどのテクニックを使用する必要があった。DreamBoothは、Google Researchのカスタマイズ方法の派生物で、ユーザーが自由に利用できるモデルに新しいデータをトレーニングすることができるファインチューニングの方法だった。

2022年のGoogleの公式DreamBooth実装のユーザープロセスの例。ユーザーは画像を少量選別し、テキストプロンプトでStable Diffusionにない一意の名前を選択する。 Source: https://dreambooth.github.io/

この方法で、特定の人物やカスタムアートスタイルを非常にうまく生成できるモデルを取得することができたが、一般的な使用には『損なわれた』ものだった。

これは、Stable Diffusionを3人の異なる人物を正確に描くことができるようにファインチューニングしたい場合、3つの異なるモデル（それぞれ約2-4GB以上）を作成する必要があったことを意味する。

これらのモデルを2回目にファインチューニングする試みは、前回のファインチューニングセッションからの出力を悪影響させただけでなく、モデルの全体的なパフォーマンスをさらに低下させることになった。

いずれにせよ、有名人のDreamBoothモデルはインターネット上で普及し、主にcivit.aiドメインに集まった。最終的に、Low-Rank Adaptation（LoRA）などの方法がファインチューニングよりも人気になった（ただし、LoRAの出力が完全なファインチューニングと同じくらい効果的であるかどうかは議論の余地があり、NVIDIAはオープンソースでDoRAと呼ばれるより効果的なアプローチを公開した）。

LoRAは、パラメータ効率的なファインチューニング（PEFT）のカテゴリに属し、モデルのトレーニングされたパラメーターのサブセットのみに影響を与える。

一部のユーザーは、オープンソースのStable Diffusionのチェックポイントの基本的な性質を変更したかった。多くの画像でそれらをファインチューニングすることで、実際には、ユーザーがトレーニングしようとしていたドメイン（例：特定のアートスタイル）に専用の基礎モデルを生成した。

これは、重みが新しいトレーニングデータに向けて激しいバイアスを必要とするため、LoRAなどの「軽量」な方法はあまり効果的ではなかった。

ローカルチャット

最近、大規模言語モデル（LLM）への関心が高まったため、ChatGPTのようなAPI駆動型サービス（および関連するコスト）の出現を避けたいユーザーは、ダウンロードしてファインチューニングする効果的なオープンソースモデル（Llama 3など）を使用することが増えている。

ここでも、LoRAを使用してフルチェックポイントをファインチューニングする代わりに使用できる。私たちは以前、主張したように、ファインチューニングはユーザーのニーズに合わせたLLMを生成するための優れた方法である。ファインチューニングにはハードウェア要件が高く、時間がかかる可能性があるが、ユーザーがモデルに吸収させたい新しいデータのより深い汎化を提供する。

ファインチューニングの問題は、破壊的なプロセスであり、後で追加のデータでインクリメンタルにトレーニングすることができないことである。モデルに注入される機能とバイアスは、明らかにデータセットの元の重みのバランスを崩すため、モデルはユーザー提供のデータを過度に反映したり、新しいデータに関係のないタスクで全体的なパフォーマンスが低下したりする。

これをある程度緩和することはできるが、特定の部分をトレーニング中に凍結することで実現できる。ただし、これにより、凍結されたアーキテクチャの部分が新しいファインチューニングデータに一般化できなくなる可能性があるため、全体的な機能が低下する。

したがって、元のモデルの機能を保存しながら、ファインチューニングデータに基づいて出力が生成されるようにするためのより簡単な方法があると非常に良い。

このような開発は、ローカルでLLMや他の種類のジェネレーティブモデルを使用する愛好家や初心者から、FAANGレベルのユーザー（非常に高価なAIモデルを非破壊的に改良できる）まで、幅広いユーザーに利益をもたらす。

ポストプロセスキャリブレーション

これにより、新しい論文に戻ります。この論文は、ファインチューニングはキャリブレーションされていれば問題ないというタイトルで、オハイオ州立大学、ウィスコンシン大学マディソン校、レンセラー工科大学院の11人の研究者によって執筆された。

研究者は、ファインチューニングによって基礎モデルのどの部分が損なわれるかを調べようとした。彼らは、ファインチューニングクラスと元のクラス間のロジットスケールに大きな差があること以外に、前後で大きな違いがないと結論付けた。

ロジットリンクは、ロジスティック回帰プロセスで成功の確率を予測し、推定値（非常に正確な可能性がある）を0または1に変換する。

著者らは、この損失がキャリブレーションテクニックによってほぼ簡単に逆転できることを発見しただけでなく、この事後の修正によってファインチューニングデータの出力の品質が実際に向上することも発見した。したがって、このテクニックを使用すると、元の基礎モデルの機能だけでなく、ファインチューニングデータの統合が向上する。

(この論文では検討されていないが、このテクニックは、モデルを複数回ファインチューニングできることを意味する)

ファインチューニング後のモデル損傷についての彼らの調査で、著者は次のように述べている：

‘私たちの驚くべき発見は、ファインチューニングされたモデルが他のクラスの関係を忘れたり、クラスの認識の機能を低下させたりしないことである。’

‘代わりに、ファインチューニングされたモデルは、ファインチューニング中に欠けていたクラスに対して、より識別可能な機能を生成することが多い！’

‘実際に精度を低下させるのは、ファインチューニングクラスと他のクラスの間のロジットスケールの不一致であり、シンプルなポストプロセスキャリブレーションによって事前トレーニングされたモデルの機能が回復し、すべてのクラスでの機能の向上が実現することを示唆している。’

著者らは、この理論のテスト結果をGitHubリポジトリで再現可能にしている。

調査の結果、ファインチューニングによって基礎モデルのアーキテクチャが損なわれるのは、二値分類器だけであり、元のモデルにないクラスをファインチューニングクラスとして誤分類する。

論文では、次のように述べられている：

‘不在クラスのロジットに定数バイアスファクターを追加することによって [4, 40 ]、ファインチューニングされたモデルは不在クラスの精度を回復し、ダウンストリームのドメインでかなりの改善を得ることができる。’

‘結果として得られるパフォーマンスは、ベンチマークの多く（ホリスティック・トランスファーを含む）で、ImageNet、ImageNet-R、ImageNet-Sketch、Office-Home、VTABを含む）で強力なベースラインを上回る。’

論文の結果: ポストプロセスキャリブレーションが行われたファインチューニングモデルは、著者によると、問題に対する最先端のアプローチを上回ることができる。

著者らは、ポストキャリブレーションされたファインチューニングモデルの改善されたパフォーマンスを「予期せぬ良性の挙動」として分類し、基本的な確率的勾配降下法（SGD）オプティマイザを使用すると、より人気のある現在のオプティマイザ（Adamなど）よりも優れた結果が得られることを観察する。

‘まだ、’彼らは注記する‘十分に小さな学習率と重み減衰で、良性の挙動が現れ、持続する。’

軽微な修正

ファインチューニングによって生じるロジットの不一致を修正するために、著者らはゼロショット学習からテクニックを借用し、不在クラスのすべてのロジットに定数ファクターを追加する。これにより、新しい分類ルールが生成される。

著者らは、このプロセスによって「無視された」不在クラスが、ファインチューニングクラスと同じ予測の品質に「昇格」され、元のパフォーマンスが回復し、推論時に出力の品質が向上することを指摘する。

テストでは、ポストキャリブレーションテクニックによって、多様なファインチューニングモデルでのパフォーマンスが回復した。表に示されている「Oracle」は、不在クラスのデータも考慮するファインチューニングクラシファイを指す。

彼らはさらに、ポストプロセスキャリブレーションは「潜在的にあらゆるモデルに適用可能」であり、レイヤー（分類器やバックボーンなど）を凍結して基礎モデルの完全性を維持する方法は、彼らの提案するアプローチに比べて低いスコアになることを観察する。

結論

この共同研究の結果は、重要な意味を持つ。巨大なデータセットでAIモデルをトレーニングすることは、旅客機の離陸に似ており、トレーニングを中断することはできず、トレーニングの途中で何もできない。

この研究の印象的な点は、研究者が一般的なAIモデルトレーニングの基本原理を発見し、彼らの解決策が驚くほど優雅であるということである。

ファインチューニング後に基礎モデルの精度を保持できることの経済的影響も重要である。現在までの最も一般的な方法は、推論時に出力をフィルタリングしたり、推論を制御してモデルに明らかな弱点を避けたりすることだった。

さらに、このテクニックは、消費者レベルのファインチューニングされたジェネレーティブモデルに大きな改善をもたらす可能性があり、出力の品質が向上する。

* 著者のインライン引用をハイパーリンクに変換したもの。

最初に公開されたのは2024年10月1日（火曜日）