AIモデルとプラットフォーム
ゼファー-7B: 言語モデルにおける直接蒸留の紹介
Unite.AI を Google の優先ソースに追加
最近の言語モデルは、GPT-2モデルからよりコンパクトで正確で効果的なLLMフレームワークへの進歩を示しています。これらの小規模なLLMフレームワークは、dSFTまたはDistilled Supervised Fine-Tuningアプローチを使用してさらにトレーニングできます。このアプローチでは、教師モデルからの出力を使用して生徒モデルに監督データを提供し、精度を向上させます。
この記事では、ゼファー-7Bフレームワークについて説明します。ゼファー-7Bフレームワークは、7Bパラメータモデルのためのチャットベンチマークであり、人間の注釈が不要です。このフレームワークの主な目的は、開発者がユーザーの意図に近い小規模な大規模言語モデルを生成できるようにすることです。ゼファー-7Bフレームワークは、dSFTや他のアプローチを使用して、ユーザーの意図に近いチャットモデルを学習することを目指しています。
ゼファー-7B: 言語モデルにおける直接蒸留の紹介
言語モデルは最近急速に進歩しています。GPT-2モデルから現在のGPT-4やMiniGPT-5モデルまで、トークンを大量に使用することでより正確で効率的なLLMフレームワークが開発されています。これらのフレームワークは、Chinchillaスケーリング法則で推奨されるトークンの数よりもはるかに多くのトークンを使用しています。さらに、開発者はこれらの小規模なLLMフレームワークを、dSFTまたはDistilled Supervised Fine-Tuningアプローチを使用してさらにトレーニングできます。
ゼファー-7Bフレームワークは、Mistral-7Bフレームワークに基づいて開発され、7Bパラメータモデル用のチャットベンチマークです。このフレームワークは、dSFTとdDPO（Distilled Direct Preference Optimization）アプローチを使用して、ユーザーの意図に近いチャットモデルを学習します。実験結果によると、ゼファー-7Bフレームワークは、70億パラメータ以上の人間によるフィードバックを使用したチャットモデルと同等の結果を達成しています。
上の図は、MT-Benchベンチマークでの各言語モデルのパフォーマンスを示しています。ゼファー-7Bフレームワークは、dDPOアプローチを使用してトレーニングされており、他のフレームワークと比較して優れた結果を達成しています。
ゼファー-7B: 方法、動作、構造
ゼファー-7Bフレームワークの主な目的は、オープンソースの大規模言語モデルをユーザーの意図に近いものにすることです。このフレームワークは、教師モデルを使用して生徒モデルをトレーニングし、dSFTとdDPOアプローチを使用してチャットモデルを学習します。
以下の図は、ゼファー-7Bフレームワークの3つの主なステップを示しています。
- dSFTを使用した大規模データセットの構築。
- 教師モデルを使用したAIフィードバックの収集。
- dDPOを使用したdSFTモデルの精度の向上。
dSFTまたはDistilled Supervised Fine-Tuning
ゼファー-7Bフレームワークは、dSFTアプローチを使用して、教師モデルからの出力を使用して生徒モデルをトレーニングします。このアプローチでは、教師モデルを使用して、生徒モデルがユーザーの意図に近い応答を生成するようにトレーニングします。
AIフィードバックを使用したプレファレンス学習
ゼファー-7Bフレームワークは、AIフィードバックを使用して、教師モデルからの出力を使用して生徒モデルをトレーニングします。このアプローチでは、教師モデルを使用して、生徒モデルがユーザーの意図に近い応答を生成するようにトレーニングします。
dDPOまたはDistilled Direct Preference Optimization
dDPOは、ゼファー-7Bフレームワークの最後のステップです。このアプローチでは、教師モデルからの出力を使用して、生徒モデルをトレーニングし、ユーザーの意図に近い応答を生成するようにします。
ゼファー-7B: 実験、ベンチマーク、結果
ゼファー-7Bフレームワークは、Mistral-7Bフレームワークに基づいて開発され、7Bパラメータモデル用のチャットベンチマークです。このフレームワークは、dSFTとdDPOアプローチを使用して、ユーザーの意図に近いチャットモデルを学習します。
データセット
ゼファー-7Bフレームワークは、2つのダイアログデータセットを使用します。UltraChatとUltraFeedbackです。
UltraChat
UltraChatは、30のトピックと20のテキスト材料からなる、約150万のマルチターンダイアログで構成されています。
UltraFeedback
UltraFeedbackは、64kのプロンプトで構成されています。各プロンプトには、4つのLLM応答があります。
評価
ゼファー-7Bフレームワークのパフォーマンスは、MT-BenchとAlpacaEvalベンチマークを使用して評価されます。
MT-Bench
MT-Benchは、160の質問で構成されています。各質問には、初期の質問とフォローアップの質問があります。
AlpacaEval
AlpacaEvalは、800の質問で構成されています。各質問には、ヘルプフルネスが評価されます。
ゼファー-7Bフレームワークは、Open LLM Leaderboardのマルチクラス分類タスクでも評価されます。
結果
ゼファー-7Bフレームワークのパフォーマンスは、AlpacaEvalとMT-Benchベンチマークで評価されます。
dDPOアプローチの実装によるチャット能力の向上
以下の表は、ゼファー-7Bフレームワークのパフォーマンスを、他の言語モデルと比較したものです。
ゼファー-7Bフレームワークは、dDPOアプローチを使用してトレーニングされており、他のフレームワークと比較して優れた結果を達成しています。
dDPOによる学習タスクのパフォーマンスの向上
以下の図は、ゼファー-7Bフレームワークのパフォーマンスを、他のLLMフレームワークと比較したものです。
ゼファー-7Bフレームワークは、7Bパラメータモデルのパフォーマンスを向上させています。
プレファレンス最適化
以下の図は、ゼファー-7Bフレームワークのパフォーマンスを、dDPOアプローチを使用して評価したものです。
ゼファー-7Bフレームワークは、dDPOアプローチを使用してトレーニングされており、優れた結果を達成しています。
結論
この記事では、ゼファー-7Bフレームワークについて説明しました。ゼファー-7Bフレームワークは、7Bパラメータモデル用のチャットベンチマークであり、dSFTとdDPOアプローチを使用して、ユーザーの意図に近いチャットモデルを学習します。ゼファー-7Bフレームワークは、Mistral-7Bフレームワークに基づいて開発されており、優れた結果を達成しています。
しかし、ゼファー-7Bフレームワークは完璧ではありません。まだ改善の余地があります。MT-BenchとAlpacaEvalベンチマークの評価には、GPT-4フレームワークを使用していますが、これは自身の蒸留モデルに偏っていることがあります。ゼファー-7Bフレームワークは、小規模なオープンソースモデルがユーザーの意図に近いものになる可能性を探求しています。
