小規模でオープンな大規模言語モデルの機能とパフォーマンスは近年大幅に進歩しており、初期の GPT-2 モデルから、かなり大量のトークンを使用する、よりコンパクトで正確かつ効果的な LLM フレームワークへの進歩を目の当たりにしました。それは「コンピューティング最適化チンチラのスケーリング法によって推奨されるトークンの量。 さらに、開発者は、これらの小規模な LLM フレームワークを、独自のモデル ベースのメソッドを使用してさらにトレーニングできることを実証しました。 dSFT または蒸留された監視付き微調整 これは、精度を向上させるために、効果的な教師モデルからの出力を生徒モデルの教師ありデータとして使用するアプローチです。 

この記事では、最先端の Zephyr-7B フレームワークについて説明します。 7B パラメータ モデルのチャット ベンチマーク 人間による注釈は必要ありません。 このフレームワークの主な目的は、開発者がこれまで以上にユーザーの意図に沿った、より小規模で大規模な言語モデルを作成できるようにすることです。 Zephyr-7B フレームワークは、dSFT のような大規模な LLM フレームワークに対する現在のアプローチの適用を検証するだけでなく、他のアプローチを使用してユーザーの意図とよりよく一致するチャット モデルを学習する可能性も検討します。 Zephyr フレームワークをさらに深く掘り下げ、そのアーキテクチャ、動作、結果を探っていきます。 それでは始めましょう。 

Zephyr-7B : 言語モデルにおけるアライメントの直接蒸留の紹介

前述したように、言語モデルは近年急速に進歩し、初期の GPT-2 フレームワークから現在の GPT-4 および ミニGPT-5 LLM フレームワークは、トークンを徹底的に網羅していますが、より正確で、はるかに効率的になっています。 これらの高度な LLM フレームワークの主なハイライトは、以前は計算上最適であると考えられていたトークンの数よりも大幅に大量のトークンが組み込まれていることです。 チンチラのスケーリングの法則。 さらに、LLM フレームワークに取り組んでいる開発者や研究者は、これらの小規模な LLM フレームワークは、 独自モデルベースの dSFT または、精度を向上させるために、効果的な教師モデルからの出力を生徒モデルの教師付きデータとして使用する、抽出された教師あり微調整アプローチ。 蒸留戦略は、教師モデルによって達成されるパフォーマンスを再現することはまだできていませんが、さまざまなタスクにおいてオープン モデルの可能性と能力を最大化するための非常に効果的で便利なツールであることが証明されています。 さらに、ユーザーからは、これらのモデルでは頻繁に 「意図のずれ」これは、モデルがエンド ユーザーの要件に沿った方法で動作しないことを意味し、ユーザーの入力やクエリに対する適切な出力や応答を提供しない誤った出力につながります。 

意図の調整は開発者にとって常に大きな課題であり、最近の研究では次のようなベンチマークの開発に焦点を当てています。 AlpacaEval と MT-Bench ミスアライメントをターゲットに開発されました。 Zephyr フレームワークを開発する動機は、主なステップが AIF または人工知能フィードバック 教師モデルのアンサンブルから嗜好データを取得し、抽出された嗜好の最適化を主な学習目標として直接適用する、と呼ばれるアプローチです。 dDPO またはノイズ除去拡散ポリシーの最適化。 dDPO アプローチの主なハイライトは、次のような以前のアプローチとは異なることです。 PPO または近位優先の最適化人によるサンプリングや注釈を必要とせず、言語モデルのトレーニングにかかる​​時間も短縮されます。 さらに、開発者は、最初から最後まで、つまり全体を通してノイズ除去ステップのシーケンスに細心の注意を払うことで、最終サンプルの成果を最大化することもできます。 

開発者は、このアプローチを検証するために Zephyr-7B フレームワークを開発しました。これは、ある意味、最先端の調整されたバージョンです。 ミストラル-7B フレームワーク。 このフレームワークはまず、UltraChat データセットに基づいて dSFT または蒸留教師付きファインチューニングを使用し、次に dDPO またはノイズ除去を適用します。 フィードバック データに対するポリシー最適化アプローチ。 実験によると、7 億のパラメーターを備えた Zephyr-7B フレームワークは、70 億を超えるパラメーターを備えた人間のフィードバックに合わせたチャット モデルによって提供される結果と同等の結果を提供します。 さらに、実験では、会話能力を考慮したベンチマークと標準的な学術ベンチマークの両方で結果を改善できることが示されており、望ましい結果を達成するには好み学習の使用が重要です。 

上の図は、MT ベンチ ベンチマークでのさまざまな言語モデルのパフォーマンスを示しています。 dDPO アプローチを使用してトレーニングされた Zephyr-7B フレームワークは、追加の強化学習を使用してトレーニングされた GPT-3.5 ターボ、Llama-2-70B などの独自のオープンアクセスのより大規模な言語モデルに対抗します。膨大な量の人的フィードバックも含まれています。 これらのフレームワークが使用するパラメーターの数がまったく異なるにもかかわらず、Zephyr-7B フレームワークはそれらのほとんどに対して同等の結果をもたらし、異なるドメインのいくつかのフレームワークよりも優れていることがはっきりとわかります。 

Zephyr-7B : 方法、仕組み、アーキテクチャ

Zephyr-7B フレームワークの主な目標は、オープンソースの開発を支援することです。 大規模な言語モデル Zephyr-7B フレームワークは、ユーザーの意図に可能な限り近づけ、その全体を通じて、プロンプト生成を使用してクエリされる大規模な教師モデルへのアクセスを前提としています。 Zephyr-7B は、InstructGPT フレームワークで使用されているものと同様のアプローチに従い、効果的で正確な学生モデルを生成することを目的としています。 

次の図は、Zephyr-7B フレームワークの動作に含まれる XNUMX つの主要なステップを簡単に示しています。 

1. 自己指導スタイルを使用した大規模なデータセット構築のための dSFT。 
2. AIF コレクションは、完成したチャット モデルとその後の好みの 4 値化、および GPT-XNUMX によるスコアリングのアンサンブルを使用します。 
3. フィードバック データを利用した dSFT モデルの dPO。 

dSFT または蒸留された監視付き微調整

フレームワークは、ユーザー プロンプトに応答するように最初にトレーニングする必要がある生の大規模言語モデルから始まります。 従来、ユーザー プロンプトに応答するようにこれらの LLM フレームワークをトレーニングする場合、高品質の指示とそれに対応する応答で構成されるデータセットに対して SFT または教師あり微調整を使用して行われます。 Zephyr-7B フレームワークは教師言語モデルにアクセスできるため、フレームワークは命令と応答を生成し、これらの命令と応答に基づいてモデルを直接トレーニングできます。このアプローチは dSFT または蒸留 SFT として知られています。 次の図は、SFT によって実行される蒸留を示しています。x は、トピック ドメインの多様なセットを表すという主な目的で構築されたシード プロンプトのセットを表し、y は、x1 と C で表される新しいサンプル命令を使用して洗練されたサンプル応答を表します。は、最終的なデータセットの終点を表します。 

設定による AI フィードバック

人間によるフィードバックは、必要な追加シグナルを提供できるため、大規模言語モデルを割り当てるために使用されます。これらの人によるフィードバックは、伝統的に、LLM フレームワークによって生成される応答の品質に関する設定を通じて提供されます。 ただし、Zephyr フレームワークは、蒸留目的で人間によるフィードバックの代わりに、他のモデルが生成した出力に対する教師モデルからの AI フィードバックを使用します。 Zephyr フレームワークが採用するアプローチは、教師モデルを使用してモデルの出力に関する設定を提供する UltraFeedback フレームワークで使用されるアプローチの影響を受けています。 

SFT または教師あり微調整アプローチと同様に、プロンプトのセットから始まります。x は個々のプロンプトを表し、その後、ラマ、ファルコン、クロードなどの 3 つのモデルのコレクションに供給され、それぞれが応答を生成します。自分自身の。 これらの応答は GPT-4 や GPT-XNUMX などの教師モデルに入力として供給され、モデルは入力応答のスコアを出力します。 出力スコアを収集した後、モデルは最高スコアの応答を保存します。 

dDPO または蒸留直接優先最適化

dDPO は Zephyr フレームワークの最終ステップであり、その主な目的は、生徒の言語モデルを利用して、報酬関数によって決定される選好モデルで優先される応答をランク付けする確率を最大化することにより、dSFT 教師モデルを改良することです。 AI フィードバックの使用に関する前のステップでは、生成される報酬を最大限に最適化するために、PPO や近接ポリシー最適化などの強化学習手法を使用することに主に焦点を当てていました。 このステップでは、報酬が最初にトレーニングされ、次に現在のポリシーからサンプリングされて更新が計算され、最適化が最大化されます。 DPO (直接優先最適化) は、同様のアプローチに従い、静的データを直接使用して優先モデルを最適化します。 報酬関数を嗜好モデルに組み込んだ後の目標は次のように書くことができます。

Zephyr-7B : 実験、ベンチマーク、結果

Zephyr フレームワークは、現在の最先端の Mistral-7B フレームワークで微調整実験を実施し、さまざまな自然言語処理または NLP タスクにおいて、はるかに大規模な言語モデルと同等のパフォーマンスを提供します。 

データセット

Zephyr フレームワークは、独自のモデルとオープン モデルの混合から抽出された XNUMX つの対話データセットを利用しており、効果的なチャット モデルを作成するのに効果的であることが以前に証明されています。 

ウルトラチャット

UltraChat は、1.5 のトピックにわたる約 30 万のマルチターン ダイアログと、GPT-20-Turbo フレームワークによって生成された 3.5 のテキスト素材で構成される自己洗練データセットです。 UltraChat データセットが直面する大文字の誤りの問題に取り組むために、フレームワークはトゥルーケーシング ヒューリスティック アプローチを適用して文法エラーを排除します。 

ウルトラフィードバック

UltraFeedback は、64 を超えるプロンプトを含むプロンプト データセットであり、これらの各プロンプトには XNUMX つの個別の LLM 応答があります。 Zephyr フレームワークは、UltraFeedback データセットから取得した最高の平均スコアを使用してバイナリ優先度を構築し、残りの XNUMX つの LLM 応答のうちの XNUMX つがランダムとして拒否されます。 

評価

Zephyr フレームワークのパフォーマンスを評価するために、開発者は、モデルがユーザーの指示に従い、それに応じて応答する能力を評価するために、シングル ターンとマルチ ターンの XNUMX つのチャット ベンチマークを選択しました。 

MTベンチ

MT-Bench 評価ベンチマークは、160 つの固有の知識領域にわたる 8 の質問で構成されており、MT-Bench ベンチマークでは、モデルは最初の質問に答え、その後の質問に回答する必要があります。 

アルパカエヴァル

AlpacaEval は、モデルまたはフレームワークが役立つことを主な焦点として、さまざまなトピックにわたる 800 を超える質問に対するユーザーの回答を生成するシングルターン ベンチマークです。 

これら 7 つの主要なベンチマークに加えて、Zephyr-7B フレームワークは、マルチクラス分類タスク、ARC、HellaSwag、MMLU などの Open LLM Leaderboard でも評価されます。 さらに、Zephyr-XNUMXB フレームワークがどのようなベンチマークで評価されるかに関係なく、調整手順が唯一の差別化要因として、さまざまな独自モデルやオープン モデルと比較されます。 

結果

ここで、Zephyr-7B フレームワークがどのように動作するかを見て、現在の最先端の言語モデルと比較してみましょう。 

dDPO アプローチの実装によりチャット機能が向上

次の表は、Zephyr-7B フレームワークのパフォーマンスを、AlpacaEval および MT-Bench ベンチマークでの最先端の言語モデルと比較しています。 

明らかにわかるように、オープン 7B モデルと比較すると、Zephyr-7B フレームワークは 7 つのベンチマーク全体で dSFT モデルを大幅に上回るだけでなく、新しい最先端の標準を確立します。 さらに、Zephyr-7B フレームワークは、dPPO または蒸留 PPO アプローチでトレーニングされた希少なモデルの 7 つである XWIN-LM-2B フレームワークも上回っています。 さらに、Zephyr-70B フレームワークによって提供されるパフォーマンスは、XNUMXB を超えるパラメーターを持つ LlamaXNUMX-Chat などのはるかに大規模な言語モデルによって提供される結果に匹敵します。 

dDPO は学術タスクのパフォーマンスを向上させます

次の図は、Zephyr-7B フレームワークのパフォーマンスを、さまざまなオープンソースおよび独自の LLM フレームワークと比較しています。 

ご覧のとおり、Zephyr-7B フレームワークは 7B パラメーターを備えた LLM フレームワークよりも大幅に優れており、そのパフォーマンスと最高のパフォーマンスの dSFT モデルによって実現されるパフォーマンスとのギャップも顕著です。 パラメーターの数が増えると、Zephyr-7B フレームワークは、40 億のパラメーターを備えたフレームワークによって提供されるパフォーマンスには匹敵しますが、不十分になります。 

好みの最適化

次の図では、調整プロセスで実行されるさまざまなステップがパフォーマンスにどのような影響を与えるかを評価します。 ご覧のとおり、dDPO アプローチを dSFT と組み合わせると、MT-Bench データセットと AlpacaEval データセットの両方でパフォーマンスが大幅に向上します。 

最後に、次の図では、DPO 実装中のテストとトレーニングの精度を確認できます。 見てわかるように、DPO アプローチは下流タスクのモデルのパフォーマンスに影響を与えません。 

まとめ：

この記事では、大規模な言語モデルからはるかに小さな事前トレーニング済みフレームワークへのアライメント蒸留という現在の課題を解決することを目的とした、現在の最先端の Mistral-7B フレームワークに基づく Zephyr-7B フレームワークについて説明しました。 このフレームワークの主な目的は、開発者がこれまで以上にユーザーの意図に沿った、より小規模で大規模な言語モデルを作成できるようにすることです。 Zephyr-7B フレームワークは、dSFT のような大規模な LLM フレームワークに対する現在のアプローチの適用を検証するだけでなく、他のアプローチを使用してユーザーの意図とよりよく一致するチャット モデルを学習する可能性も検討します。

ただし、有望な結果にもかかわらず、Zephyr-7B フレームワークは完璧ではなく、まだいくつかの作業を行う必要があります。 明らかな制限の 4 つは、GPT-7 フレームワークを使用して MT-Bench および AlpacaEval ベンチマークを評価することですが、これは多くの場合、GPT-XNUMX フレームワーク自体が抽出したモデルに偏っています。 ただし、Zephyr-XNUMXB フレームワークは、ユーザーの意図とインタラクションに合わせて調整できる、より小規模なオープン モデルの機能を探索する方法を切り開くことを望んでいます。