La capacité et les performances des petits modèles de langage ouverts ont considérablement évolué ces dernières années, et nous avons été témoins de la progression des premiers modèles GPT-2 aux cadres LLM plus compacts, plus précis et plus efficaces qui utilisent une quantité considérablement plus importante de jetons que la quantité de jetons « optimale sur le plan du calcul » recommandée par les lois de mise à l’échelle Chinchilla. De plus, les développeurs ont démontré que ces petits cadres LLM peuvent être formés davantage en utilisant une approche de dSFT ou de fine-tuning supervisé distillé basée sur des modèles propriétaires, qui utilise la sortie d’un modèle enseignant efficace comme données supervisées pour le modèle étudiant dans le but d’améliorer la précision.

Dans cet article, nous allons parler du cadre Zéphyr-7B, un benchmark de chat d’état de l’art pour les modèles à 7B de paramètres qui ne nécessite pas d’annotations humaines. L’objectif principal du cadre est de permettre aux développeurs de produire des modèles de langage plus petits qui s’alignent sur l’intention de l’utilisateur plus que jamais auparavant. Le cadre Zéphyr-7B ne se contente pas d’examiner l’application des approches actuelles pour les plus grands cadres LLM comme le dSFT, mais explore également la possibilité d’utiliser d’autres approches pour apprendre un modèle de chat avec un meilleur alignement sur l’intention de l’utilisateur. Nous allons plonger plus profondément dans le cadre Zéphyr et explorer son architecture, son fonctionnement et ses résultats. Alors, commençons.

Zéphyr-7B : Introduction à la distillation directe de l’alignement des modèles de langage

Comme mentionné plus tôt, les modèles de langage ont évolué rapidement ces dernières années, des premiers cadres GPT-2 aux cadres LLM actuels GPT-4 et MiniGPT-5 qui, bien qu’ils soient très gourmands en jetons, sont maintenant plus précis et plus efficaces. Un point fort de ces cadres LLM avancés est qu’ils intègrent une quantité considérablement plus importante de jetons que le nombre de jetons qui étaient considérés comme étant calculatoirement optimaux selon les lois de mise à l’échelle Chinchilla. De plus, les développeurs et les chercheurs qui travaillent sur les cadres LLM ont appris que ces petits cadres LLM peuvent être formés davantage en utilisant une approche de dSFT ou de fine-tuning supervisé distillé basée sur des modèles propriétaires, qui utilise la sortie d’un modèle enseignant efficace comme données supervisées pour le modèle étudiant dans le but d’améliorer la précision. La stratégie de distillation s’est avérée être un outil très efficace et utile pour maximiser le potentiel et les capacités des modèles ouverts sur une large gamme de tâches, bien qu’elle ne puisse pas encore reproduire les performances atteintes par le modèle enseignant. De plus, les utilisateurs ont souvent signalé que ces modèles affichent souvent un « désalignement d’intention », ce qui signifie que les modèles ne se comportent pas de manière à s’aligner sur les exigences des utilisateurs finals, ce qui conduit à des sorties incorrectes qui ne fournissent pas la bonne sortie ou les réponses aux entrées ou aux requêtes de l’utilisateur.

L’alignement des intentions a toujours été un défi majeur pour les développeurs, avec des travaux récents axés sur le développement de benchmarks comme AlpacaEval et MT-Bench conçus pour cibler le désalignement. La motivation pour développer le cadre Zéphyr peut être attribuée au problème de l’utilisation de la distillation pour aligner un petit modèle de langage ouvert, où la première étape consiste à utiliser un AIF ou une rétroaction d’intelligence artificielle pour obtenir des données de préférence à partir d’un ensemble du modèle enseignant, puis à appliquer directement la distillation de l’optimisation des préférences comme objectif d’apprentissage principal, une approche appelée dDPO ou dénoising de la politique d’optimisation des préférences. Le point fort de l’approche dDPO est qu’elle ne nécessite pas d’échantillonnage humain ou d’annotations, et réduit également le temps nécessaire pour former un modèle de langage. De plus, elle permet également aux développeurs de maximiser les récompenses de l’échantillon final en prêtant une attention particulière à la séquence des étapes de débruitage, du début à la fin, en d’autres termes, tout au long de son intégralité.

Les développeurs ont développé le cadre Zéphyr-7B pour valider cette approche, et à certains égards, il s’agit d’une version alignée du cadre Mistral-7B à l’état de l’art. Le cadre utilise d’abord le dSFT ou le fine-tuning supervisé distillé basé sur le jeu de données UltraChat, puis applique l’approche dDPO ou la dénoising de la politique d’optimisation des préférences sur les données de rétroaction. Les expériences indiquent que le cadre Zéphyr-7B avec 7 milliards de paramètres fournit des résultats comparables à ceux fournis par des modèles de chat alignés avec des rétroactions humaines et plus de 70 milliards de paramètres. De plus, les expériences indiquent également que les résultats peuvent être améliorés à la fois en termes de benchmarks qui prennent en compte les capacités de conversation, ainsi que les benchmarks académiques standard, et que l’utilisation de l’apprentissage des préférences est cruciale pour obtenir les résultats souhaités.

La figure ci-dessus montre les performances de différents modèles de langage sur le benchmark MT-bench. Le cadre Zéphyr-7B formé en utilisant l’approche dDPO est comparé à des modèles de langage plus grands, propriétaires et ouverts, qui ont été formés en utilisant un apprentissage de renforcement supplémentaire et qui incluaient une grande quantité de rétroactions humaines. Comme on peut le voir clairement, malgré la différence considérable dans le nombre de paramètres que ces cadres utilisent, le cadre Zéphyr-7B fournit des résultats comparables à la plupart d’entre eux, et surpasse même plusieurs cadres dans différents domaines.

Zéphyr-7B : Méthode, fonctionnement et architecture

L’objectif principal du cadre Zéphyr-7B est d’aider un modèle de langage ouvert à s’aligner le plus possible sur l’intention de l’utilisateur, et tout au long de son intégralité, le cadre Zéphyr-7B suppose avoir accès à un grand modèle enseignant qui est interrogé en utilisant la génération de prompts. Le cadre Zéphyr-7B suit une approche similaire à celle utilisée dans le cadre InstructGPT, et vise à générer un modèle étudiant efficace et précis.

La figure suivante montre brièvement les trois étapes principales impliquées dans le fonctionnement du cadre Zéphyr-7B.

1. dSFT pour la construction de grands ensembles de données en utilisant un style d’auto-instruction.
2. Collecte de données AIF en utilisant un ensemble de modèles de chat complets, suivie d’une binarisation des préférences et d’une notation par GPT-4.
3. Optimisation de la politique dDPO du modèle dSFT en utilisant les données de rétroaction.

dSFT ou fine-tuning supervisé distillé

Le cadre commence avec un modèle de langage brut qui doit d’abord être formé pour répondre aux prompts de l’utilisateur. Traditionnellement, la formation de ces modèles de langage pour répondre aux prompts de l’utilisateur est effectuée en utilisant le fine-tuning supervisé sur un ensemble de données composé d’instructions de haute qualité et de leurs réponses correspondantes. Puisque le cadre Zéphyr-7B a accès à un modèle enseignant, le cadre peut générer des instructions et des réponses, et former le modèle directement sur ces instructions et réponses, et cette approche est connue sous le nom de dSFT ou de fine-tuning supervisé distillé. La figure suivante montre la distillation effectuée par le fine-tuning supervisé où x représente un ensemble de prompts de graines construits avec l’objectif principal de représenter un ensemble diversifié de domaines thématiques, y représente la réponse échantillonnée, qui est affinée en utilisant une nouvelle instruction échantillonnée représentée par x1 et C représente le point final dans l’ensemble de données final.

Rétroaction d’intelligence artificielle via les préférences

Les rétroactions humaines sont utilisées pour attribuer des modèles de langage, car elles peuvent fournir les signaux supplémentaires nécessaires, et ces rétroactions humaines sont traditionnellement fournies via des préférences sur la qualité des réponses générées par les modèles de langage. Cependant, le cadre Zéphyr utilise des rétroactions d’intelligence artificielle à partir du modèle enseignant sur les sorties générées par d’autres modèles à la place des rétroactions humaines à des fins de distillation. L’approche suivie par le cadre Zéphyr est influencée par celle utilisée par le cadre UltraFeedback qui utilise le modèle enseignant pour fournir des préférences sur les sorties du modèle.

De même que l’approche de fine-tuning supervisé, elle commence avec un ensemble de prompts, où x représente chaque prompt individuel qui est ensuite alimenté à une collection de quatre modèles comme Llama, Falcon, Claude et plus, chacun générant une réponse. Ces réponses sont ensuite alimentées en tant qu’entrée au modèle enseignant comme GPT-3 ou GPT-4, et le modèle produit un score pour la réponse d’entrée. Après avoir collecté les scores de sortie, le modèle enregistre la réponse avec le score le plus élevé.

dDPO ou dénoising de la politique d’optimisation des préférences

Le dDPO est l’étape finale du cadre Zéphyr, et son objectif principal est de raffiner le modèle enseignant dSFT en maximisant la probabilité de classement de la réponse préférée dans un modèle de préférence déterminé par une fonction de récompense en utilisant le modèle de langage étudiant. L’étape précédente impliquant l’utilisation de la rétroaction d’intelligence artificielle se concentre principalement sur l’utilisation de méthodes d’apprentissage par renforcement comme le PPO ou l’optimisation de la politique proximale pour une optimisation maximale par rapport à la récompense générée. À cette étape, la récompense est d’abord formée, puis échantillonnée à partir de la politique actuelle pour calculer les mises à jour, et ainsi maximiser l’optimisation. Le dDPO suit une approche similaire pour optimiser directement le modèle de préférence en utilisant les données statiques. L’objectif après avoir branché la fonction de récompense dans le modèle de préférence peut être écrit

Zéphyr-7B : Expériences, benchmarks et résultats

Le cadre Zéphyr effectue ses expériences de fine-tuning sur le cadre Mistral-7B actuel qui fournit des performances comparables à celles de modèles de langage plus grands sur une large gamme de tâches de traitement du langage naturel ou TAL.

Ensembles de données

Le cadre Zéphyr utilise deux ensembles de données de dialogue qui ont été distillés à partir d’un mélange de modèles propriétaires et ouverts, qui se sont avérés efficaces pour produire des modèles de chat efficaces.

UltraChat

UltraChat est un ensemble de données d’auto-amélioration qui comprend près de 1,5 million de dialogues multi-tours répartis sur 30 sujets et 20 matériaux de texte générés par le cadre GPT-3.5-Turbo. Pour résoudre le problème de capitalisation incorrecte rencontré par l’ensemble de données UltraChat, le cadre applique une approche d’heuristiques de truecasing pour éliminer les erreurs grammaticales.

UltraFeedback

UltraFeedback est un ensemble de données de prompts avec plus de 64 000 prompts, chacun ayant quatre réponses LLM individuelles. Le cadre Zéphyr utilise le score moyen le plus élevé obtenu à partir de l’ensemble de données UltraFeedback pour construire des préférences binaires, et l’une des trois réponses LLM restantes est rejetée comme aléatoire.

Évaluation

Pour évaluer les performances du cadre Zéphyr, les développeurs ont opté pour deux benchmarks de chat, l’un à tour unique et l’autre à tours multiples, dans le but d’évaluer la capacité du modèle à suivre les instructions de l’utilisateur et à répondre en conséquence.

MT-Bench

Le benchmark d’évaluation MT-Bench se compose de 160 questions réparties sur 8 domaines de connaissance uniques, et sous le benchmark MT-Bench, le modèle doit répondre à une question initiale et fournir une réponse à la question de suivi.

AlpacaEval

AlpacaEval est un benchmark à tour unique sous lequel le modèle ou le cadre génère des réponses utilisateur à plus de 800 questions réparties sur différents sujets avec un focus principal sur l’utilité.

En plus de ces deux benchmarks principaux, le cadre Zéphyr-7B est également évalué sur le tableau de bord des modèles de langage ouverts pour les tâches de classification multiclasse, ARC, HellaSwag, MMLU et plus. De plus, quelle que soit le benchmark sur lequel le cadre Zéphyr-7B est évalué, il est comparé à une gamme de modèles propriétaires et ouverts, avec leurs procédures d’alignement étant le seul facteur de différenciation.

Résultats

Voyons maintenant comment le cadre Zéphyr-7B se comporte et se compare aux modèles de langage actuels.

Mise en œuvre de l’approche dDPO qui améliore les capacités de chat

Le tableau suivant compare les performances du cadre Zéphyr-7B aux modèles de langage actuels sur les benchmarks AlpacaEval et MT-Bench.

Comme on peut le voir clairement, lorsqu’il est comparé aux modèles ouverts à 7B, le cadre Zéphyr-7B ne surpasse pas seulement considérablement les modèles dSFT sur les deux benchmarks, mais établit également de nouvelles normes de l’art. De plus, le cadre Zéphyr-7B parvient également à surpasser le cadre XWIN-LM-7B, qui est l’un des rares modèles formés sur l’approche dPPO ou l’optimisation de la politique proximale distillée. De plus, les performances fournies par le cadre Zéphyr-7B sont comparables aux résultats fournis par des modèles de langage plus grands comme Llama2-Chat avec plus de 70 milliards de paramètres.

dDPO améliore les performances des tâches académiques

La figure suivante compare les performances du cadre Zéphyr-7B à une large gamme de cadres LLM ouverts et propriétaires.

Comme on peut le voir, le cadre Zéphyr-7B surpasse considérablement les modèles LLM avec 7B de paramètres, et l’écart entre ses performances et celles des meilleurs modèles dSFT est également notable. À mesure que le nombre de paramètres augmente, le cadre Zéphyr-7B a du mal à suivre, bien qu’il égale les performances fournies par les cadres avec 40 milliards de paramètres.

Optimisation des préférences

Dans la figure suivante, nous évaluons comment les différentes étapes suivies dans le processus d’alignement affectent les performances. Comme on peut l’observer, l’approche dDPO combinée avec le dSFT améliore considérablement les performances sur les deux ensembles de données MT-Bench et AlpacaEval.

Enfin, dans la figure suivante, nous pouvons voir les précisions de test et de formation pendant la mise en œuvre de la politique dDPO. Comme on peut le voir, l’approche dDPO n’affecte pas les performances du modèle sur les tâches en aval.

Conclusion

Dans cet article, nous avons parlé du cadre Zéphyr-7B basé sur le cadre Mistral-7B actuel qui vise à résoudre le défi actuel de la distillation de l’alignement d’un grand modèle de langage à un cadre préformé plus petit. L’objectif principal du cadre est de permettre aux développeurs de produire des modèles de langage plus petits qui s’alignent sur l’intention de l’utilisateur plus que jamais auparavant. Le cadre Zéphyr-7B ne se contente pas d’examiner l’application des approches actuelles pour les plus grands cadres LLM comme le dSFT, mais explore également la possibilité d’utiliser d’autres approches pour apprendre un modèle de chat avec un meilleur alignement sur l’intention de l’utilisateur.

Cependant, malgré les résultats prometteurs, le cadre Zéphyr-7B n’est pas parfait, et certains travaux doivent encore être effectués. L’une des limites évidentes est l’utilisation du cadre GPT-4 pour évaluer les benchmarks MT-Bench et AlpacaEval, qui a souvent été biaisé vers les modèles qu’il distille lui-même. Cependant, le cadre Zéphyr-7B espère ouvrir la voie à l’exploration des capacités des modèles ouverts plus petits qui sont capables de s’aligner sur l’intention de l’utilisateur et les interactions.