Zéphyr-7B : Le LLM hyper-optimisé de Hugging Face construit sur Mistral 7B

Introduction

L’évolution des modèles de langage ouverts (LLM) a eu un impact significatif sur la communauté de recherche en intelligence artificielle, en particulier dans le développement de chatbots et d’applications similaires. Suite à la sortie de modèles comme LLaMA, il y a eu un regain de recherche sur le fine-tuning efficace, la gestion étendue des invites, la génération augmentée de récupération (RAG) et la quantification.

Le modèle LLaMA, par exemple, a marqué une nouvelle ère dans le fine-tuning et la contextualisation des invites, ouvrant la voie à des modèles ultérieurs tels que MPT de MosaicML, RedPajama-INCITE de Together AI, Falcon de TII et Llama 2 de Meta. Chacun de ces modèles apporte des capacités uniques, améliorant ainsi la fonctionnalité et la portée des LLM.

Mistral AI, une startup de Paris fondée par d’anciens employés de Google DeepMind et Meta, s’est fait un nom avec sa première offre : Mistral 7B.

L’avantage de Mistral 7B réside dans son efficacité, offrant des capacités similaires ou améliorées par rapport à ses pairs comme Llama 2, mais avec une demande computationnelle moindre.

Spécifiquement conçu pour les tâches instructives, Mistral 7B Instruct brille sur des plateformes comme Hugging Face, où il dépasse d’autres modèles de la même taille et rivalise étroitement avec ceux ayant presque le double de ses paramètres.

En s’appuyant sur cela, Hugging Face a introduit Zéphyr 7B Alpha, démontrant qu’un Mistral 7B fine-tuned peut en effet surpasser les capacités de modèles de chat beaucoup plus grands et, dans certaines tâches, même rivaliser avec GPT-4. L'”Alpha” n’était que le début, car Zéphyr 7B Beta a suivi peu après.

Cet article explorera comment Zéphyr-7B tire parti de la puissance des modèles plus grands pour affiner sa capacité à répondre et à s’aligner sur les instructions humaines, un processus rendu possible grâce à la technique de distillation des connaissances. Cette méthode consiste à entraîner des modèles plus petits sur les modèles complexes appris par les plus grands, en réduisant les exigences de formation sans sacrifier les capacités de modélisation du langage. Nous allons nous plonger dans les détails de l’approche de distillation des connaissances de Hugging Face.

Distillation des connaissances

Une innovation clé dans le développement de modèles comme Zéphyr-7B est le fine-tuning supervisé distillé (dSFT). Cette méthode implique l’utilisation de la sortie d’un modèle enseignant plus grand et plus capable pour entraîner un modèle étudiant plus petit, améliorant ainsi sa précision. Même si la distillation améliore les modèles ouverts sur diverses tâches, un écart de performance par rapport aux modèles enseignants persiste.

La distillation des connaissances est une méthode d’apprentissage automatique dans laquelle un modèle compact, appelé “étudiant“, est enseigné pour reproduire les performances d’un modèle plus grand et plus complexe “enseignant“. Cette technique permet à l’étudiant d’effectuer des tâches qui étaient précédemment au-delà de ses capacités en transférant les modèles complexes appris par l’enseignant.

Distillation des connaissances | Modèle enseignant-étudiant

Le modèle étudiant s’entraîne sur les probabilités de sortie ou les fonctionnalités générées par le modèle enseignant, en se concentrant sur le fait de correspondre à ces sorties plutôt que de se concentrer uniquement sur les prédictions finales. Cela permet à l’étudiant d’apprendre les processus de prise de décision nuancés de l’enseignant, ce qui aboutit souvent à de meilleures performances que la formation avec uniquement les données de vérité terrain.

Historiquement, la distillation des connaissances a été utilisée dans des modèles tels que les réseaux de distillation originaux de Hinton, et plus récemment dans le NLP avec des modèles tels que DistilBERT, qui a distillé le modèle BERT en une version plus petite et plus rapide qui conserve la plupart des capacités de compréhension du langage originales. Un autre exemple est TinyBERT, qui va encore plus loin dans l’optimisation de la taille et de la vitesse pour les appareils mobiles ou les périphériques.

Dans le cas de Zéphyr-7B, la distillation des connaissances est utilisée pour insuffler à un modèle de 7 milliards de paramètres les capacités de ses homologues plus grands. En faisant cela, Zéphyr-7B parvient à un équilibre entre les performances et l’efficacité, le rendant adapté à des environnements où les ressources computationnelles sont limitées, sans sacrifier la qualité de l’interaction et de la compréhension.

Lors du développement de Zéphyr-7B, les chercheurs ont relevé le défi de l’alignement d’un petit LLM ouvert entièrement par distillation. Ils ont introduit une approche appelée optimisation de préférence directe distillée (dDPO), qui utilise les commentaires AI d’un ensemble de modèles enseignants comme données de préférence. Cette méthode, qui ne nécessite pas d’annotation humaine, réduit considérablement le temps et les ressources nécessaires à la formation du modèle.

Construction de ZEPHYR-7B

Pour valider la dDPO, les chercheurs ont construit ZEPHYR-7B, une version alignée du modèle Mistral-7B. Le processus a impliqué trois étapes :

1. dSFT en utilisant le jeu de données UltraChat : Le fine-tuning supervisé distillé (dSFT) est une méthode avancée pour entraîner les grands modèles de langage (LLM) en exploitant la sortie de modèles enseignants plus grands et plus capables. Il commence avec un LLM brut qui est entraîné pour répondre aux invites de l’utilisateur. Contrairement au fine-tuning supervisé traditionnel (SFT) qui utilise un jeu de données fixe, le dSFT utilise une approche dynamique où le modèle lui-même génère des instructions et des réponses. Cette méthode, connue sous le nom d’auto-instruction, consiste à utiliser le modèle enseignant pour répondre aux instructions et les affiner en fonction des réponses. Le processus commence avec un ensemble d’invites de démarrage (x₀₁, x₀₂, …, x₀_J) représentant des sujets divers. Chaque invite est affinée de manière itérative : pour une invite donnée x₀, une réponse y₀ est générée par le modèle enseignant, puis une nouvelle instruction x₁ est échantillonnée en fonction de x₀ et y₀. Le jeu de données final C = {(x₁, y₁), …, (x_J, y_J)} est utilisé pour le fine-tuning du modèle.
2. Intégration des données de commentaires AI à partir d’UltraFeedback : Ces données ont été cruciales pour affiner les réponses du modèle. À cette étape, le modèle génère des réponses à diverses invites (comme décrire comment faire des brownies au chocolat) qui sont ensuite classées par un modèle plus avancé comme GPT-4. La réponse la mieux notée (yw) et une réponse moins bien notée choisie au hasard (yl) forment un jeu de données de commentaires D.
3. Application de la dDPO : La dernière phase, l’optimisation de préférence directe distillée (dDPO), consiste à affiner le modèle dSFT en maximisant la probabilité de classer les réponses préférées plus haut. Cela est réalisé en utilisant une fonction de récompense rθ(x, y) dans le modèle de préférence, qui est basée sur la politique LLM optimale π* et la politique dSFT originale πdSFT. L’objectif d’optimisation est formulé comme πθ = max π E (x, yw, yl) ∼ D log σ (β log π(yw|x)/πdSFT(yw|x) − β log π(yl|x)/πdSFT(yl|x)), ce qui simplifie le processus d’entraînement en commençant par la version dSFT du modèle et en itérant à travers chaque triplet AIF.

La méthode utilisée dans Zéphyr-7B reflète les processus utilisés dans InstructGPT.

Remarquablement, Zéphyr-7B atteint des performances comparables à celles de modèles de 70 milliards de paramètres alignés avec des commentaires humains. Il excelle à la fois dans les benchmarks universitaires et les capacités de conversation, mettant en évidence l’efficacité de l’apprentissage de préférence dans le développement de modèles. Pour une exploration plus approfondie, les modèles, le code et les instructions sont disponibles sur le dépôt GitHub de Hugging Face.

Relève du défi de l’alignement des intentions

Un problème notable avec les LLM est leur alignement avec l’intention humaine. Les modèles précédents ont souvent échoué à produire des réponses qui correspondaient aux préférences des utilisateurs, aboutissant à des réponses inexactes ou non pertinentes. Cependant, des benchmarks récents comme MT-Bench et AlpacaEval ont fourni des outils pour quantifier et améliorer cet aspect, mettant en évidence la performance supérieure des modèles propriétaires formés avec des commentaires humains par rapport à ceux formés uniquement par distillation.

Méthodes d’évaluation

L’évaluation de Zéphyr 7B a impliqué des tests rigoureux sur des benchmarks qui évaluent les capacités de conversation d’un modèle dans des contextes à tour unique et à plusieurs tours :

• MT-Bench : Ce benchmark à plusieurs tours oblige un modèle à répondre à 160 questions couvrant huit domaines. Chaque réponse est notée par GPT-4, avec le score final du modèle reflétant la moyenne sur deux rounds de questions.
• AlpacaEval : Dans ce benchmark à tour unique, le modèle est présenté avec 805 questions sur divers sujets. L’accent est mis ici sur l’utilité du modèle, avec GPT-4 notant les réponses pour déterminer un taux de gain comparatif.

En outre, Zéphyr 7B a été testé sur le tableau de bord des LLM ouverts, qui, même s’il ne constitue pas une évaluation directe des capacités de conversation, offre des informations sur la capacité de raisonnement et de véracité du modèle après fine-tuning.

Zéphyr 7B a été comparé à une variété de modèles ouverts et propriétaires, notamment ceux de différentes tailles et méthodes d’alignement. Il a établi de nouveaux benchmarks pour les modèles de 7 milliards de paramètres sur MT-Bench et AlpacaEval et a montré des performances compétitives par rapport à des modèles plus grands, validant l’efficacité de l’optimisation de préférence directe (dDPO) dans la formation.

Les phases de formation SFT et DPO ont été soigneusement configurées, couvrant plusieurs époques et des taux d’apprentissage et des tailles de lots pour une performance optimale. Le modèle Zéphyr final est apparu non seulement résistant à la sur-ajustement mais également amélioré dans la gestion des tâches pratiques et des benchmarks universitaires.

Datasets et résultats

Jeux de données utilisés

Lors du développement de Zéphyr-7B, deux jeux de données clés ont été utilisés pour entraîner et affiner le modèle, chacun abordant différents aspects de la génération de dialogue :

Jeu de données UltraChat

• Source : Développé à partir de dialogues générés par GPT-3.5-TURBO.
• Contenu : Contient 1,47 million de dialogues à plusieurs tours sur 30 sujets et 20 types de matériel textuel.
• Affinement : Le jeu de données a subi une heuristique de truecasing pour corriger les problèmes grammaticaux, et des filtres ont été appliqués pour augmenter l’utilité des réponses et éliminer les phrases de préface non utiles.

Jeu de données UltraFeedback

• Source : Comprend des invites évaluées par GPT-4, qui a noté les réponses en fonction du suivi des instructions, de l’honnêteté et de l’utilité.
• Contenu : Inclut 64 000 invites avec quatre réponses chacune, notées par GPT-4.
• Préférences binaires : Générées en choisissant la réponse avec le score moyen le plus élevé comme “choisie” et une réponse choisie au hasard parmi les autres comme “rejetée” pour améliorer la diversité et défier le processus d’optimisation de préférence directe (DPO).

Ces deux jeux de données sont essentiels pour entraîner Zéphyr-7B à comprendre et générer des dialogues humains qui suivent les instructions, sont honnêtes et utiles. Ces jeux de données sont disponibles sur le Hugging Face Hub, que vous pouvez accéder ici.

Performances et résultats

Le graphique ci-dessous illustre les performances de Zéphyr 7B dans diverses catégories de tâches par rapport à d’autres modèles tels que GPT-3.5-turbo, Claude 1, GPT-4 et Llama-2-70b-chat. Les catégories peuvent inclure l’écriture, les sciences humaines, le jeu de rôle, le raisonnement, les STEM, l’extraction, la programmation et les mathématiques.

À partir du graphique, on peut déduire dans quels domaines Zéphyr 7B excelle et dans quels domaines il pourrait nécessiter une amélioration. Par exemple, si la ligne de Zéphyr s’étend plus loin sur l’axe de l’écriture par rapport aux autres, cela suggère que Zéphyr est particulièrement fort dans la génération de contenu écrit. Inversement, si la ligne est plus proche du centre sur l’axe des mathématiques, cela peut indiquer une faiblesse relative dans la résolution de problèmes mathématiques.

Le graphique radar aide à identifier les forces et les faiblesses de Zéphyr 7B, fournissant une représentation visuelle de sa position par rapport à des modèles plus grands comme GPT-4 et à des modèles spécialisés comme Llama-2-70b-chat.

 

Graphique de performance du modèle

Comparaison de divers modèles de langage sur deux benchmarks : MT-Bench et AlpacaEval. Les modèles sont évalués en fonction de leur taille, de leur méthode d’alignement (comme le dSFT pour le fine-tuning supervisé distillé ou le dDPO pour l’optimisation de préférence directe distillée) et de leurs scores de performance. Zéphyr se démarque avec des scores élevés dans les deux benchmarks, indiquant son efficacité dans la génération de réponses alignées.

Résultats des benchmarks de conversation

Conclusion

En conclusion, le développement de Zéphyr-7B démontre que l’alignement et la distillation des capacités de conversation d’un grand modèle de langage (LLM) sur un modèle plus petit peuvent être réalisés sans recourir à des méthodes basées sur l’échantillonnage. En utilisant l’optimisation de préférence directe (DPO) avec des commentaires AI, Zéphyr-7B tire parti de la base solide de Mistral-7B pour établir un nouveau benchmark pour les modèles de chat à 7 milliards de paramètres, mettant en évidence la capacité des modèles ouverts plus petits à comprendre et à répondre à l’intention de l’utilisateur de manière efficace.

Cependant, cette étude n’est pas sans ses limites. La dépendance à l’égard de GPT-4 en tant qu’évaluateur pour les benchmarks introduit un biais en faveur des modèles qui sont distillés à partir de lui, favorisant potentiellement les réponses précises. De plus, la scalabilité de cette méthode à des modèles plus grands, tels que LLAMA2-70B, et son impact sur les gains de performance restent des domaines à explorer plus en détail. Ces limites mettent en évidence le besoin de continuer à innover et de développer des méthodes d’évaluation non biaisées dans la communauté de l’IA.

En regardant au-delà de l’étude, il est évident que le potentiel de modèles plus petits pour performer au niveau de leurs homologues plus grands peut démocratiser l’IA, permettant une utilisation plus accessible et plus efficace dans diverses applications. Le succès de Zéphyr-7B encourage une exploration plus approfondie des modèles ouverts, ce qui peut accélérer les progrès de l’IA en favorisant la recherche collaborative et le développement.