Modèles et plateformes d’IA
Modèles de langage à grande échelle basés sur le décodeur : Un guide complet
Ajouter Unite.AI à vos sources préférées sur Google
Les modèles de langage à grande échelle (LLMs) ont révolutionné le domaine du traitement automatique des langues (TAL) en démontrant des capacités remarquables dans la génération de texte similaire à celui des humains, la réponse aux questions et l’assistance dans une large gamme de tâches liées au langage. Au cœur de ces modèles puissants se trouve l’architecture de transformateur décodeur-seul, une variante de l’architecture de transformateur originale proposée dans l’article fondateur “Attention est tout ce dont vous avez besoin” par Vaswani et al.
Dans ce guide complet, nous allons explorer les mécanismes internes des LLMs basés sur le décodeur, en nous plongeant dans les blocs de construction fondamentaux, les innovations architecturales et les détails d’implémentation qui ont propulsé ces modèles au premier plan de la recherche et des applications en TAL.
L’architecture de transformateur : Un rappel
Avant de plonger dans les spécificités des LLMs basés sur le décodeur, il est essentiel de réexaminer l’architecture de transformateur, sur laquelle ces modèles sont construits. Le transformateur a introduit une approche novatrice de modélisation de séquences, en s’appuyant uniquement sur les mécanismes d’attention pour capturer les dépendances à longue portée dans les données, sans avoir besoin de couches récurrentes ou convolutionnelles.
Architecture de transformateur
L’architecture de transformateur originale se compose de deux principaux composants : un encodeur et un décodeur. L’encodeur traite la séquence d’entrée et génère une représentation contextualisée, qui est ensuite consommée par le décodeur pour produire la séquence de sortie. Cette architecture a été initialement conçue pour les tâches de traduction automatique, où l’encodeur traite la phrase d’entrée dans la langue source, et le décodeur génère la phrase correspondante dans la langue cible.
L’attention auto : La clé du succès du transformateur
Au cœur du transformateur se trouve le mécanisme d’attention auto, une technique puissante qui permet au modèle de peser et d’agréger les informations provenant de différentes positions dans la séquence d’entrée. Contrairement aux modèles de séquences traditionnels, qui traitent les jetons d’entrée de manière séquentielle, l’attention auto permet au modèle de capturer les dépendances entre n’importe quelle paire de jetons, indépendamment de leur position dans la séquence.
Attention multiquery
L’opération d’attention auto peut être décomposée en trois étapes principales :
- Projections de requête, de clé et de valeur : La séquence d’entrée est projetée dans trois représentations distinctes : requêtes (Q), clés (K) et valeurs (V). Ces projections sont obtenues en multipliant l’entrée avec des matrices de poids apprises.
- Calcul des scores d’attention : Pour chaque position dans la séquence d’entrée, les scores d’attention sont calculés en prenant le produit scalaire entre le vecteur de requête correspondant et tous les vecteurs de clé. Ces scores représentent la pertinence de chaque position par rapport à la position actuelle en cours de traitement.
- Somme pondérée des valeurs : Les scores d’attention sont normalisés à l’aide d’une fonction softmax, et les poids d’attention résultants sont utilisés pour calculer une somme pondérée des vecteurs de valeur, produisant la représentation de sortie pour la position actuelle.
L’attention multi-tête, une variante du mécanisme d’attention auto, permet au modèle de capturer différents types de relations en calculant les scores d’attention sur plusieurs “têtes” en parallèle, chacune avec son propre ensemble de projections de requête, de clé et de valeur.
Variants et configurations architecturales
Bien que les principes fondamentaux des LLMs basés sur le décodeur restent cohérents, les chercheurs ont exploré diverses variantes et configurations architecturales pour améliorer les performances, l’efficacité et les capacités de généralisation. Dans cette section, nous allons nous plonger dans les différents choix architecturaux et leurs implications.
Types d’architecture
Les LLMs basés sur le décodeur peuvent être classés en trois principaux types : encodeur-décodeur, décodeur causal et décodeur de préfixe. Chaque type d’architecture présente des modèles d’attention distincts.
Architecture encodeur-décodeur
Basée sur le modèle de transformateur vanilla, l’architecture encodeur-décodeur se compose de deux piles : un encodeur et un décodeur. L’encodeur utilise des couches d’attention auto multi-tête empilées pour encoder la séquence d’entrée et générer des représentations contextualisées. Le décodeur effectue ensuite une attention croisée sur ces représentations pour générer la séquence de sortie. Bien que cette architecture soit efficace dans diverses tâches de TAL, peu de LLMs, tels que Flan-T5, adoptent cette architecture.
Architecture décodeur causal
L’architecture décodeur causal incorpore un masque d’attention unidirectionnel, permettant à chaque jeton d’entrée d’attendre uniquement les jetons passés et lui-même. Les jetons d’entrée et de sortie sont traités dans le même décodeur. Des modèles notables comme GPT-1, GPT-2 et GPT-3 sont construits sur cette architecture, avec GPT-3 présentant des capacités d’apprentissage en contexte remarquables. De nombreux LLMs, y compris OPT, BLOOM et Gopher, ont largement adopté les décodeurs causaux.
Architecture décodeur de préfixe
Également connue sous le nom d’architecture décodeur non causal, l’architecture décodeur de préfixe modifie le mécanisme de masquage des décodeurs causaux pour permettre une attention bidirectionnelle sur les jetons de préfixe et une attention unidirectionnelle sur les jetons générés. Comme l’architecture encodeur-décodeur, les décodeurs de préfixe peuvent encoder la séquence de préfixe de manière bidirectionnelle et prédire les jetons de sortie de manière autoregressive en utilisant des paramètres partagés. Les LLMs basés sur les décodeurs de préfixe incluent GLM130B et U-PaLM.
Les trois types d’architecture peuvent être étendus en utilisant la technique d’échelle de mélange d’experts (MoE), qui active de manière éparse un sous-ensemble de poids de réseau neuronal pour chaque entrée. Cette approche a été employée dans des modèles tels que Switch Transformer et GLaM, avec une augmentation du nombre d’experts ou de la taille totale des paramètres montrant des améliorations significatives des performances.
Transformateur décodeur-seul : Embrasser la nature autoregressive
Alors que l’architecture de transformateur originale a été conçue pour les tâches de séquence à séquence comme la traduction automatique, de nombreuses tâches de TAL, telles que la modélisation de langage et la génération de texte, peuvent être formulées comme des problèmes autoregressifs, où le modèle génère un jeton à la fois, conditionné aux jetons précédemment générés.
Entrez le transformateur décodeur-seul, une variante simplifiée de l’architecture de transformateur qui ne conserve que le composant décodeur. Cette architecture est particulièrement bien adaptée aux tâches autoregressives, car elle génère des jetons de sortie un par un, en exploitant les jetons précédemment générés comme contexte d’entrée.
La principale différence entre le transformateur décodeur-seul et le décodeur de transformateur original réside dans le mécanisme d’attention auto. Dans le cadre du décodeur-seul, l’opération d’attention auto est modifiée pour empêcher le modèle d’attendre les jetons futurs, une propriété connue sous le nom de causalité. Cela est réalisé par une technique appelée “attention auto masquée”, où les scores d’attention correspondant aux positions futures sont définis sur l’infini négatif, les masquant efficacement pendant l’étape de normalisation softmax.
Composants architecturaux des LLMs basés sur le décodeur
Bien que les principes fondamentaux de l’attention auto et de l’attention auto masquée restent les mêmes, les LLMs basés sur le décodeur modernes ont introduit plusieurs innovations architecturales pour améliorer les performances, l’efficacité et les capacités de généralisation. Explorons certains des principaux composants et techniques employés dans les LLMs de pointe.
Représentation d’entrée
Avant de traiter la séquence d’entrée, les LLMs basés sur le décodeur emploient des techniques de tokenisation et d’intégration pour convertir le texte brut en une représentation numérique adaptée au modèle.
intégration vectorielle
Tokenisation : Le processus de tokenisation convertit le texte d’entrée en une séquence de jetons, qui peuvent être des mots, des sous-mots ou même des caractères individuels, en fonction de la stratégie de tokenisation employée. Les techniques de tokenisation populaires pour les LLMs incluent l’encodage de paires de bytes (BPE), SentencePiece et WordPiece. Ces méthodes visent à établir un équilibre entre la taille du vocabulaire et la granularité de la représentation, permettant au modèle de gérer efficacement les mots rares ou hors du vocabulaire.
Intégrations de jetons : Après la tokenisation, chaque jeton est mappé à une représentation vectorielle dense appelée intégration de jeton. Ces intégrations sont apprises pendant le processus d’entraînement et capturent les relations sémantiques et syntaxiques entre les jetons.
Intégrations de position : Les modèles de transformateur traitent l’ensemble de la séquence d’entrée simultanément, sans notion inhérente de position des jetons présente dans les modèles récurrents. Pour incorporer des informations de position, des intégrations de position sont ajoutées aux intégrations de jetons, permettant au modèle de distinguer les jetons en fonction de leur position dans la séquence. Les premiers LLMs utilisaient des intégrations de position fixes basées sur des fonctions sinusoidales, tandis que les modèles plus récents ont exploré des intégrations de position apprises ou des techniques de codage de position alternatives comme les intégrations de position rotatives.
Blocs d’attention multi-tête
Les blocs de construction fondamentaux des LLMs basés sur le décodeur sont les couches d’attention multi-tête, qui effectuent l’opération d’attention auto masquée décrite précédemment. Ces couches sont empilées plusieurs fois, avec chaque couche attendant la sortie de la couche précédente, permettant au modèle de capturer des dépendances et des représentations de plus en plus complexes.
Têtes d’attention : Chaque couche d’attention multi-tête se compose de plusieurs “têtes d’attention“, chacune avec son propre ensemble de projections de requête, de clé et de valeur. Cela permet au modèle d’attendre différents aspects de l’entrée simultanément, capturant des relations et des modèles diversifiés.
Connexions résiduelles et normalisation de couche : Pour faciliter l’entraînement de réseaux profonds et atténuer le problème de gradient disparaissant, les LLMs basés sur le décodeur emploient des connexions résiduelles et des techniques de normalisation de couche. Les connexions résiduelles ajoutent l’entrée d’une couche à sa sortie, permettant aux gradients de s’écouler plus facilement pendant la rétropropagation. La normalisation de couche aide à stabiliser les activations et les gradients, améliorant encore la stabilité et les performances de l’entraînement.
Couches de propagation avant
En plus des couches d’attention multi-tête, les LLMs basés sur le décodeur intègrent des couches de propagation avant, qui appliquent un réseau neuronal de propagation avant simple à chaque position de la séquence. Ces couches introduisent des non-linéarités et permettent au modèle d’apprendre des représentations plus complexes.
Fonctions d’activation : Le choix de la fonction d’activation dans les couches de propagation avant peut avoir un impact significatif sur les performances du modèle. Alors que les premiers LLMs reposaient sur la fonction d’activation ReLU largement utilisée, les modèles plus récents ont adopté des fonctions d’activation plus sophistiquées comme l’unité linéaire de l’erreur gaussienne (GELU) ou l’activation SwiGLU, qui ont montré des améliorations des performances.
Attention éparse et transformateurs efficaces
Bien que le mécanisme d’attention auto soit puissant, il présente une complexité computationnelle quadratique par rapport à la longueur de la séquence, ce qui le rend coûteux en calcul pour les longues séquences. Pour relever ce défi, plusieurs techniques ont été proposées pour réduire les exigences computationnelles et de mémoire de l’attention auto, permettant un traitement efficace de séquences plus longues.
Attention éparse : Les techniques d’attention éparse, telles que celle employée dans le modèle GPT-3, n’attendent qu’un sous-ensemble de positions dans la séquence d’entrée, plutôt que de calculer des scores d’attention pour toutes les positions. Cela peut réduire considérablement la complexité computationnelle tout en maintenant des performances raisonnables.
Attention à fenêtre glissante : Introduite dans le modèle Mistral 7B, l’attention à fenêtre glissante (SWA) est une technique simple mais efficace qui restreint la portée d’attention de chaque jeton à une taille de fenêtre fixe. Cette approche exploite la capacité des couches de transformateur à transmettre des informations à travers plusieurs couches, augmentant efficacement la portée d’attention sans la complexité quadratique de l’attention auto complète.
Cache de tampon de défilement : Pour réduire encore les exigences de mémoire, en particulier pour les longues séquences, le modèle Mistral 7B emploie un cache de tampon de défilement. Cette technique stocke et réutilise les vecteurs de clé et de valeur calculés pour une taille de fenêtre fixe, évitant les calculs redondants et minimisant l’utilisation de la mémoire.
Attention de requête groupée : Introduite dans le modèle LLaMA 2, l’attention de requête groupée (GQA) est une variante du mécanisme d’attention multi-requête qui divise les têtes d’attention en groupes, chacun partageant une matrice de clé et de valeur commune. Cette approche équilibre l’efficacité de l’attention multi-requête et les performances de l’attention auto standard, offrant des temps d’inférence améliorés tout en maintenant des résultats de haute qualité.
Attention de requête groupée
Taille de modèle et mise à l’échelle
L’une des caractéristiques définissantes des LLMs modernes est leur échelle, avec un nombre de paramètres allant de milliards à des centaines de milliards. L’augmentation de la taille du modèle a été un facteur crucial pour atteindre des performances de pointe, car les modèles plus grands peuvent capturer des modèles et des relations plus complexes dans les données.
Nombre de paramètres : Le nombre de paramètres dans un LLM basé sur le décodeur est principalement déterminé par la dimension d’intégration (d_model), le nombre de têtes d’attention (n_heads), le nombre de couches (n_layers) et la taille du vocabulaire (vocab_size). Par exemple, le modèle GPT-3 a 175 milliards de paramètres, avec d_model = 12288, n_heads = 96, n_layers = 96 et vocab_size = 50257.
Parallélisme de modèle : L’entraînement et le déploiement de tels modèles massifs nécessitent des ressources computationnelles et un matériel spécialisés. Pour surmonter ce défi, des techniques de parallélisme de modèle ont été employées, où le modèle est divisé sur plusieurs GPU ou TPU, chaque appareil étant responsable d’une partie des calculs.
Mélange d’experts : Une autre approche pour mettre à l’échelle les LLMs est l’architecture de mélange d’experts (MoE), qui combine plusieurs modèles d’experts, chacun se spécialisant dans un sous-ensemble spécifique des données ou de la tâche. Le modèle Mixtral 8x7B est un exemple de modèle MoE qui utilise le modèle Mistral 7B comme modèle de base, atteignant des performances supérieures tout en maintenant l’efficacité computationnelle.
Inférence et génération de texte
L’une des principales utilisations des LLMs basés sur le décodeur est la génération de texte, où le modèle génère du texte cohérent et ressemblant à celui des humains en fonction d’un prompt ou d’un contexte donné.
Décodage autoregressif : Pendant l’inférence, les LLMs basés sur le décodeur génèrent du texte de manière autoregressive, en prédissant un jeton à la fois en fonction des jetons précédemment générés et du prompt d’entrée. Ce processus se poursuit jusqu’à ce qu’un critère d’arrêt prédéterminé soit atteint, tel qu’atteindre une longueur de séquence maximale ou générer un jeton de fin de séquence.
Stratégies d’échantillonnage : Pour générer du texte diversifié et réaliste, diverses stratégies d’échantillonnage peuvent être employées, telles que l’échantillonnage top-k, l’échantillonnage top-p (également appelé échantillonnage à noyau) ou la mise à l’échelle de la température. Ces techniques contrôlent le compromis entre la diversité et la cohérence du texte généré en ajustant la distribution de probabilité sur le vocabulaire.
Ingénierie de prompt : La qualité et la spécificité du prompt d’entrée peuvent avoir un impact significatif sur le texte généré. L’ingénierie de prompt, l’art de créer des prompts efficaces, est devenue un aspect crucial de l’utilisation des LLMs pour diverses tâches, permettant aux utilisateurs de guider le processus de génération du modèle et d’obtenir des sorties désirées.
Décodage humain dans la boucle : Pour améliorer encore la qualité et la cohérence du texte généré, des techniques telles que l’Apprentissage par renforcement à partir de la rétroaction humaine (RLHF) ont été employées. Dans cette approche, des évaluateurs humains fournissent une rétroaction sur le texte généré par le modèle, qui est ensuite utilisée pour affiner le modèle, l’alignant efficacement sur les préférences humaines et améliorant ses sorties.
Progrès et directions futures
Le domaine des LLMs basés sur le décodeur évolue rapidement, avec de nouvelles recherches et avancées qui continuellement repoussent les limites de ce que ces modèles peuvent accomplir. Voici quelques progrès notables et des directions futures potentielles :
Variants de transformateurs efficaces : Alors que l’attention éparse et l’attention à fenêtre glissante ont réalisé des progrès significatifs dans l’amélioration de l’efficacité des LLMs basés sur le décodeur, les chercheurs explorent activement d’autres architectures de transformateurs et mécanismes d’attention pour réduire encore les exigences computationnelles tout en maintenant ou améliorant les performances.
LLMs multimodaux : En étendant les capacités des LLMs au-delà du texte, les modèles multimodaux visent à intégrer plusieurs modalités, telles que des images, de l’audio ou de la vidéo, dans un cadre unifié. Cela ouvre des possibilités excitantes pour des applications telles que la génération de légendes d’images, la réponse aux questions visuelles et la génération de contenu multimédia.
Génération de texte contrôlée : Permettre un contrôle fin des détails du texte généré est une direction importante mais difficile pour les LLMs. Des techniques comme la génération de texte contrôlée et l’ajustement de prompt visent à fournir aux utilisateurs un contrôle plus granulaire sur divers attributs du texte généré, tels que le style, le ton ou des exigences de contenu spécifiques.
Conclusion
Les LLMs basés sur le décodeur sont devenus une force transformatrice dans le domaine du traitement automatique des langues, repoussant les limites de ce qui est possible en termes de génération et de compréhension du langage. De leurs humbles débuts en tant que variante simplifiée de l’architecture de transformateur, ces modèles ont évolué en systèmes puissants et sophistiqués, exploitant des techniques et des innovations architecturales de pointe.
Alors que nous continuons à explorer et à faire progresser les LLMs basés sur le décodeur, nous pouvons nous attendre à voir encore plus de réalisations remarquables dans les tâches liées au langage, ainsi que l’intégration de ces modèles dans une large gamme d’applications et de domaines. Cependant, il est crucial de répondre aux considérations éthiques, aux défis de compréhension et aux préjugés potentiels qui peuvent surgir de la mise en œuvre généralisée de ces modèles puissants.
En restant à la pointe de la recherche, en favorisant la collaboration ouverte et en maintenant un engagement fort en faveur d’un développement d’IA responsable, nous pouvons débloquer tout le potentiel des LLMs basés sur le décodeur tout en nous assurant qu’ils sont développés et utilisés de manière sûre, éthique et bénéfique pour la société.
