Surperformance des grands modèles de langage avec la prédiction multi-jeton

Les grands modèles de langage (LLM) comme GPT, LLaMA, et d’autres ont pris le monde d’assaut avec leur capacité remarquable à comprendre et générer du texte similaire à celui des humains. Cependant, malgré leurs capacités impressionnantes, la méthode standard de formation de ces modèles, connue sous le nom de “prédiction du prochain jeton”, présente certaines limites inhérentes.

Dans la prédiction du prochain jeton, le modèle est formé pour prédire le prochain mot dans une séquence donnée les mots précédents. Bien que cette approche ait prouvé son efficacité, elle peut entraîner des modèles qui ont du mal avec les dépendances à long terme et les tâches de raisonnement complexes. De plus, la discordance entre le régime de formation (forcing de l’enseignant) et le processus de génération autoregressive pendant l’inférence peut entraîner des performances sous-optimales.

Un article de recherche récent de Gloeckle et al. (2024) de Meta AI présente un nouveau paradigme de formation appelé “prédiction multi-jeton” qui vise à résoudre ces limites et à améliorer les performances des grands modèles de langage. Dans cet article de blog, nous allons plonger dans les concepts fondamentaux, les détails techniques et les implications potentielles de cette recherche innovante.

Qu’est-ce que la prédiction multi-jeton ?

L’idée clé derrière la prédiction multi-jeton est de former les modèles de langage pour prédire plusieurs jetons futurs simultanément, plutôt que de prédire seulement le prochain jeton. Plus précisément, pendant la formation, le modèle est chargé de prédire les n prochains jetons à chaque position dans le corpus de formation, en utilisant n têtes de sortie indépendantes qui fonctionnent sur un tronc de modèle partagé.

Par exemple, avec une configuration de prédiction de 4 jetons, le modèle serait formé pour prédire les 4 prochains jetons à la fois, étant donné le contexte précédent. Cette approche encourage le modèle à capturer des dépendances à plus long terme et à développer une meilleure compréhension de la structure globale et de la cohérence du texte.

Un exemple simple

Pour mieux comprendre le concept de prédiction multi-jeton, considérons un exemple simple. Supposons que nous ayons la phrase suivante :

“Le rapide renard brun saute par-dessus le chien paresseux.”

Dans l’approche standard de prédiction du prochain jeton, le modèle serait formé pour prédire le prochain mot étant donné le contexte précédent. Par exemple, étant donné le contexte “Le rapide renard brun saute par-dessus le”, le modèle serait chargé de prédire le prochain mot, “chien”.

Avec la prédiction multi-jeton, cependant, le modèle serait formé pour prédire plusieurs jetons futurs à la fois. Par exemple, si nous définissons n=4, le modèle serait formé pour prédire les 4 prochains jetons simultanément. Étant donné le même contexte “Le rapide renard brun saute par-dessus le”, le modèle serait chargé de prédire la séquence “chien paresseux “. (Notez l’espace après “paresseux” pour indiquer la fin de la phrase).

En formant le modèle pour prédire plusieurs jetons futurs à la fois, il est encouragé à capturer des dépendances à long terme et à développer une meilleure compréhension de la structure globale et de la cohérence du texte.

Détails techniques

Les auteurs proposent une architecture simple mais efficace pour mettre en œuvre la prédiction multi-jeton. Le modèle se compose d’un tronc de transformateur partagé qui produit une représentation latente du contexte d’entrée, suivi de n couches de transformateur indépendantes (têtes de sortie) qui prédissent les jetons futurs respectifs.

Pendant la formation, les passes avant et arrière sont soigneusement orchestrées pour minimiser l’utilisation de la mémoire GPU. Le tronc partagé calcule la représentation latente, puis chaque tête de sortie effectue séquentiellement sa passe avant et arrière, accumulant les gradients au niveau du tronc. Cette approche évite de matérialiser tous les vecteurs de logits et leurs gradients simultanément, réduisant l’utilisation de mémoire GPU de pointe de O(nV + d) à O(V + d), où V est la taille du vocabulaire et d est la dimension de la représentation latente.

La mise en œuvre efficace en termes de mémoire

L’un des défis de la formation des prédicteurs multi-jeton est de réduire leur utilisation de la mémoire GPU. Puisque la taille du vocabulaire (V) est généralement beaucoup plus grande que la dimension de la représentation latente (d), les vecteurs de logits deviennent le goulet d’étranglement de l’utilisation de la mémoire GPU.

Pour relever ce défi, les auteurs proposent une mise en œuvre efficace en termes de mémoire qui adapte soigneusement la séquence des opérations avant et arrière. Au lieu de matérialiser tous les logits et leurs gradients simultanément, la mise en œuvre calcule séquentiellement les passes avant et arrière pour chaque tête de sortie indépendante, accumulant les gradients au niveau du tronc.

Cette approche évite de stocker tous les vecteurs de logits et leurs gradients en mémoire simultanément, réduisant l’utilisation de mémoire GPU de pointe de O(nV + d) à O(V + d), où n est le nombre de jetons futurs prédits.

Avantages de la prédiction multi-jeton

L’article de recherche présente plusieurs avantages convaincants de l’utilisation de la prédiction multi-jeton pour la formation des grands modèles de langage :

1. Amélioration de l’efficacité des échantillons : En encourageant le modèle à prédire plusieurs jetons futurs à la fois, la prédiction multi-jeton améliore l’efficacité des échantillons. Les auteurs démontrent des améliorations significatives des performances sur les tâches de compréhension et de génération de code, avec des modèles jusqu’à 13B de paramètres qui résolvent environ 15% plus de problèmes en moyenne.
2. Inférence plus rapide : Les têtes de sortie supplémentaires formées avec la prédiction multi-jeton peuvent être utilisées pour la décodage spéculatif auto, une variante de la décodage spéculatif qui permet la prédiction parallèle de jetons. Cela entraîne des temps d’inférence jusqu’à 3 fois plus rapides sur une large gamme de tailles de lots, même pour les grands modèles.
3. Promotion des dépendances à long terme : La prédiction multi-jeton encourage le modèle à capturer des dépendances à plus long terme et des modèles dans les données, ce qui est particulièrement bénéfique pour les tâches qui nécessitent une compréhension et un raisonnement sur des contextes plus larges.
4. Raisonnement algorithmique : Les auteurs présentent des expériences sur des tâches synthétiques qui démontrent la supériorité de la prédiction multi-jeton dans le développement de têtes d’induction et de capacités de raisonnement algorithmique, en particulier pour les tailles de modèles plus petites.
5. Cohérence et consistance : En formant le modèle pour prédire plusieurs jetons futurs simultanément, la prédiction multi-jeton encourage le développement de représentations cohérentes et consistantes. Cela est particulièrement bénéfique pour les tâches qui nécessitent la génération de texte plus long et plus cohérent, telles que la création d’histoires, la rédaction créative ou la génération de manuels instructifs.
6. Amélioration de la généralisation : Les expériences des auteurs sur des tâches synthétiques suggèrent que les modèles de prédiction multi-jeton présentent de meilleures capacités de généralisation, en particulier dans les scénarios hors distribution. Cela est potentiellement dû à la capacité du modèle à capturer des modèles et des dépendances à plus long terme, ce qui peut l’aider à extrapoler plus efficacement à des scénarios inconnus.

Exemples et intuitions

Pour fournir plus d’intuitions sur pourquoi la prédiction multi-jeton fonctionne si bien, considérons quelques exemples :

1. Génération de code : Dans le contexte de la génération de code, prédire plusieurs jetons simultanément peut aider le modèle à comprendre et à générer des structures de code plus complexes. Par exemple, lors de la génération d’une définition de fonction, prédire juste le prochain jeton peut ne pas fournir suffisamment de contexte pour que le modèle génère correctement la signature de la fonction. Cependant, en prédissant plusieurs jetons à la fois, le modèle peut mieux capturer les dépendances entre le nom de la fonction, les paramètres et le type de retour, ce qui conduit à une génération de code plus précise et plus cohérente.
2. Raisonnement en langage naturel : Considérons un scénario où un modèle de langage est chargé de répondre à une question qui nécessite un raisonnement sur plusieurs étapes ou pièces d’information. En prédissant plusieurs jetons simultanément, le modèle peut mieux capturer les dépendances entre les différents composants du processus de raisonnement, ce qui conduit à des réponses plus cohérentes et plus précises.
3. Génération de texte à long terme : Lors de la génération de texte à long terme, tels que des histoires, des articles ou des rapports, maintenir la cohérence et la consistance sur une période prolongée peut être difficile pour les modèles de langage formés avec la prédiction du prochain jeton. La prédiction multi-jeton encourage le modèle à développer des représentations qui capturent la structure globale et le flux du texte, ce qui peut conduire à des générations à long terme plus cohérentes.

Limitations et directions futures

Bien que les résultats présentés dans l’article soient impressionnants, il existe quelques limitations et questions ouvertes qui nécessitent une investigation plus approfondie :

1. Nombre optimal de jetons : L’article explore différentes valeurs de n (le nombre de jetons futurs à prédire) et constate que n=4 fonctionne bien pour de nombreuses tâches. Cependant, la valeur optimale de n peut dépendre de la tâche spécifique, de l’ensemble de données et de la taille du modèle. Développer des méthodes pour déterminer la valeur optimale de n pourrait conduire à des améliorations de performances supplémentaires.
2. Taille du vocabulaire et tokenisation : Les auteurs notent que la taille du vocabulaire et la stratégie de tokenisation optimales pour les modèles de prédiction multi-jeton peuvent différer de celles utilisées pour les modèles de prédiction du prochain jeton. Explorer cet aspect pourrait conduire à de meilleurs compromis entre la longueur de la séquence compressée et l’efficacité computationnelle.
3. Pertes de prédiction auxiliaires : Les auteurs suggèrent que leur travail pourrait susciter un intérêt pour le développement de nouvelles pertes de prédiction auxiliaires pour les grands modèles de langage, au-delà de la prédiction du prochain jeton standard. Investiguer des pertes auxiliaires alternatives et leurs combinaisons avec la prédiction multi-jeton est une direction de recherche excitante.
4. Compréhension théorique : Bien que l’article fournisse certaines intuitions et preuves empiriques de l’efficacité de la prédiction multi-jeton, une compréhension théorique plus approfondie de pourquoi et comment cette approche fonctionne si bien serait précieuse.

Conclusion

L’article de recherche “Meilleurs et plus rapides grands modèles de langage via la prédiction multi-jeton” de Gloeckle et al. présente un nouveau paradigme de formation qui a le potentiel d’améliorer considérablement les performances et les capacités des grands modèles de langage. En formant les modèles pour prédire plusieurs jetons futurs simultanément, la prédiction multi-jeton encourage le développement de dépendances à long terme, de capacités de raisonnement algorithmique et d’une meilleure efficacité des échantillons.

La mise en œuvre technique proposée par les auteurs est élégante et efficace en termes de calcul, ce qui la rend applicable à la formation de grands modèles de langage. De plus, la capacité à utiliser la décodage spéculatif auto pour une inférence plus rapide est un avantage pratique significatif.

Bien qu’il existe encore des questions ouvertes et des domaines à explorer, cette recherche représente un pas excitant en avant dans le domaine des grands modèles de langage. Alors que la demande de modèles de langage plus capables et plus efficaces continue de croître, la prédiction multi-jeton pourrait devenir un élément clé des prochaines générations de ces systèmes d’IA puissants.