Présentation de Meta Llama 3 : Un bond en avant dans les modèles de langage à grande échelle

Dans le domaine de l’IA générative, Meta continue de mener avec son engagement en faveur de la disponibilité open source, en distribuant son modèle de langage avancé Meta AI (Llama) à des développeurs et des chercheurs du monde entier. En s’appuyant sur ses initiatives progressives, Meta a récemment introduit la troisième itération de cette série, Llama 3. Cette nouvelle édition améliore considérablement Llama 2, offrant de nombreuses améliorations et établissant des références qui défient les concurrents de l’industrie tels que Google (GOOGL ), Mistral et Anthropic. Cet article explore les avancées significatives de Llama 3 et comment il se compare à son prédécesseur, Llama 2.

La série Llama de Meta : De l’exclusivité à l’accès ouvert et aux performances améliorées

Meta a lancé sa série Llama en 2022 avec le lancement de Llama 1, un modèle confiné à une utilisation non commerciale et accessible uniquement à des institutions de recherche sélectionnées en raison des exigences computationnelles immenses et de la nature propriétaire qui caractérisaient les modèles de langage de pointe à l’époque. En 2023, avec le lancement de Llama 2, Meta AI s’est orienté vers une plus grande ouverture, offrant le modèle gratuitement à la fois pour la recherche et les fins commerciales. Cette démarche visait à démocratiser l’accès aux technologies d’IA générative sophistiquées, permettant à un plus large éventail d’utilisateurs, y compris les startups et les petites équipes de recherche, d’innover et de développer des applications sans les coûts élevés généralement associés aux modèles à grande échelle. En continuant cette tendance vers l’ouverture, Meta a introduit Llama 3, qui se concentre sur l’amélioration des performances des modèles plus petits sur divers benchmarks industriels.

Présentation de Llama 3

Llama 3 est la deuxième génération de modèles de langage à grande échelle open source de Meta, présentant à la fois des modèles pré-entraînés et des modèles affinés par instruction avec 8 milliards et 70 milliards de paramètres. Conformément à ses prédécesseurs, Llama 3 utilise une architecture de transformateur décodeur-seulement et continue la pratique d’un entraînement autoregressif, auto-supervisé pour prédire les tokens suivants dans les séquences de texte. Llama 3 est pré-entraîné sur un jeu de données sept fois plus grand que celui utilisé pour Llama 2, comportant plus de 15 billions de tokens tirés d’un mélange nouvellement curé de données en ligne publiques. Ce vaste jeu de données est traité à l’aide de deux clusters équipés de 24 000 GPU. Pour maintenir la haute qualité de ces données d’entraînement, diverses techniques d’IA axées sur les données ont été employées, notamment des filtres heuristiques et NSFW, une déduplication sémantique et une classification de la qualité du texte. Conçu pour les applications de dialogue, le modèle Instruct de Llama 3 a été considérablement amélioré, incorporant plus de 10 millions d’échantillons de données annotés par des humains et exploitant un mélange sophistiqué de méthodes d’entraînement telles que un affinage supervisé (SFT), un échantillonnage de rejet, une optimisation de politique proximale (PPO) et une optimisation de politique directe (DPO).

Llama 3 vs. Llama 2 : Améliorations clés

Llama 3 apporte plusieurs améliorations par rapport à Llama 2, augmentant considérablement sa fonctionnalité et ses performances :

• Vocabulaire étendu : Llama 3 a augmenté son vocabulaire à 128 256 tokens, contre 32 000 tokens pour Llama 2. Cette amélioration prend en charge une codification de texte plus efficace pour les entrées et les sorties et renforce ses capacités multilingues.
• Longueur de contexte étendue : Les modèles Llama 3 offrent une longueur de contexte de 8 000 tokens, doublant les 4 090 tokens pris en charge par Llama 2. Cette augmentation permet une prise en charge de contenu plus étendue, englobant à la fois les invites de l’utilisateur et les réponses du modèle.
• Données d’entraînement améliorées : Le jeu de données d’entraînement pour Llama 3 est sept fois plus grand que celui de Llama 2, comprenant quatre fois plus de code. Il contient plus de 5 % de données de haute qualité non anglaises, couvrant plus de 30 langues, essentielles pour le support d’applications multilingues. Ces données subissent un contrôle qualité rigoureux à l’aide de techniques avancées telles que des filtres heuristiques et NSFW, une déduplication sémantique et des classificateurs de texte.
• Affinage et évaluation des instructions améliorés : S’écartant de Llama 2, Llama 3 utilise des techniques d’affinage d’instruction avancées, notamment un affinage supervisé (SFT), un échantillonnage de rejet, une optimisation de politique proximale (PPO) et une optimisation de politique directe (DPO). Pour compléter ce processus, un nouveau jeu d’évaluation humaine de haute qualité a été introduit, composé de 1 800 invites couvrant divers cas d’utilisation tels que les conseils, le brainstorming, la classification, la programmation et plus encore, garantissant une évaluation et un affinage complets des capacités du modèle.
• Sécurité avancée de l’IA : Llama 3, comme Llama 2, intègre des mesures de sécurité strictes telles que l’affinage d’instruction et un red teaming complet pour atténuer les risques, en particulier dans des domaines critiques tels que la cybersécurité et les menaces biologiques. Pour soutenir ces efforts, Meta a également introduit Llama Guard 2, affiné sur la version 8 milliards de Llama 3. Ce nouveau modèle améliore la série Llama Guard en classifiant les entrées et les réponses des LLM pour identifier le contenu potentiellement dangereux, le rendant idéal pour les environnements de production.

Disponibilité de Llama 3

Les modèles Llama 3 sont maintenant intégrés à l’écosystème Hugging Face, améliorant l’accessibilité pour les développeurs. Les modèles sont également disponibles via des plateformes de modèle en tant que service telles que Perplexity Labs et Fireworks.ai, et sur des plateformes cloud telles que AWS SageMaker, Azure ML et Vertex AI. Meta prévoit d’élargir encore la disponibilité de Llama 3, y compris sur des plateformes telles que Google Cloud, Kaggle, IBM WatsonX, NVIDIA NIM et Snowflake. De plus, le support matériel pour Llama 3 sera étendu pour inclure des plateformes d’AMD, AWS, Dell, Intel (INTC ), NVIDIA et Qualcomm.

Améliorations à venir dans Llama 3

Meta a révélé que la version actuelle de Llama 3 n’est que la première phase de leur vision plus large pour la version complète de Llama 3. Ils développent un modèle avancé avec plus de 400 milliards de paramètres qui introduira de nouvelles fonctionnalités, notamment la multimodalité et la capacité de gérer plusieurs langues. Cette version améliorée présentera également une fenêtre de contexte significativement étendue et des capacités de performance globale améliorées.

En résumé

Llama 3 de Meta marque une évolution significative dans le paysage des modèles de langage à grande échelle, propulsant la série non seulement vers une plus grande accessibilité open source mais également en améliorant considérablement ses capacités de performance. Avec un jeu de données d’entraînement sept fois plus grand que son prédécesseur et des fonctionnalités telles qu’un vocabulaire étendu et une longueur de contexte accrue, Llama 3 établit de nouvelles références qui défient même les concurrents les plus forts de l’industrie.

Cette troisième itération ne continue pas seulement à démocratiser la technologie d’IA en rendant des capacités de haut niveau accessibles à un spectre plus large de développeurs, mais introduit également des avancées significatives en termes de sécurité et de précision de l’entraînement. En intégrant ces modèles dans des plateformes comme Hugging Face et en étendant la disponibilité via des services cloud majeurs, Meta s’assure que Llama 3 est à la fois omniprésent et puissant.

En regardant vers l’avenir, les développements en cours de Meta promettent des capacités encore plus robustes, notamment la multimodalité et le support étendu des langues, ce qui prépare le terrain pour que Llama 3 ne soit pas seulement en concurrence avec d’autres modèles d’IA majeurs sur le marché, mais les dépasse potentiellement. Llama 3 est un témoignage de l’engagement de Meta à diriger la révolution de l’IA, en fournissant des outils qui ne sont pas seulement plus accessibles mais également considérablement plus avancés et plus sûrs pour une base d’utilisateurs mondiale.