Google présente Gemma 2 : amélioration des performances, de la vitesse et de l’accessibilité pour les développeurs

Google (GOOGL ) a présenté Gemma 2, la dernière version de ses modèles de langage légers open-source, disponibles en 9 milliards (9B) et 27 milliards (27B) de paramètres. Cette nouvelle version promet des performances améliorées et une inférence plus rapide par rapport à son prédécesseur, le modèle Gemma. Gemma 2, dérivé des modèles Gemini de Google, est conçu pour être plus accessible aux chercheurs et aux développeurs, offrant des améliorations substantielles en termes de vitesse et d’efficacité. Contrairement aux modèles multimodaux et multilingues Gemini, Gemma 2 se concentre uniquement sur le traitement du langage. Dans cet article, nous allons examiner les fonctionnalités et les avancées de Gemma 2, en la comparant avec ses prédécesseurs et ses concurrents dans le domaine, en mettant en évidence ses cas d’utilisation et ses défis.

Conception de Gemma 2

Comme son prédécesseur, les modèles Gemma 2 sont basés sur une architecture de transformateur décodeur-seul. La variante 27B est formée sur 13 billions de jetons principalement en anglais, tandis que le modèle 9B utilise 8 billions de jetons, et le modèle 2,6B est formé sur 2 billions de jetons. Ces jetons proviennent de diverses sources, notamment des documents Web, du code et des articles scientifiques. Le modèle utilise le même tokeniseur que Gemma 1 et Gemini, garantissant la cohérence du traitement des données.

Gemma 2 est pré-formé à l’aide d’une méthode appelée distillation de connaissances, où il apprend à partir des probabilités de sortie d’un modèle plus grand et pré-formé. Après la formation initiale, les modèles sont affinés à l’aide d’un processus appelé formation supervisée (SFT) sur un mélange de texte synthétique et de texte généré par l’homme, ainsi que des paires de prompt-réponse en anglais. Ensuite, l’apprentissage par renforcement avec rétroaction humaine (RLHF) est appliqué pour améliorer les performances globales.

Gemma 2 : performances et efficacité améliorées sur divers matériel

Gemma 2 ne dépasse pas seulement les performances de Gemma 1, mais rivalise également avec des modèles deux fois plus grands. Il est conçu pour fonctionner efficacement sur diverses configurations matérielles, notamment les ordinateurs portables, les ordinateurs de bureau, les appareils IoT et les plateformes mobiles. Spécifiquement optimisé pour les GPU et les TPU simples, Gemma 2 améliore l’efficacité de son prédécesseur, en particulier sur les appareils à ressources limitées. Par exemple, le modèle 27B excelle dans l’exécution de l’inférence sur un seul GPU NVIDIA H100 Tensor Core (NVDA ) ou un hôte TPU, ce qui en fait une option rentable pour les développeurs qui ont besoin de hautes performances sans investir lourdement dans le matériel.

En outre, Gemma 2 offre aux développeurs des capacités d’ajustement améliorées sur une large gamme de plateformes et d’outils. Que vous utilisiez des solutions basées sur le cloud comme Google Cloud ou des plateformes populaires comme Axolotl, Gemma 2 fournit des options d’ajustement étendues. L’intégration avec des plateformes telles que Hugging Face, NVIDIA TensorRT-LLM et Google’s JAX et Keras permet aux chercheurs et aux développeurs d’obtenir des performances optimales et un déploiement efficace sur diverses configurations matérielles.

Gemma 2 vs Llama 3 70B

Lorsque l’on compare Gemma 2 à Llama 3 70B, les deux modèles se démarquent dans la catégorie des modèles de langage open-source. Les chercheurs de Google affirment que Gemma 2 27B offre des performances comparables à celles de Llama 3 70B, malgré sa taille plus petite. De plus, Gemma 2 9B surpasse régulièrement Llama 3 8B dans divers benchmarks tels que la compréhension du langage, la programmation et la résolution de problèmes mathématiques.

Un avantage notable de Gemma 2 sur Llama 3 de Meta est sa gestion des langues indiennes. Gemma 2 excelle en raison de son tokeniseur, spécifiquement conçu pour ces langues et comprenant un grand vocabulaire de 256 000 jetons pour capturer les nuances linguistiques. En revanche, Llama 3, bien qu’il prenne en charge de nombreuses langues, a du mal avec la tokenisation des écritures indiennes en raison d’un vocabulaire et de données de formation limités. Cela donne à Gemma 2 un avantage dans les tâches impliquant des langues indiennes, ce qui en fait un meilleur choix pour les développeurs et les chercheurs travaillant dans ces domaines.

Cas d’utilisation

Sur la base des caractéristiques spécifiques du modèle Gemma 2 et de ses performances dans les benchmarks, nous avons identifié des cas d’utilisation pratiques pour le modèle.

• Assistants multilingues : Le tokeniseur spécialisé de Gemma 2 pour diverses langues, en particulier les langues indiennes, en fait un outil efficace pour développer des assistants multilingues adaptés à ces langues. Que vous cherchiez à obtenir des informations en hindi, à créer des matériaux éducatifs en ourdou, à concevoir du contenu marketing en arabe ou à rédiger des articles de recherche en bengali, Gemma 2 permet aux créateurs de disposer d’outils de génération de langage efficaces. Un exemple concret de ce cas d’utilisation est Navarasa, un assistant multilingue basé sur Gemma qui prend en charge neuf langues indiennes. Les utilisateurs peuvent produire facilement du contenu qui résonne avec les publics régionaux tout en respectant les normes et les nuances linguistiques spécifiques.
• Outils éducatifs : Grâce à sa capacité à résoudre des problèmes mathématiques et à comprendre des requêtes linguistiques complexes, Gemma 2 peut être utilisé pour créer des systèmes de tutorat intelligents et des applications éducatives qui offrent des expériences d’apprentissage personnalisées.
• Aide à la programmation et au codage : La compétence de Gemma 2 dans les benchmarks de programmation indique son potentiel en tant qu’outil puissant pour la génération de code, la détection de bogues et les examens de code automatisés. Sa capacité à fonctionner correctement sur des appareils à ressources limitées permet aux développeurs de l’intégrer sans heurt dans leurs environnements de développement.
• Génération assistée par récupération (RAG) : Les solides performances de Gemma 2 sur les benchmarks d’inférence basés sur le texte la rendent bien adapté pour développer des systèmes RAG dans divers domaines. Il prend en charge les applications de soins de santé en synthétisant les informations cliniques, aide les systèmes d’IA juridiques à fournir des conseils juridiques, permet la création de chatbots intelligents pour le support client et facilite la création d’outils éducatifs personnalisés.

Limitations et défis

Bien que Gemma 2 présente des avancées notables, il fait également face à des limitations et des défis principalement liés à la qualité et à la diversité de ses données de formation. Malgré son tokeniseur qui prend en charge diverses langues, Gemma 2 manque de formation spécifique pour les capacités multilingues et nécessite un affinage pour gérer efficacement d’autres langues. Le modèle fonctionne bien avec des invites claires et structurées mais a du mal avec des tâches ouvertes ou complexes et des nuances linguistiques subtiles comme le sarcasme ou les expressions figuratives. Sa précision factuelle n’est pas toujours fiable, pouvant produire des informations obsolètes ou incorrectes, et il peut manquer de raisonnement basé sur le bon sens dans certains contextes. Bien que des efforts aient été faits pour résoudre les hallucinations, en particulier dans des domaines sensibles tels que les soins de santé, il existe toujours un risque de générer des informations incorrectes dans des domaines moins raffinés comme la finance. De plus, malgré les contrôles pour empêcher la génération de contenu contraire à l’éthique comme les discours de haine ou les menaces de cybersécurité, il existe des risques persistants de mauvaise utilisation dans d’autres domaines. Enfin, Gemma 2 est exclusivement basé sur le texte et ne prend pas en charge le traitement de données multimodales.

En résumé

Gemma 2 introduit des avancées notables dans les modèles de langage open-source, améliorant les performances et la vitesse d’inférence par rapport à son prédécesseur. Il est bien adapté pour diverses configurations matérielles, ce qui le rend accessible sans investissements importants dans le matériel. Cependant, des défis persistent dans la gestion de tâches linguistiques nuancées et dans la garantie de l’exactitude dans des scénarios complexes. Bien qu’il soit bénéfique pour des applications comme les conseils juridiques et les outils éducatifs, les développeurs doivent être conscients de ses limitations en termes de capacités multilingues et de problèmes potentiels avec l’exactitude factuelle dans des contextes sensibles. Malgré ces considérations, Gemma 2 demeure une option précieuse pour les développeurs qui recherchent des solutions de traitement de langage fiables.