Une centrale électrique de poche : dévoilement du Phi-3 de Microsoft, le modèle de langage qui s'adapte à votre téléphone

Dans le domaine en pleine évolution de l'intelligence artificielle, alors que la tendance penche souvent vers des modèles plus grands et plus complexes, Microsoft adopte une approche différente avec son Phi-3 Mini. Ce petit modèle de langage (SLM), qui en est désormais à sa troisième génération, intègre les capacités robustes des modèles plus grands dans un cadre qui s'adapte aux contraintes strictes de ressources des smartphones. Avec 3.8 milliards de paramètres, le Phi-3 Mini égale les performances du grands modèles de langage (LLM) pour diverses tâches, notamment le traitement du langage, le raisonnement, le codage et les mathématiques, et est conçu pour un fonctionnement efficace sur les appareils mobiles grâce à la quantification.

Défis des grands modèles de langage

Le développement des SLM Phi de Microsoft répond aux défis majeurs posés par les LLM, qui requièrent une puissance de calcul supérieure à celle généralement disponible sur les appareils grand public. Cette forte demande complexifie leur utilisation sur les ordinateurs et appareils mobiles standard, soulève des préoccupations environnementales en raison de leur consommation d'énergie pendant l'apprentissage et le fonctionnement, et risque de perpétuer des biais liés à leurs jeux de données d'apprentissage volumineux et complexes. Ces facteurs peuvent également altérer la réactivité des modèles dans les applications temps réel et compliquer les mises à jour.

Phi-3 Mini : rationaliser l'IA sur les appareils personnels pour une confidentialité et une efficacité améliorées

Construction Phi-3 Mini est stratégiquement conçu pour offrir une alternative rentable et efficace pour intégrer l’IA avancée directement sur des appareils personnels tels que des téléphones et des ordinateurs portables. Cette conception facilite des réponses plus rapides et plus immédiates, améliorant ainsi l'interaction de l'utilisateur avec la technologie dans les scénarios quotidiens.

Phi-3 Mini permet le traitement direct de fonctionnalités d'IA sophistiquées sur les appareils mobiles, réduisant ainsi la dépendance aux services cloud et améliorant le traitement des données en temps réel. Cette fonctionnalité est essentielle pour les applications nécessitant un traitement immédiat des données, telles que la santé mobile, la traduction en temps réel et l'éducation personnalisée, facilitant ainsi les avancées dans ces domaines. La rentabilité du modèle réduit non seulement les coûts opérationnels, mais élargit également le potentiel d'intégration de l'IA dans divers secteurs, y compris les marchés émergents comme les technologies portables et la domotique. Phi-3 Mini permet le traitement des données directement sur les appareils locaux, ce qui renforce la confidentialité des utilisateurs. Cela pourrait s'avérer crucial pour la gestion des informations sensibles dans des domaines tels que la santé personnelle et les services financiers. De plus, les faibles besoins énergétiques du modèle contribuent à des opérations d'IA respectueuses de l'environnement, en phase avec les efforts mondiaux en matière de développement durable.

Philosophie de conception et évolution de Phi

La philosophie de conception de Phi repose sur le concept de apprentissage du curriculum, qui s'inspire de l'approche éducative où les enfants apprennent à travers des exemples de plus en plus difficiles. L'idée principale est de commencer la formation de l'IA avec des exemples plus simples et d'augmenter progressivement la complexité des données de formation à mesure que le processus d'apprentissage progresse. Microsoft a mis en œuvre cette stratégie pédagogique en construisant un ensemble de données à partir de manuels scolaires, comme détaillé dans leur étude »Les manuels sont tout ce dont vous avez besoin.» La série Phi a été lancée en juin 2023, à commencer par le Phi-1, un modèle compact doté de 1.3 milliard de paramètres. Ce modèle a rapidement démontré son efficacité, notamment dans les tâches de codage Python, où il a surpassé les modèles plus grands et plus complexes. Fort de ce succès, Microsoft a récemment développé Phi-1.5, qui a conservé le même nombre de paramètres mais a élargi ses capacités dans des domaines tels que le raisonnement de bon sens et la compréhension du langage. La série a éclipsé avec la sortie de Phi-2 en décembre 2023. Avec 2.7 milliards de paramètres, Phi-2 a démontré des capacités impressionnantes en matière de raisonnement et de compréhension du langage, le positionnant comme un concurrent sérieux face à des modèles nettement plus grands.

Phi-3 par rapport à d'autres petits modèles de langage

S'appuyant sur ses prédécesseurs, le Phi-3 Mini étend les avancées du Phi-2 en surpassant les autres SLM, tels que La Gemma de Google, Mistral de Mistral, Meta's Llama3-Instructbauen GPT 3.5, dans une variété d'applications industrielles. Ces applications incluent la compréhension et l'inférence du langage, les connaissances générales, le raisonnement de bon sens, les problèmes de mots mathématiques à l'école primaire et la réponse aux questions médicales, présentant des performances supérieures par rapport à ces modèles. Le Phi-3 Mini a également subi des tests hors ligne sur un iPhone 14 pour diverses tâches, notamment la création de contenu et la fourniture de suggestions d'activités adaptées à des emplacements spécifiques. A cet effet, le Phi-3 Mini a été condensé à 1.8 Go grâce à un processus appelé quantification, qui optimise le modèle pour les appareils à ressources limitées en convertissant les données numériques du modèle, des nombres à virgule flottante 32 bits vers des formats plus compacts, comme les entiers 4 bits. Cela réduit non seulement l'empreinte mémoire du modèle, mais améliore également la vitesse de traitement et l'efficacité énergétique, essentielles pour les appareils mobiles. Les développeurs utilisent généralement des frameworks tels que TensorFlow Lite or PyTorchMobile, intégrant des outils de quantification intégrés pour automatiser et affiner ce processus.

Comparaison des fonctionnalités : Phi-3 Mini contre Phi-2 Mini

Ci-dessous, nous comparons certaines des fonctionnalités du Phi-3 avec son prédécesseur Phi-2.

• Architecture du modèle: Phi-2 fonctionne sur une architecture basée sur un transformateur conçue pour prédire le mot suivant. Phi-3 Mini utilise également une architecture de décodeur de transformateur mais s'aligne plus étroitement sur la structure du modèle Llama-2, en utilisant le même tokenizer avec une taille de vocabulaire de 320,641 2. Cette compatibilité garantit que les outils développés pour Llama-3 peuvent être facilement adaptés pour être utilisés avec Phi-XNUMX Mini.
• Longueur du contexte: Phi-3 Mini prend en charge une longueur de contexte de 8,000 2 jetons, ce qui est considérablement plus grand que les 2,048 3 jetons de Phi-XNUMX. Cette augmentation permet au Phi-XNUMX Mini de gérer des interactions plus détaillées et de traiter des séquences de texte plus longues.
• Exécution locale sur les appareils mobiles: Phi-3 Mini peut être compressé en 4 bits, occupant environ 1.8 Go de mémoire, similaire au Phi-2. Il a été testé hors ligne sur un iPhone 14 équipé d’une puce A16 Bionic, où il a atteint une vitesse de traitement de plus de 12 jetons par seconde, correspondant aux performances du Phi-2 dans des conditions similaires.
• Taille du modèle: Avec 3.8 milliards de paramètres, Phi-3 Mini a une échelle plus grande que Phi-2, qui possède 2.7 milliards de paramètres. Cela reflète ses capacités accrues.
• Données d'entraînement: Contrairement à Phi-2, qui a été formé sur 1.4 3 milliards de jetons, Phi-3.3 Mini a été formé sur un ensemble beaucoup plus vaste de XNUMX XNUMX milliards de jetons, ce qui lui permet de mieux comprendre les modèles de langage complexes.

Répondre aux limites du Phi-3 Mini

Bien que le Phi-3 Mini démontre des avancées significatives dans le domaine des petits modèles de langage, il n'est pas sans limites. L'une des principales contraintes du Phi-3 Mini, compte tenu de sa taille réduite par rapport aux modèles de langage massifs, est sa capacité limitée à stocker des connaissances factuelles approfondies. Cela peut avoir un impact sur sa capacité à traiter de manière indépendante les requêtes qui nécessitent une profondeur de données factuelles spécifiques ou des connaissances expertes détaillées. Cela peut cependant être atténué en intégrant Phi-3 Mini à un moteur de recherche. De cette façon, le modèle peut accéder à un plus large éventail d’informations en temps réel, compensant ainsi efficacement ses limitations inhérentes en matière de connaissances. Cette intégration permet au Phi-3 Mini de fonctionner comme un interlocuteur hautement compétent qui, malgré une compréhension approfondie de la langue et du contexte, peut occasionnellement avoir besoin de « rechercher » des informations pour fournir des réponses précises et à jour.

Disponibilité

Phi-3 est désormais disponible sur plusieurs plateformes, dont Microsoft Azure IA Studio, Étreindre le visagebauen Ollama. Sur Azure AI, le modèle intègre un workflow de déploiement-évaluation-affinage, et sur Ollama, il peut être exécuté localement sur des ordinateurs portables. Le modèle a été adapté pour Exécution ONNX et soutient Windows DirectML, garantissant son bon fonctionnement sur différents types de matériel tels que les GPU, les CPU et les appareils mobiles. De plus, Phi-3 est proposé sous forme de microservice via NIM NVIDIA, équipé d'une API standard pour un déploiement facile dans différents environnements et optimisé spécifiquement pour les GPU NVIDIA. Microsoft prévoit d'étendre davantage la série Phi-3 dans un avenir proche en ajoutant les modèles Phi-3-small (7B) et Phi-3-medium (14B), offrant ainsi aux utilisateurs des choix supplémentaires pour équilibrer qualité et coût.

En résumé

Le Phi-3 Mini de Microsoft représente une avancée significative dans le domaine de l'intelligence artificielle en adaptant la puissance des grands modèles linguistiques à l'usage mobile. Ce modèle améliore l'interaction utilisateur avec les appareils grâce à un traitement plus rapide en temps réel et à des fonctionnalités de confidentialité renforcées. Il minimise le recours aux services cloud, réduit les coûts opérationnels et élargit le champ des applications de l'IA dans des domaines tels que la santé et la domotique. Axé sur la réduction des biais grâce à l'apprentissage par les programmes et le maintien de performances compétitives, le Phi-3 Mini devient un outil clé pour une IA mobile efficace et durable, transformant subtilement nos interactions quotidiennes avec la technologie.