Une centrale électrique de poche : dévoilement du Phi-3 de Microsoft, le modèle de langage qui s'adapte à votre téléphone

Dans le domaine en pleine évolution de l'intelligence artificielle, alors que la tendance penche souvent vers des modèles plus grands et plus complexes, Microsoft adopte une approche différente avec son Phi-3 Mini. Ce petit modèle de langage (SLM), qui en est désormais à sa troisième génération, intègre les capacités robustes des modèles plus grands dans un cadre qui s'adapte aux contraintes strictes de ressources des smartphones. Avec 3.8 milliards de paramètres, le Phi-3 Mini égale les performances du grands modèles de langage (LLM) pour diverses tâches, notamment le traitement du langage, le raisonnement, le codage et les mathématiques, et est conçu pour un fonctionnement efficace sur les appareils mobiles grâce à la quantification.

Défis des grands modèles de langage

Le développement des Phi SLM de Microsoft répond aux défis importants posés par les LLM, qui nécessitent plus de puissance de calcul que celle généralement disponible sur les appareils grand public. Cette forte demande complique leur utilisation sur des ordinateurs et des appareils mobiles standards, soulève des préoccupations environnementales en raison de leur consommation d'énergie pendant la formation et le fonctionnement, et risque de perpétuer les préjugés avec leurs ensembles de données de formation vastes et complexes. Ces facteurs peuvent également nuire à la réactivité des modèles dans les applications en temps réel et rendre les mises à jour plus difficiles.

Phi-3 Mini : rationaliser l'IA sur les appareils personnels pour une confidentialité et une efficacité améliorées

La Phi-3 Mini est stratégiquement conçu pour offrir une alternative rentable et efficace pour intégrer l’IA avancée directement sur des appareils personnels tels que des téléphones et des ordinateurs portables. Cette conception facilite des réponses plus rapides et plus immédiates, améliorant ainsi l'interaction de l'utilisateur avec la technologie dans les scénarios quotidiens.

Phi-3 Mini permet de traiter directement des fonctionnalités d'IA sophistiquées sur les appareils mobiles, ce qui réduit la dépendance aux services cloud et améliore la gestion des données en temps réel. Cette capacité est essentielle pour les applications qui nécessitent un traitement immédiat des données, telles que les soins de santé mobiles, la traduction linguistique en temps réel et l'éducation personnalisée, facilitant ainsi les progrès dans ces domaines. La rentabilité du modèle réduit non seulement les coûts opérationnels, mais élargit également le potentiel d'intégration de l'IA dans divers secteurs, y compris les marchés émergents comme la technologie portable et la domotique. Phi-3 Mini permet le traitement des données directement sur les appareils locaux, ce qui renforce la confidentialité des utilisateurs. Cela pourrait être vital pour gérer des informations sensibles dans des domaines tels que la santé personnelle et les services financiers. De plus, les faibles besoins énergétiques du modèle contribuent à des opérations d’IA respectueuses de l’environnement, s’alignant sur les efforts mondiaux de développement durable.

Philosophie de conception et évolution de Phi

La philosophie de conception de Phi repose sur le concept de apprentissage du curriculum, qui s'inspire de l'approche éducative où les enfants apprennent à travers des exemples de plus en plus difficiles. L'idée principale est de commencer la formation de l'IA avec des exemples plus simples et d'augmenter progressivement la complexité des données de formation à mesure que le processus d'apprentissage progresse. Microsoft a mis en œuvre cette stratégie pédagogique en construisant un ensemble de données à partir de manuels scolaires, comme détaillé dans leur étude »Les manuels sont tout ce dont vous avez besoin.» La série Phi a été lancée en juin 2023, à commencer par le Phi-1, un modèle compact doté de 1.3 milliard de paramètres. Ce modèle a rapidement démontré son efficacité, notamment dans les tâches de codage Python, où il a surpassé les modèles plus grands et plus complexes. Fort de ce succès, Microsoft a récemment développé Phi-1.5, qui a conservé le même nombre de paramètres mais a élargi ses capacités dans des domaines tels que le raisonnement de bon sens et la compréhension du langage. La série a éclipsé avec la sortie de Phi-2 en décembre 2023. Avec 2.7 milliards de paramètres, Phi-2 a démontré des capacités impressionnantes en matière de raisonnement et de compréhension du langage, le positionnant comme un concurrent sérieux face à des modèles nettement plus grands.

Phi-3 par rapport à d'autres petits modèles de langage

S'appuyant sur ses prédécesseurs, le Phi-3 Mini étend les avancées du Phi-2 en surpassant les autres SLM, tels que Gemma de Google, Le mistral de Mistral, Llama3-Instruct de Metaet une GPT 3.5, dans une variété d'applications industrielles. Ces applications incluent la compréhension et l'inférence du langage, les connaissances générales, le raisonnement de bon sens, les problèmes de mots mathématiques à l'école primaire et la réponse aux questions médicales, présentant des performances supérieures par rapport à ces modèles. Le Phi-3 Mini a également subi des tests hors ligne sur un iPhone 14 pour diverses tâches, notamment la création de contenu et la fourniture de suggestions d'activités adaptées à des emplacements spécifiques. A cet effet, le Phi-3 Mini a été condensé à 1.8 Go grâce à un processus appelé quantification, qui optimise le modèle pour les appareils à ressources limitées en convertissant les données numériques du modèle à partir de nombres à virgule flottante de 32 bits vers des formats plus compacts comme des entiers de 4 bits. Cela réduit non seulement l'empreinte mémoire du modèle, mais améliore également la vitesse de traitement et l'efficacité énergétique, ce qui est vital pour les appareils mobiles. Les développeurs utilisent généralement des frameworks tels que TensorFlow Lite or PyTorchMobile, intégrant des outils de quantification intégrés pour automatiser et affiner ce processus.

Comparaison des fonctionnalités : Phi-3 Mini contre Phi-2 Mini

Ci-dessous, nous comparons certaines des fonctionnalités du Phi-3 avec son prédécesseur Phi-2.

• Architecture du modèle: Phi-2 fonctionne sur une architecture basée sur un transformateur conçue pour prédire le mot suivant. Phi-3 Mini utilise également une architecture de décodeur de transformateur mais s'aligne plus étroitement sur la structure du modèle Llama-2, en utilisant le même tokenizer avec une taille de vocabulaire de 320,641 2. Cette compatibilité garantit que les outils développés pour Llama-3 peuvent être facilement adaptés pour être utilisés avec Phi-XNUMX Mini.
• Longueur du contexte: Phi-3 Mini prend en charge une longueur de contexte de 8,000 2 jetons, ce qui est considérablement plus grand que les 2,048 3 jetons de Phi-XNUMX. Cette augmentation permet au Phi-XNUMX Mini de gérer des interactions plus détaillées et de traiter des séquences de texte plus longues.
• Exécution locale sur les appareils mobiles: Phi-3 Mini peut être compressé en 4 bits, occupant environ 1.8 Go de mémoire, similaire au Phi-2. Il a été testé hors ligne sur un iPhone 14 équipé d’une puce A16 Bionic, où il a atteint une vitesse de traitement de plus de 12 jetons par seconde, correspondant aux performances du Phi-2 dans des conditions similaires.
• Taille du modèle: Avec 3.8 milliards de paramètres, Phi-3 Mini a une échelle plus grande que Phi-2, qui possède 2.7 milliards de paramètres. Cela reflète ses capacités accrues.
• Données d'entraînement: Contrairement à Phi-2, qui a été formé sur 1.4 3 milliards de jetons, Phi-3.3 Mini a été formé sur un ensemble beaucoup plus vaste de XNUMX XNUMX milliards de jetons, ce qui lui permet de mieux comprendre les modèles de langage complexes.

Répondre aux limites du Phi-3 Mini

Bien que le Phi-3 Mini démontre des avancées significatives dans le domaine des petits modèles de langage, il n'est pas sans limites. L'une des principales contraintes du Phi-3 Mini, compte tenu de sa taille réduite par rapport aux modèles de langage massifs, est sa capacité limitée à stocker des connaissances factuelles approfondies. Cela peut avoir un impact sur sa capacité à traiter de manière indépendante les requêtes qui nécessitent une profondeur de données factuelles spécifiques ou des connaissances expertes détaillées. Cela peut cependant être atténué en intégrant Phi-3 Mini à un moteur de recherche. De cette façon, le modèle peut accéder à un plus large éventail d’informations en temps réel, compensant ainsi efficacement ses limitations inhérentes en matière de connaissances. Cette intégration permet au Phi-3 Mini de fonctionner comme un interlocuteur hautement compétent qui, malgré une compréhension approfondie de la langue et du contexte, peut occasionnellement avoir besoin de « rechercher » des informations pour fournir des réponses précises et à jour.

Disponibilité

Phi-3 est désormais disponible sur plusieurs plateformes, dont Microsoft Azure IA Studio, Étreindre le visageet une Ollama. Sur Azure AI, le modèle intègre un workflow de déploiement-évaluation-affinage, et sur Ollama, il peut être exécuté localement sur des ordinateurs portables. Le modèle a été adapté pour Exécution ONNX et soutient Windows DirectML, garantissant son bon fonctionnement sur différents types de matériel tels que les GPU, les CPU et les appareils mobiles. De plus, Phi-3 est proposé sous forme de microservice via NIM NVIDIA, équipé d'une API standard pour un déploiement facile dans différents environnements et optimisé spécifiquement pour les GPU NVIDIA. Microsoft prévoit d'étendre davantage la série Phi-3 dans un avenir proche en ajoutant les modèles Phi-3-small (7B) et Phi-3-medium (14B), offrant ainsi aux utilisateurs des choix supplémentaires pour équilibrer qualité et coût.

Conclusion

Le Phi-3 Mini de Microsoft fait des progrès significatifs dans le domaine de l'intelligence artificielle en adaptant la puissance des grands modèles de langage à une utilisation mobile. Ce modèle améliore l'interaction des utilisateurs avec les appareils grâce à un traitement plus rapide en temps réel et à des fonctionnalités de confidentialité améliorées. Il minimise le besoin de services basés sur le cloud, réduisant ainsi les coûts opérationnels et élargissant la portée des applications d'IA dans des domaines tels que les soins de santé et la domotique. En mettant l’accent sur la réduction des préjugés grâce à l’apprentissage du programme et au maintien de performances compétitives, le Phi-3 Mini évolue vers un outil clé pour une IA mobile efficace et durable, transformant subtilement la façon dont nous interagissons quotidiennement avec la technologie.