Pouvoir dans la paume de votre main : Découvrez Microsoft Phi-3, le modèle de langage qui rentre dans votre téléphone

Dans le domaine en constante évolution de l’intelligence artificielle, alors que la tendance a souvent penché vers des modèles plus grands et plus complexes, Microsoft (MSFT ) adopte une approche différente avec son Phi-3 Mini. Ce petit modèle de langage (SLM), maintenant en troisième génération, intègre les capacités robustes des modèles plus grands dans un cadre qui s’inscrit dans les contraintes de ressources strictes des smartphones. Avec 3,8 milliards de paramètres, le Phi-3 Mini équivaut en performance aux grands modèles de langage (LLM) dans diverses tâches, notamment le traitement du langage, le raisonnement, la programmation et les mathématiques, et est conçu pour fonctionner de manière efficace sur les appareils mobiles grâce à la quantification.

Les défis des grands modèles de langage

Le développement des SLM de Microsoft Phi est une réponse aux défis importants posés par les LLM, qui nécessitent plus de puissance de calcul que celle disponible sur les appareils grand public. Cette forte demande complique leur utilisation sur les ordinateurs et les appareils mobiles standards, soulève des préoccupations environnementales en raison de leur consommation d’énergie pendant l’entraînement et le fonctionnement, et risque de perpétuer les biais avec leurs grands et complexes ensembles de données d’entraînement. Ces facteurs peuvent également altérer la réactivité des modèles dans les applications en temps réel et rendre les mises à jour plus difficiles.

Phi-3 Mini : Rationalisation de l’IA sur les appareils personnels pour une meilleure confidentialité et efficacité

Le Phi-3 Mini est conçu stratégiquement pour offrir une alternative rentable et efficace pour intégrer l’IA avancée directement sur les appareils personnels tels que les téléphones et les ordinateurs portables. Cette conception permet des réponses plus rapides et plus immédiates, améliorant l’interaction de l’utilisateur avec la technologie dans les scénarios quotidiens.

Le Phi-3 Mini permet des fonctionnalités IA sophistiquées à être traitées directement sur les appareils mobiles, ce qui réduit la dépendance aux services cloud et améliore le traitement des données en temps réel. Cette capacité est cruciale pour les applications qui nécessitent un traitement de données immédiat, telles que les soins de santé mobiles, la traduction de langage en temps réel et l’éducation personnalisée, facilitant les progrès dans ces domaines. L’efficacité du modèle réduit non seulement les coûts d’exploitation mais élargit également les possibilités d’intégration de l’IA dans diverses industries, y compris les marchés émergents tels que la technologie portable et l’automatisation domestique. Le Phi-3 Mini permet le traitement des données directement sur les appareils locaux, ce qui renforce la confidentialité de l’utilisateur. Cela peut être vital pour la gestion d’informations sensibles dans des domaines tels que la santé personnelle et les services financiers. De plus, les faibles exigences énergétiques du modèle contribuent à des opérations d’IA durablement respectueuses de l’environnement, s’alignant sur les efforts de durabilité mondiaux.

Philosophie de conception et évolution de Phi

La philosophie de conception de Phi repose sur le concept d’apprentissage par curriculum, qui s’inspire de l’approche éducative où les enfants apprennent à travers des exemples de plus en plus complexes. L’idée principale est de commencer l’entraînement de l’IA avec des exemples plus faciles et d’augmenter progressivement la complexité des données d’entraînement à mesure que le processus d’apprentissage progresse. Microsoft a mis en œuvre cette stratégie éducative en construisant un ensemble de données à partir de manuels scolaires, comme détaillé dans leur étude “Les manuels scolaires sont tout ce dont vous avez besoin“. La série Phi a été lancée en juin 2023, commençant par Phi-1, un modèle compact doté de 1,3 milliard de paramètres. Ce modèle a rapidement démontré son efficacité, en particulier dans les tâches de programmation Python, où il a surpassé des modèles plus grands et plus complexes. En s’appuyant sur ce succès, Microsoft a ensuite développé Phi-1.5, qui a maintenu le même nombre de paramètres mais a élargi ses capacités dans des domaines tels que le raisonnement et la compréhension du langage. La série a brillé avec la sortie de Phi-2 en décembre 2023. Avec 2,7 milliards de paramètres, Phi-2 a montré des compétences impressionnantes en raisonnement et compréhension du langage, le positionnant comme un concurrent solide face à des modèles beaucoup plus grands.

Phi-3 vs. les autres petits modèles de langage

En s’appuyant sur ses prédécesseurs, le Phi-3 Mini étend les progrès de Phi-2 en dépassant les autres SLM, tels que Gemma de Google (GOOGL ), Mistral de Mistral, Llama3-Instruct de Meta, et GPT 3.5, dans diverses applications industrielles. Ces applications incluent la compréhension et l’inférence du langage, les connaissances générales, le raisonnement basé sur le bon sens, les problèmes mathématiques de niveau scolaire et la réponse aux questions médicales, montrant une performance supérieure par rapport à ces modèles. Le Phi-3 Mini a également subi des tests hors ligne sur un iPhone 14 pour diverses tâches, notamment la création de contenu et la suggestion d’activités adaptées à des emplacements spécifiques. À cette fin, le Phi-3 Mini a été condensé à 1,8 Go à l’aide d’un processus appelé quantification, qui optimise le modèle pour les appareils à ressources limitées en convertissant les données numériques du modèle de nombres à virgule flottante 32 bits en formats plus compacts tels que des entiers 4 bits. Cela réduit non seulement l’empreinte mémoire du modèle mais améliore également la vitesse de traitement et l’efficacité énergétique, essentielles pour les appareils mobiles. Les développeurs utilisent généralement des frameworks tels que TensorFlow Lite ou PyTorch Mobile, intégrant des outils de quantification pour automatiser et affiner ce processus.

Comparaison des fonctionnalités : Phi-3 Mini vs. Phi-2 Mini

Ci-dessous, nous comparons certaines des fonctionnalités de Phi-3 avec son prédécesseur Phi-2.

• Architecture du modèle: Phi-2 fonctionne sur une architecture basée sur des transformateurs conçue pour prédire le mot suivant. Le Phi-3 Mini emploie également une architecture de décodeur de transformateur mais s’aligne plus étroitement sur la structure du modèle Llama-2, en utilisant le même tokenizer avec une taille de vocabulaire de 320 641. Cette compatibilité garantit que les outils développés pour Llama-2 peuvent être facilement adaptés pour une utilisation avec Phi-3 Mini.
• Longueur du contexte: Le Phi-3 Mini prend en charge une longueur de contexte de 8 000 jetons, nettement plus grande que les 2 048 jetons de Phi-2. Cette augmentation permet au Phi-3 Mini de gérer des interactions plus détaillées et de traiter des séquences de texte plus longues.
• Exécution locale sur les appareils mobiles: Le Phi-3 Mini peut être compressé à 4 bits, occupant environ 1,8 Go de mémoire, similaire à Phi-2. Il a été testé en mode hors ligne sur un iPhone 14 avec un processeur A16 Bionic, où il a atteint une vitesse de traitement de plus de 12 jetons par seconde, égalant les performances de Phi-2 dans des conditions similaires.
• Taille du modèle: Avec 3,8 milliards de paramètres, le Phi-3 Mini a une échelle plus grande que Phi-2, qui compte 2,7 milliards de paramètres. Cela reflète ses capacités accrues.
• Données d’entraînement: Contrairement à Phi-2, qui a été formé sur 1,4 billion de jetons, le Phi-3 Mini a été entraîné sur un ensemble beaucoup plus grand de 3,3 billions de jetons, lui permettant d’atteindre une meilleure compréhension des modèles de langage complexes.

Remédier aux limites du Phi-3 Mini

Bien que le Phi-3 Mini fasse preuve de progrès importants dans le domaine des petits modèles de langage, il n’est pas sans limites. Une contrainte majeure du Phi-3 Mini, compte tenu de sa taille plus petite par rapport aux grands modèles de langage, est sa capacité limitée à stocker des connaissances factuelles étendues. Cela peut affecter sa capacité à gérer de manière indépendante des requêtes nécessitant une grande quantité de données factuelles spécifiques ou une expertise détaillée. Cependant, cela peut être atténué en intégrant le Phi-3 Mini à un moteur de recherche. De cette façon, le modèle peut accéder à une gamme plus large d’informations en temps réel, compensant efficacement ses limites de connaissance inhérentes. Cette intégration permet au Phi-3 Mini de fonctionner comme un conversationaliste très capable qui, malgré une compréhension approfondie du langage et du contexte, peut parfois avoir besoin de “rechercher” des informations pour fournir des réponses précises et à jour.

Disponibilité

Le Phi-3 est désormais disponible sur plusieurs plateformes, notamment Microsoft Azure AI Studio, Hugging Face et Ollama. Sur Azure AI, le modèle intègre un flux de travail de déploiement, d’évaluation et d’affinement, et sur Ollama, il peut être exécuté localement sur les ordinateurs portables. Le modèle a été conçu pour ONNX Runtime et prend en charge Windows DirectML, garantissant qu’il fonctionne bien sur divers types de matériel tels que les GPU, les CPU et les appareils mobiles. De plus, le Phi-3 est proposé en tant que microservice via NVIDIA NIM (NVDA ), équipé d’une API standard pour un déploiement facile dans différents environnements et optimisé spécifiquement pour les GPU NVIDIA. Microsoft prévoit d’étendre la série Phi-3 à l’avenir en ajoutant les modèles Phi-3-small (7B) et Phi-3-medium (14B), offrant aux utilisateurs davantage de choix pour équilibrer la qualité et le coût.

En résumé

Le Phi-3 Mini de Microsoft fait des progrès importants dans le domaine de l’intelligence artificielle en adaptant la puissance des grands modèles de langage pour une utilisation mobile. Ce modèle améliore l’interaction de l’utilisateur avec les appareils grâce à un traitement plus rapide et en temps réel, ainsi qu’à des fonctionnalités de confidentialité améliorées. Il réduit le besoin de services basés sur le cloud, diminuant ainsi les coûts d’exploitation et élargissant les possibilités d’applications d’IA dans des domaines tels que les soins de santé et l’automatisation domestique. En mettant l’accent sur la réduction des biais grâce à l’apprentissage par curriculum et en maintenant des performances compétitives, le Phi-3 Mini évolue en un outil clé pour une IA mobile efficace et durable, transformant subtilement la façon dont nous interagissons avec la technologie au quotidien.