Pouvoir Compact : Découvrez Microsoft’s Phi-3, le Modèle de Langage qui Rentre dans Votre Téléphone

Dans le domaine en constante évolution de l’intelligence artificielle, tandis que la tendance a souvent penché vers des modèles plus grands et plus complexes, Microsoft adopte une approche différente avec son Phi-3 Mini. Ce petit modèle de langage (SLM), maintenant en troisième génération, regroupe les capacités robustes des modèles plus grands dans un cadre qui s’adapte aux contraintes de ressources strictes des smartphones. Avec 3,8 milliards de paramètres, le Phi-3 Mini égale les performances des grands modèles de langage (LLM) sur diverses tâches, notamment le traitement du langage, le raisonnement, la programmation et les mathématiques, et est conçu pour une exploitation efficace sur les appareils mobiles grâce à la quantification.

Les Défis des Grands Modèles de Langage

Le développement des SLM de Microsoft est une réponse aux défis importants posés par les LLM, qui nécessitent plus de puissance de calcul que celle disponible sur les appareils grand public. Cette forte demande complique leur utilisation sur les ordinateurs standards et les appareils mobiles, soulève des préoccupations environnementales en raison de leur consommation d’énergie pendant la formation et l’exploitation, et risque de perpétuer les biais avec leurs grands et complexes ensembles de données de formation. Ces facteurs peuvent également altérer la réactivité des modèles dans les applications en temps réel et rendre les mises à jour plus difficiles.

Phi-3 Mini : Rationalisation de l’IA sur les Appareils Personnels pour une Meilleure Confidentialité et Efficacité

Le Phi-3 Mini est conçu stratégiquement pour offrir une alternative rentable et efficace pour intégrer l’IA avancée directement sur les appareils personnels tels que les téléphones et les ordinateurs portables. Cette conception permet des réponses plus rapides et plus immédiates, améliorant l’interaction de l’utilisateur avec la technologie dans les scénarios de la vie quotidienne.

Le Phi-3 Mini permet des fonctionnalités IA sophistiquées à être traitées directement sur les appareils mobiles, ce qui réduit la dépendance aux services cloud et améliore la gestion des données en temps réel. Cette capacité est cruciale pour les applications qui nécessitent un traitement de données immédiat, telles que les soins de santé mobiles, la traduction en temps réel et l’éducation personnalisée, facilitant les progrès dans ces domaines. L’efficacité du modèle ne réduit pas seulement les coûts d’exploitation mais élargit également les possibilités d’intégration de l’IA dans diverses industries, notamment les marchés émergents tels que la technologie portable et l’automatisation domestique. Le Phi-3 Mini permet le traitement des données directement sur les appareils locaux, ce qui renforce la confidentialité de l’utilisateur. Cela peut être vital pour la gestion d’informations sensibles dans des domaines tels que la santé personnelle et les services financiers. De plus, les faibles exigences énergétiques du modèle contribuent à des opérations d’IA respectueuses de l’environnement, s’alignant sur les efforts de durabilité mondiaux.

Philosophie de Conception et Évolution de Phi

La philosophie de conception de Phi repose sur le concept d’apprentissage par curriculum, qui s’inspire de l’approche éducative où les enfants apprennent à travers des exemples de plus en plus difficiles. L’idée principale est de commencer la formation de l’IA avec des exemples plus faciles et d’augmenter progressivement la complexité des données de formation à mesure que le processus d’apprentissage progresse. Microsoft a mis en œuvre cette stratégie éducative en créant un ensemble de données à partir de manuels scolaires, comme détaillé dans leur étude “Textbooks Are All You Need.” La série Phi a été lancée en juin 2023, commençant par Phi-1, un modèle compact doté de 1,3 milliard de paramètres. Ce modèle a rapidement démontré son efficacité, notamment dans les tâches de programmation Python, où il a surpassé des modèles plus grands et plus complexes. En s’appuyant sur ce succès, Microsoft a ensuite développé Phi-1.5, qui a maintenu le même nombre de paramètres mais a élargi ses capacités dans des domaines tels que le raisonnement et la compréhension du langage. La série a brillé avec la sortie de Phi-2 en décembre 2023. Avec 2,7 milliards de paramètres, Phi-2 a présenté des compétences impressionnantes en raisonnement et en compréhension du langage, le positionnant comme un concurrent solide face à des modèles nettement plus grands.

Phi-3 vs. Autres Petits Modèles de Langage

En s’appuyant sur ses prédécesseurs, le Phi-3 Mini prolonge les progrès de Phi-2 en surpassant d’autres SLM, tels que Gemma de Google, Mistral de Mistral, Llama3-Instruct de Meta, et GPT 3.5, dans une variété d’applications industrielles. Ces applications incluent la compréhension et l’inférence du langage, les connaissances générales, le raisonnement basé sur le bon sens, les problèmes de mathématiques à l’école primaire et la réponse aux questions médicales, présentant des performances supérieures par rapport à ces modèles. Le Phi-3 Mini a également subi des tests hors ligne sur un iPhone 14 pour diverses tâches, notamment la création de contenu et la suggestion d’activités adaptées à des emplacements spécifiques. À cette fin, le Phi-3 Mini a été condensé à 1,8 Go à l’aide d’un processus appelé quantification, qui optimise le modèle pour les appareils à ressources limitées en convertissant les données numériques du modèle de nombres à virgule flottante 32 bits en formats plus compacts tels que des entiers 4 bits. Cela réduit non seulement l’empreinte mémoire du modèle mais améliore également la vitesse de traitement et l’efficacité énergétique, essentielles pour les appareils mobiles. Les développeurs utilisent généralement des cadres tels que TensorFlow Lite ou PyTorch Mobile, intégrant des outils de quantification pour automatiser et affiner ce processus.

Comparaison des Fonctionnalités : Phi-3 Mini vs. Phi-2 Mini

Ci-dessous, nous comparons certaines des fonctionnalités de Phi-3 avec son prédécesseur Phi-2.

• Architecture du Modèle : Phi-2 fonctionne sur une architecture basée sur des transformateurs conçue pour prédire le mot suivant. Le Phi-3 Mini emploie également une architecture de décodeur de transformateur mais s’aligne plus étroitement sur la structure du modèle Llama-2, en utilisant le même tokenizer avec une taille de vocabulaire de 320 641. Cette compatibilité garantit que les outils développés pour Llama-2 peuvent être facilement adaptés pour une utilisation avec Phi-3 Mini.
• Longueur de Contexte : Le Phi-3 Mini prend en charge une longueur de contexte de 8 000 jetons, ce qui est considérablement plus grand que les 2 048 jetons de Phi-2. Cette augmentation permet au Phi-3 Mini de gérer des interactions plus détaillées et de traiter des séquences de texte plus longues.
• Exécution Locale sur les Appareils Mobiles : Le Phi-3 Mini peut être compressé à 4 bits, occupant environ 1,8 Go de mémoire, similaire à Phi-2. Il a été testé en exécution hors ligne sur un iPhone 14 avec un processeur A16 Bionic, où il a atteint une vitesse de traitement de plus de 12 jetons par seconde, égalant les performances de Phi-2 dans des conditions similaires.
• Taille du Modèle : Avec 3,8 milliards de paramètres, le Phi-3 Mini a une échelle plus grande que Phi-2, qui compte 2,7 milliards de paramètres. Cela reflète ses capacités accrues.
• Données de Formation : Contrairement à Phi-2, qui a été formé sur 1,4 billion de jetons, le Phi-3 Mini a été formé sur un ensemble beaucoup plus grand de 3,3 billions de jetons, lui permettant d’acquérir une meilleure compréhension des modèles de langage complexes.

Remédier aux Limitations du Phi-3 Mini

Bien que le Phi-3 Mini démontre des progrès importants dans le domaine des petits modèles de langage, il n’est pas sans limites. Une contrainte majeure du Phi-3 Mini, étant donné sa taille plus petite par rapport aux modèles de langage massifs, est sa capacité limitée à stocker des connaissances factuelles étendues. Cela peut avoir un impact sur sa capacité à gérer de manière indépendante des requêtes qui nécessitent une profondeur de données factuelles spécifiques ou des connaissances d’expert. Cependant, cela peut être atténué en intégrant le Phi-3 Mini avec un moteur de recherche. De cette façon, le modèle peut accéder à une gamme plus large d’informations en temps réel, compensant ainsi efficacement ses limitations de connaissance inhérentes. Cette intégration permet au Phi-3 Mini de fonctionner comme un interlocuteur très capable qui, malgré une compréhension approfondie du langage et du contexte, peut occasionnellement avoir besoin de “rechercher” des informations pour fournir des réponses précises et à jour.

Disponibilité

Le Phi-3 est désormais disponible sur plusieurs plateformes, notamment Microsoft Azure AI Studio, Hugging Face, et Ollama. Sur Azure AI, le modèle intègre un flux de travail de déploiement-évaluation-affinement, et sur Ollama, il peut être exécuté localement sur les ordinateurs portables. Le modèle a été adapté pour ONNX Runtime et prend en charge Windows DirectML, garantissant qu’il fonctionne bien sur divers types de matériel tels que les GPU, les CPU et les appareils mobiles. De plus, le Phi-3 est proposé en tant que microservice via NVIDIA NIM, équipé d’une API standard pour un déploiement facile dans différents environnements et optimisé spécifiquement pour les GPU NVIDIA. Microsoft prévoit d’élargir davantage la série Phi-3 à l’avenir en ajoutant les modèles Phi-3-small (7B) et Phi-3-medium (14B), offrant ainsi aux utilisateurs des choix supplémentaires pour équilibrer la qualité et le coût.

En Résumé

Le Phi-3 Mini de Microsoft fait des progrès importants dans le domaine de l’intelligence artificielle en adaptant la puissance des grands modèles de langage pour une utilisation mobile. Ce modèle améliore l’interaction de l’utilisateur avec les appareils grâce à un traitement en temps réel plus rapide et à des fonctionnalités de confidentialité améliorées. Il réduit le besoin de services basés sur le cloud, diminuant ainsi les coûts d’exploitation et élargissant la portée des applications d’IA dans des domaines tels que les soins de santé et l’automatisation domestique. En mettant l’accent sur la réduction des biais grâce à l’apprentissage par curriculum et en maintenant des performances compétitives, le Phi-3 Mini devient un outil clé pour une IA mobile efficace et durable, transformant subtilement la façon dont nous interagissons avec la technologie au quotidien.