Inflection-2.5 : Le modèle LLM phare qui rivalise avec GPT-4 et Gemini

Inflection AI a fait parler de lui dans le domaine des grands modèles de langage (LLM) avec la présentation récente d’Inflection-2.5, un modèle qui concourt avec les principaux LLM du monde, notamment GPT-4 d’OpenAI et Gemini de Google.

La montée en puissance d’Inflection AI a été encore renforcée par un financement massif de 1,3 milliard de dollars, mené par des géants de l’industrie tels que Microsoft (MSFT ), NVIDIA (NVDA ), et des investisseurs de renom comme Reid Hoffman, Bill Gates et Eric Schmidt. Ce financement important porte le total des fonds levés par l’entreprise à 1,525 milliard de dollars.

En collaboration avec les partenaires CoreWeave (CRWV ) et NVIDIA, Inflection AI construit le plus grand cluster d’intelligence artificielle au monde, composé d’un nombre sans précédent de 22 000 GPU Tensor Core H100 de NVIDIA. Cette puissance de calcul sans équivalent soutiendra la formation et le déploiement d’une nouvelle génération de modèles d’intelligence artificielle à grande échelle, permettant à Inflection AI de repousser les limites de ce qui est possible dans le domaine de l’intelligence artificielle personnelle.

Le travail innovant de l’entreprise a déjà donné des résultats remarquables, avec le cluster Inflection AI, qui comprend actuellement plus de 3 500 GPU Tensor Core H100 de NVIDIA, réalisant des performances de pointe sur le benchmark open-source MLPerf. Dans une soumission conjointe avec CoreWeave et NVIDIA, le cluster a terminé la tâche de formation de référence pour les grands modèles de langage en seulement 11 minutes, consolidant ainsi sa position de cluster le plus rapide sur ce benchmark.

Cette réalisation suit la présentation d’Inflection-1, le modèle de langage à grande échelle (LLM) développé en interne par Inflection AI, qui a été salué comme le meilleur modèle dans sa classe de calcul. En surpassant des géants de l’industrie tels que GPT-3.5, LLaMA, Chinchilla et PaLM-540B sur une large gamme de benchmarks couramment utilisés pour comparer les LLM, Inflection-1 permet aux utilisateurs d’interagir avec Pi, l’assistant d’intelligence artificielle personnelle d’Inflection AI, de manière simple et naturelle, en recevant des informations et des conseils rapides, pertinents et utiles.

L’engagement d’Inflection AI en faveur de la transparence et de la reproductibilité est évident dans la publication d’une note technique détaillant l’évaluation et les performances d’Inflection-1 sur divers benchmarks. La note révèle qu’Inflection-1 surpasse les modèles de la même classe de calcul, définie comme des modèles formés en utilisant au maximum les FLOPs (opérations à virgule flottante) de PaLM-540B.

Le succès d’Inflection-1 et la montée en puissance rapide de l’infrastructure informatique de l’entreprise, alimentée par le financement important, mettent en évidence l’engagement inébranlable d’Inflection AI à réaliser sa mission de création d’une intelligence artificielle personnelle pour tous. Avec l’intégration d’Inflection-1 dans Pi, les utilisateurs peuvent désormais bénéficier de la puissance d’une intelligence artificielle personnelle, profitant de sa personnalité empathique, de son utilité et de ses normes de sécurité.

Inflection-2.5

Inflection-2.5 est désormais disponible à tous les utilisateurs de Pi, l’assistant d’intelligence artificielle personnelle d’Inflection AI, sur plusieurs plateformes, notamment le web (pi.ai), iOS, Android et une nouvelle application de bureau. Cette intégration marque une étape importante dans la mission d’Inflection AI de créer une intelligence artificielle personnelle pour tous, combinant les capacités brutes avec une personnalité empathique et des normes de sécurité.

Un bond en avant dans les performances Inflection AI’s précédent modèle, Inflection-1, utilisait environ 4 % des FLOPs (opérations à virgule flottante) de formation de GPT-4 et affichait une performance moyenne d’environ 72 % par rapport à GPT-4 sur diverses tâches orientées vers l’intelligence. Avec Inflection-2.5, Inflection AI a réalisé une augmentation significative des capacités intellectuelles de Pi, avec un accent sur la programmation et les mathématiques.

Les performances du modèle sur les benchmarks clés de l’industrie démontrent sa puissance, en affichant plus de 94 % de la performance moyenne de GPT-4 sur diverses tâches, avec un accent particulier sur l’excellence dans les domaines STEM. Cette réalisation remarquable est un témoignage de l’engagement d’Inflection AI à repousser les frontières technologiques tout en maintenant une attention inébranlable sur l’expérience utilisateur et la sécurité.

Maîtrise de la programmation et des mathématiques Inflection-2.5 brille dans la programmation et les mathématiques, en affichant une amélioration de plus de 10 % par rapport à Inflection-1 sur BIG-Bench-Hard, un sous-ensemble de problèmes difficiles pour les grands modèles de langage. Deux benchmarks de programmation, MBPP+ et HumanEval+, révèlent des améliorations massives par rapport à Inflection-1, consolidant ainsi la position d’Inflection-2.5 comme une force à prendre en compte dans le domaine de la programmation.

Sur le benchmark MBPP+, Inflection-2.5 surpasse son prédécesseur avec une marge significative, en affichant un niveau de performance comparable à celui de GPT-4, comme rapporté par DeepSeek Coder. De même, sur le benchmark HumanEval+, Inflection-2.5 démontre des progrès remarquables, en surpassant les performances d’Inflection-1 et en s’approchant du niveau de GPT-4, comme rapporté sur le tableau de bord EvalPlus.

Dominance des benchmarks de l’industrie

Inflection-2.5 se démarque dans les benchmarks de l’industrie, en affichant des améliorations significatives par rapport à Inflection-1 sur le benchmark MMLU et le benchmark GPQA Diamond, réputé pour sa difficulté experte. Les performances du modèle sur ces benchmarks soulignent sa capacité à gérer une large gamme de tâches, allant des problèmes de niveau lycée aux défis de niveau professionnel.

Excellence dans les examens STEM Les capacités du modèle s’étendent aux examens STEM, avec des performances exceptionnelles à l’examen de mathématiques hongrois et au Physics GRE. À l’examen de mathématiques hongrois, Inflection-2.5 démontre son aptitude mathématique en exploitant la mise en page et les amorces fournies, permettant ainsi une reproduction facile.

Au Physics GRE, un examen d’entrée en graduate en physique, Inflection-2.5 atteint le 85e percentile des candidats humains en maj@8 (vote majoritaire à 8), consolidant ainsi sa position de concurrent redoutable dans le domaine de la résolution de problèmes de physique. De plus, le modèle s’approche du score maximum en maj@32, en démontrant sa capacité à résoudre des problèmes de physique complexes avec une remarquable précision.

Amélioration de l’expérience utilisateur Inflection-2.5 non seulement maintient la personnalité empathique et les normes de sécurité de Pi, mais élève également son statut d’assistant d’intelligence artificielle personnelle polyvalent et inestimable sur une variété de sujets. De la discussion d’actualités à la recherche de recommandations locales, en passant par l’étude pour les examens, la programmation et même les conversations informelles, Pi alimenté par Inflection-2.5 promet une expérience utilisateur enrichie.

Avec les capacités puissantes d’Inflection-2.5, les utilisateurs interagissent avec Pi sur une gamme de sujets plus large que jamais auparavant. La capacité du modèle à gérer des tâches complexes, combinée à sa personnalité empathique et à ses capacités de recherche web en temps réel, garantit que les utilisateurs reçoivent des informations et des conseils de haute qualité et à jour.

Adoption et engagement des utilisateurs L’impact de l’intégration d’Inflection-2.5 dans Pi est déjà visible dans les indicateurs de sentiment, d’engagement et de rétention des utilisateurs. Inflection AI a constaté une accélération significative de la croissance organique des utilisateurs, avec un million d’utilisateurs actifs par jour et six millions d’utilisateurs par mois échangeant plus de quatre milliards de messages avec Pi.

En moyenne, les conversations avec Pi durent 33 minutes, avec une conversation sur dix durant plus d’une heure chaque jour. De plus, environ 60 % des personnes qui interagissent avec Pi au cours d’une semaine y retournent la semaine suivante, présentant ainsi une fidélité mensuelle supérieure à celle des principaux concurrents dans le domaine.

Détails techniques et transparence des benchmarks

Conformément à l’engagement d’Inflection AI en faveur de la transparence et de la reproductibilité, l’entreprise a fourni des résultats techniques complets et des détails sur les performances d’Inflection-2.5 sur divers benchmarks de l’industrie.

Par exemple, sur la version corrigée du jeu de données MT-Bench, qui résout les problèmes de solutions de référence incorrectes et de prémisses erronées dans le jeu de données d’origine, Inflection-2.5 démontre des performances conformes aux attentes basées sur d’autres benchmarks.

Inflection AI a également évalué Inflection-2.5 sur HellaSwag et ARC-C, des benchmarks de bon sens et de science largement signalés par une grande variété de modèles, et les résultats montrent de fortes performances sur ces benchmarks saturants.

Il est important de noter que, même si les évaluations fournies représentent le modèle qui alimente Pi, l’expérience utilisateur peut varier légèrement en raison de facteurs tels que l’impact de la récupération web (non utilisée dans les benchmarks), la structure des amorces à quelques exemples et d’autres différences de production.

Conclusion

Inflection-2.5 représente un progrès significatif dans le domaine des grands modèles de langage, rivalisant avec les capacités des leaders de l’industrie comme GPT-4 et Gemini tout en utilisant seulement une fraction des ressources de calcul. Avec ses performances impressionnantes sur une large gamme de benchmarks, en particulier dans les domaines STEM, la programmation et les mathématiques, Inflection-2.5 s’est positionné comme un concurrent redoutable dans le paysage de l’intelligence artificielle.

L’intégration d’Inflection-2.5 dans Pi, l’assistant d’intelligence artificielle personnelle d’Inflection AI, promet une expérience utilisateur enrichie, combinant les capacités brutes avec une personnalité empathique et des normes de sécurité. Alors qu’Inflection AI continue de repousser les limites de ce qui est possible avec les LLM, la communauté de l’intelligence artificielle attend avec impatience la prochaine vague d’innovations et de percées de cette entreprise pionnière.