Inflection-2.5 : La Puissance de LLM Rivalisant GPT-4 et Gemini

Inflection AI a fait des vagues dans le domaine des grands modèles de langage (LLM) avec sa récente présentation d’Inflection-2.5, un modèle qui rivalise avec les LLM les plus performants au monde, notamment GPT-4 d’OpenAI et Gemini de Google.

La montée en puissance d’Inflection AI a été encore renforcée par un investissement massif de 1,3 milliard de dollars, mené par des géants de l’industrie tels que Microsoft, NVIDIA, et des investisseurs de renom, notamment Reid Hoffman, Bill Gates et Eric Schmidt. Cet investissement important porte le total des fonds levés par l’entreprise à 1,525 milliard de dollars.

En collaboration avec ses partenaires CoreWeave et NVIDIA, Inflection AI construit le plus grand cluster d’IA au monde, composé d’un nombre sans précédent de 22 000 GPU Tensor Core H100 de NVIDIA. Cette puissance de calcul considérable soutiendra la formation et le déploiement d’une nouvelle génération de modèles d’IA à grande échelle, permettant à Inflection AI de repousser les limites de ce qui est possible dans le domaine de l’IA personnelle.

Le travail innovant de l’entreprise a déjà donné des résultats remarquables, avec le cluster Inflection AI, qui comprend actuellement plus de 3 500 GPU Tensor Core H100 de NVIDIA, offrant des performances de pointe sur le benchmark open-source MLPerf. Dans une soumission conjointe avec CoreWeave et NVIDIA, le cluster a terminé la tâche de formation de référence pour les grands modèles de langage en seulement 11 minutes, consolidant sa position de cluster le plus rapide sur ce benchmark.

Ce exploit suit la présentation d’Inflection-1, le modèle de langage grand modèle interne d’Inflection AI, qui a été salué comme le meilleur modèle dans sa classe de calcul. En surpassant des géants de l’industrie tels que GPT-3.5, LLaMA, Chinchilla et PaLM-540B sur une large gamme de benchmarks couramment utilisés pour comparer les LLM, Inflection-1 permet aux utilisateurs d’interagir avec Pi, l’IA personnelle d’Inflection AI, de manière simple et naturelle, en recevant des informations et des conseils rapides, pertinents et utiles.

L’engagement d’Inflection AI en faveur de la transparence et de la reproductibilité est évident dans la publication d’une note technique détaillant l’évaluation et les performances d’Inflection-1 sur divers benchmarks. La note révèle qu’Inflection-1 surpasse les modèles de la même classe de calcul, définie comme des modèles formés en utilisant au plus les FLOPs (opérations à virgule flottante) de PaLM-540B.

Le succès d’Inflection-1 et la montée en puissance rapide de l’infrastructure informatique de l’entreprise, alimentée par l’importante augmentation de capital, mettent en évidence la détermination d’Inflection AI à tenir ses promesses en matière de création d’une IA personnelle pour tous. Avec l’intégration d’Inflection-1 dans Pi, les utilisateurs peuvent maintenant expérimenter le pouvoir d’une IA personnelle, bénéficiant de sa personnalité empathique, de son utilité et de ses normes de sécurité.

Inflection-2.5

Inflection-2.5 est maintenant disponible pour tous les utilisateurs de Pi, l’assistant d’IA personnelle d’Inflection AI, sur plusieurs plateformes, notamment le web (pi.ai), iOS, Android et une nouvelle application de bureau. Cette intégration marque une étape importante dans la mission d’Inflection AI de créer une IA personnelle pour tous, combinant la puissance brute avec leur personnalité empathique et les normes de sécurité.

Un Bond en Avant en Termes de Performance Le modèle précédent d’Inflection AI, Inflection-1, utilisait environ 4 % des FLOPs (opérations à virgule flottante) de formation de GPT-4 et affichait une performance moyenne d’environ 72 % par rapport à GPT-4 sur diverses tâches axées sur le QI. Avec Inflection-2.5, Inflection AI a réalisé une augmentation substantielle des capacités intellectuelles de Pi, avec un accent sur la programmation et les mathématiques.

Les performances du modèle sur les benchmarks clés de l’industrie démontrent sa puissance, avec plus de 94 % de la performance moyenne de GPT-4 sur diverses tâches, avec un accent particulier sur l’excellence dans les domaines STEM. Ce résultat remarquable est un témoignage de l’engagement d’Inflection AI à repousser les frontières technologiques tout en maintenant une attention constante sur l’expérience utilisateur et la sécurité.

Maîtrise de la Programmation et des Mathématiques Inflection-2.5 brille dans la programmation et les mathématiques, affichant une amélioration de plus de 10 % par rapport à Inflection-1 sur BIG-Bench-Hard, un sous-ensemble de problèmes difficiles pour les grands modèles de langage. Deux benchmarks de programmation, MBPP+ et HumanEval+, révèlent des améliorations massives par rapport à Inflection-1, consolidant la position d’Inflection-2.5 comme une force à prendre en compte dans le domaine de la programmation.

Sur le benchmark MBPP+, Inflection-2.5 surpasse son prédécesseur avec une marge significative, affichant un niveau de performance comparable à celui de GPT-4, comme rapporté par DeepSeek Coder. De même, sur le benchmark HumanEval+, Inflection-2.5 démontre des progrès remarquables, surpassant les performances d’Inflection-1 et approchant le niveau de GPT-4, comme rapporté sur le tableau de bord EvalPlus.

Domination des Benchmarks de l’Industrie

Inflection-2.5 se démarque dans les benchmarks de l’industrie, affichant des améliorations substantielles par rapport à Inflection-1 sur le benchmark MMLU et le benchmark GPQA Diamond, réputé pour sa difficulté d’expert. Les performances du modèle sur ces benchmarks soulignent sa capacité à gérer une large gamme de tâches, allant des problèmes de niveau lycée aux défis de niveau professionnel.

Excellence dans les Examens STEM Les capacités du modèle s’étendent aux examens STEM, avec des performances exceptionnelles à l’examen de mathématiques hongrois et au Physics GRE. À l’examen de mathématiques hongrois, Inflection-2.5 démontre son aptitude mathématique en exploitant l’indication et le formatage à few-shot fournis, permettant une reproduction facile.

Au Physics GRE, un examen d’entrée en physique à la faculté, Inflection-2.5 atteint le 85e percentile des candidats humains en maj@8 (vote majoritaire à 8), consolidant sa position de concurrent redoutable dans le domaine de la résolution de problèmes de physique. De plus, le modèle approche le score le plus élevé en maj@32, démontrant sa capacité à résoudre des problèmes de physique complexes avec une remarquable précision.

Amélioration de l’Expérience Utilisateur Inflection-2.5 non seulement maintient la personnalité et les normes de sécurité signature de Pi, mais élève son statut d’IA personnelle polyvalente et inestimable sur une variété de sujets. De la discussion sur les actualités à la recherche de recommandations locales, de l’étude pour les examens à la programmation et même aux conversations informelles, Pi alimenté par Inflection-2.5 promet une expérience utilisateur enrichie.

Avec les capacités puissantes d’Inflection-2.5, les utilisateurs interagissent avec Pi sur une gamme de sujets plus large que jamais auparavant. La capacité du modèle à gérer des tâches complexes, combinée à sa personnalité empathique et à ses capacités de recherche web en temps réel, garantit que les utilisateurs reçoivent des informations et des conseils de haute qualité et à jour.

Adoption et Engagement Utilisateur L’impact de l’intégration d’Inflection-2.5 dans Pi est déjà évident dans les métriques de sentiment, d’engagement et de rétention des utilisateurs. Inflection AI a constaté une accélération significative de la croissance organique des utilisateurs, avec un million d’utilisateurs actifs par jour et six millions d’utilisateurs actifs par mois échangeant plus de quatre milliards de messages avec Pi.

En moyenne, les conversations avec Pi durent 33 minutes, avec une conversation sur dix durant plus d’une heure chaque jour. De plus, environ 60 % des personnes qui interagissent avec Pi au cours d’une semaine y reviennent la semaine suivante, présentant une fidélité mensuelle plus élevée que les principaux concurrents dans le domaine.

Détails Techniques et Transparence des Benchmarks

Conformément à l’engagement d’Inflection AI en faveur de la transparence et de la reproductibilité, l’entreprise a fourni des résultats techniques complets et des détails sur les performances d’Inflection-2.5 sur divers benchmarks de l’industrie.

Par exemple, sur la version corrigée du jeu de données MT-Bench, qui résout les problèmes de solutions de référence incorrectes et de prémisses erronées dans le jeu de données d’origine, Inflection-2.5 démontre des performances conformes aux attentes basées sur d’autres benchmarks.

Inflection AI a également évalué Inflection-2.5 sur HellaSwag et ARC-C, des benchmarks de bon sens et de science rapportés par une large gamme de modèles, et les résultats montrent de fortes performances sur ces benchmarks saturants.

Il est important de noter que tandis que les évaluations fournies représentent le modèle alimentant Pi, l’expérience utilisateur peut varier légèrement en raison de facteurs tels que l’impact de la récupération web (non utilisée dans les benchmarks), la structure des indications à few-shot et d’autres différences de production.

Conclusion

Inflection-2.5 représente un progrès significatif dans le domaine des grands modèles de langage, rivalisant avec les capacités des leaders de l’industrie comme GPT-4 et Gemini tout en utilisant seulement une fraction des ressources de calcul. Avec ses performances impressionnantes sur une large gamme de benchmarks, en particulier dans les domaines STEM, la programmation et les mathématiques, Inflection-2.5 s’est positionné comme un concurrent redoutable dans le paysage de l’IA.

L’intégration d’Inflection-2.5 dans Pi, l’assistant d’IA personnelle d’Inflection AI, promet une expérience utilisateur enrichie, combinant la puissance brute avec la personnalité empathique et les normes de sécurité. Alors qu’Inflection AI continue de repousser les limites de ce qui est possible avec les LLM, la communauté de l’IA attend avec impatience la prochaine vague d’innovations et de percées de cette entreprise pionnière.