Le problème de l'intelligence artificielle, un problème à mille milliards de dollars

À l'aube de 2025, le secteur de l'intelligence artificielle se trouve à un tournant crucial. Alors que le secteur continue d'attirer des investissements et une attention sans précédent, notamment dans le domaine de l'IA générative, plusieurs dynamiques de marché sous-jacentes laissent présager une profonde mutation du paysage de l'IA au cours de l'année à venir.

Fort de mon expérience à la tête d'une startup d'IA et de l'observation de l'évolution rapide du secteur, je pense que cette année apportera de nombreux changements fondamentaux : des grands modèles conceptuels (LCM) qui devraient émerger comme des concurrents sérieux aux grands modèles de langage (LLM), l'essor du matériel d'IA spécialisé, jusqu'aux grandes entreprises technologiques qui commencent à développer des infrastructures d'IA majeures qui les mettront enfin en position de surpasser des startups comme OpenAI et Anthropic - et, qui sait, peut-être même de sécuriser leur monopole de l'IA après tout.

Le défi unique des entreprises d'IA : ni logiciel ni matériel

Le problème fondamental réside dans la manière dont les entreprises d’IA évoluent dans un terrain d’entente inédit entre les activités traditionnelles de logiciels et de matériel informatique. Contrairement aux entreprises de logiciels purs qui investissent principalement dans le capital humain avec des dépenses d’exploitation relativement faibles, ou aux entreprises de matériel informatique qui font des investissements en capital à long terme avec des perspectives de rendement claires, les entreprises d’IA sont confrontées à une combinaison unique de défis qui rendent leurs modèles de financement actuels précaires.

Ces entreprises nécessitent des investissements initiaux considérables pour leurs clusters et infrastructures GPU, dépensant entre 100 et 200 millions de dollars par an rien qu'en ressources informatiques. Pourtant, contrairement aux fabricants de matériel informatique, elles ne peuvent amortir ces investissements sur de longues périodes. Elles fonctionnent plutôt selon des cycles comprimés de deux ans entre chaque levée de fonds, devant à chaque fois démontrer une croissance exponentielle et des performances de pointe pour justifier leur prochaine majoration de valorisation.

Problème de différenciation des LLM

À ce défi structurel s'ajoute une tendance inquiétante : la convergence rapide des capacités des grands modèles linguistiques (LLM). Les startups, comme Licorne Mistral IA et d’autres, ont démontré que les modèles open source peuvent atteindre la performance comparables à leurs homologues à source fermée, mais la différenciation technique qui justifiait auparavant des valorisations très élevées devient de plus en plus difficile à maintenir.

En d’autres termes, même si chaque nouveau LLM affiche des performances impressionnantes basées sur des critères de référence standard, aucun changement véritablement significatif n’est en cours dans l’architecture du modèle sous-jacent.

Les limitations actuelles dans ce domaine proviennent de trois domaines critiques : Disponibilité des données, car nous manquons de matériel de formation de haute qualité (comme confirmé par Elon Musk récemment); méthodes de conservation, car ils adoptent tous des approches de rétroaction humaine similaires mises au point par OpenAI ; et architecture informatique, car ils s’appuient sur le même pool limité de matériel GPU spécialisé.

On observe une tendance émergente où les gains proviennent de plus en plus de l'efficacité plutôt que de l'échelle. Les entreprises se concentrent sur la compression de davantage de connaissances dans un nombre réduit de jetons et sur le développement d'artefacts d'ingénierie plus performants, comme des systèmes de récupération tels que les graphes RAG (génération augmentée de récupération). En résumé, nous approchons d'un palier naturel où l'augmentation des ressources consacrées au problème produit des rendements décroissants.

En raison du rythme sans précédent de l’innovation au cours des deux dernières années, cette convergence des capacités LLM se produit plus rapidement que quiconque ne l’avait prévu, créant une course contre la montre pour les entreprises qui ont levé des fonds.

D’après les dernières tendances de la recherche, la prochaine frontière pour résoudre ce problème est l’émergence de Modèles de grands concepts (LCM) en tant qu'architecture nouvelle et révolutionnaire, concurrente des LLM dans leur domaine principal, qui est la compréhension du langage naturel (NLP).

Techniquement parlant, les LCM présenteront plusieurs avantages, notamment la possibilité d'améliorer les performances avec moins d'itérations et la capacité d'obtenir des résultats similaires avec des équipes plus petites. Je pense que ces LCM de nouvelle génération seront développés et commercialisés par des équipes dérivées, les fameux « ex-big tech » non conformistes qui fonderont de nouvelles startups pour mener cette révolution.

Décalage du calendrier de monétisation

La compression des cycles d'innovation a créé un autre problème crucial : l'inadéquation entre délai de mise sur le marché et monétisation durable. Si la verticalisation des applications d'IA connaît une vitesse sans précédent – ​​avec des agents vocaux, par exemple, passant du concept à des produits générateurs de revenus en quelques mois seulement –, cette commercialisation rapide masque un problème plus profond.

Considérez ceci : une start-up d’IA valorisée aujourd’hui à 20 milliards de dollars devra probablement générer environ 1 milliard de dollars de revenus annuels d’ici 4 à 5 ans pour justifier son introduction en bourse à un multiple raisonnable. Cela nécessite non seulement l’excellence technologique, mais aussi une transformation radicale de l’ensemble du modèle économique, d’une approche axée sur la R&D à une approche axée sur les ventes, tout en maintenant le rythme de l’innovation et en gérant d’énormes coûts d’infrastructure.

En ce sens, les nouvelles startups axées sur le LCM qui émergeront en 2025 seront mieux placées pour lever des fonds, avec des valorisations initiales plus faibles, ce qui en fera des cibles de financement plus attractives pour les investisseurs.

Pénurie de matériel informatique et nouvelles alternatives

Examinons de plus près l'infrastructure. Aujourd'hui, chaque nouveau cluster de GPU est acheté avant même d'être construit par les grands acteurs, obligeant les petits acteurs à s'engager dans des contrats à long terme avec des fournisseurs de cloud, sous peine d'être totalement exclus du marché.

Mais voici ce qui est vraiment intéressant : alors que tout le monde se dispute les GPU, un changement fascinant s'est produit dans le paysage matériel, encore largement négligé. L'architecture GPU actuelle, appelée GPGPU (General Purpose GPU), est incroyablement inefficace pour répondre aux besoins réels de la plupart des entreprises en production. C'est comme utiliser un supercalculateur pour exécuter une application de calcul.

C'est pourquoi je suis convaincu que le matériel d'IA spécialisé constituera la prochaine grande révolution de notre secteur. Des entreprises comme Groq et Cerebras développent du matériel d'inférence quatre à cinq fois moins cher à exploiter que les GPU traditionnels. Certes, l'optimisation des modèles pour ces plateformes entraîne des coûts d'ingénierie plus élevés, mais pour les entreprises exécutant des charges de travail d'inférence à grande échelle, les gains d'efficacité sont évidents.

Densité des données et essor de modèles plus petits et plus intelligents

Passer à la prochaine frontière de l’innovation en matière d’IA nécessitera probablement non seulement une plus grande puissance de calcul – en particulier pour les grands modèles comme les LCM – mais également des ensembles de données plus riches et plus complets.

Il est intéressant de noter que des modèles plus petits et plus efficaces commencent à concurrencer les plus grands en capitalisant sur la densité de leur entraînement à partir des données disponibles. Par exemple, des modèles comme FeeFree de Microsoft ou Gema2B de Google fonctionnent avec beaucoup moins de paramètres (souvent autour de 2 à 3 milliards) et atteignent pourtant des niveaux de performance comparables à des modèles beaucoup plus grands avec 8 milliards de paramètres.

Ces modèles plus petits sont de plus en plus compétitifs en raison de leur forte densité de données, ce qui les rend robustes malgré leur taille. Cette évolution vers des modèles compacts, mais puissants, s'aligne sur les avantages stratégiques dont disposent des entreprises comme Microsoft et Google : l'accès à des ensembles de données massifs et diversifiés via des plateformes telles que Bing et Google Search.

Cette dynamique révèle deux « guerres » cruciales qui se déroulent dans le développement de l’IA : l’une pour la puissance de calcul et l’autre pour les données. Si les ressources informatiques sont essentielles pour repousser les limites, la densité des données devient tout aussi, voire plus, cruciale. Les entreprises ayant accès à de vastes ensembles de données sont particulièrement bien placées pour former des modèles plus petits avec une efficacité et une robustesse inégalées, consolidant ainsi leur domination dans le paysage en constante évolution de l’IA.

Qui gagnera la guerre de l’IA ?

Dans ce contexte, tout le monde se demande qui, dans le paysage actuel de l'IA, est le mieux placé pour en sortir vainqueur. Voici quelques pistes de réflexion.

Les grandes entreprises technologiques ont acheté à l’avance des clusters de GPU entiers avant leur construction, créant ainsi un environnement de pénurie pour les petits acteurs. Commande de plus de 100,000 XNUMX GPU par Oracle et des initiatives similaires de Meta et Microsoft illustrent cette tendance.

Ayant investi des centaines de milliards dans des initiatives d’IA, ces entreprises ont besoin de milliers d’ingénieurs et de chercheurs spécialisés dans ce domaine. Cela crée une demande de talents sans précédent qui ne peut être satisfaite que par des acquisitions stratégiques, ce qui entraînera probablement l’absorption de nombreuses startups dans les mois à venir.

Alors que l’année 2025 sera consacrée à la recherche et au développement à grande échelle et au développement d’infrastructures pour ces acteurs, d’ici 2026, ils seront en mesure de frapper comme jamais auparavant grâce à des ressources inégalées.

Cela ne signifie pas que les petites entreprises d'IA sont condamnées, loin de là. Le secteur continuera d'innover et de créer de la valeur. Certaines innovations clés du secteur, comme les LCM, devraient être portées par de petits acteurs émergents au cours de l'année à venir, aux côtés de Meta, Google/Alphabet et OpenAI avec Anthropic, qui travaillent actuellement sur des projets prometteurs.

Cependant, nous assisterons probablement à une restructuration fondamentale du financement et de la valorisation des entreprises d'IA. À mesure que le capital-risque deviendra plus exigeant, les entreprises devront démontrer clairement leur capacité à assurer une rentabilité unitaire durable – un défi particulier pour les entreprises open source en concurrence avec des alternatives propriétaires bien dotées en ressources.

Pour les entreprises d’IA open source en particulier, la voie à suivre peut nécessiter de se concentrer sur des applications verticales spécifiques où leurs capacités de transparence et de personnalisation offrent des avantages évidents par rapport aux solutions propriétaires.