La fin de l’ère de la mise à l’échelle : pourquoi les avancées algorithmiques comptent plus que la taille du modèle

Pendant la majeure partie de la dernière décennie, les progrès de l’intelligence artificielle ont été impulsés par la mise à l’échelle. Des jeux de données plus importants, plus de paramètres et une plus grande puissance de calcul sont devenus la formule du succès. Les équipes se sont disputées pour créer des modèles plus grands, en mesurant les progrès en trillions de paramètres et en pétaoctets de données de formation. Nous appelons cela l’ère de la mise à l’échelle. Elle a alimenté une grande partie des progrès de l’IA que nous voyons aujourd’hui, mais nous approchons maintenant d’une limite où simplement rendre les modèles plus grands n’est plus l’approche la plus efficace, la plus intelligente ou la plus durable. Par conséquent, l’attention se déplace de la mise à l’échelle brute vers les avancées algorithmiques. Dans cet article, nous examinons pourquoi la mise à l’échelle par elle-même est insuffisante et comment la prochaine phase du développement de l’IA reposera sur l’innovation algorithmique.

La loi des rendements décroissants dans la mise à l’échelle des modèles

L’ère de la mise à l’échelle a été construite sur des fondements empiriques solides. Les chercheurs ont observé qu’augmenter la taille des modèles et des jeux de données peut conduire à des gains prévisibles en termes de performances. Ce modèle est devenu connu sous le nom de lois de mise à l’échelle. Ces lois sont rapidement devenues le manuel des principaux laboratoires d’IA, alimentant la course pour construire des systèmes toujours plus grands. Cette course a donné naissance à de grands modèles de langage et à des modèles fondamentaux qui alimentent aujourd’hui une grande partie de l’IA. Cependant, comme toute courbe exponentielle, cette mise à l’échelle de l’IA commence à se stabiliser. Les coûts de développement de modèles encore plus grands augmentent rapidement. Former un système de pointe consomme désormais autant d’énergie qu’une petite ville, soulevant de graves préoccupations environnementales. Le coût financier est si élevé qu’il n’y a que quelques organisations qui peuvent concourir. Pendant ce temps, nous observons des signes clairs de rendements décroissants. Doubler le nombre de paramètres ne double plus les capacités. Les améliorations sont également incrémentales, n’affinant que les connaissances existantes plutôt que de débloquer de nouvelles capacités. La valeur gagnée pour chaque dollar et chaque watt supplémentaires dépensés diminue. La stratégie de mise à l’échelle atteint ses limites économiques et techniques.

La nouvelle frontière : l’efficacité algorithmique

Les limites des lois de mise à l’échelle ont poussé les chercheurs à se recentrer sur l’efficacité algorithmique. Plutôt que de s’appuyer sur la force brute, ils ont commencé à se concentrer sur la conception d’algorithmes plus intelligents qui utilisent les ressources de manière plus efficace. Les progrès récents illustrent le pouvoir de ce changement. Par exemple, l’architecture Transformer, alimentée par son mécanisme d’attention, a dominé l’IA pendant des années. Mais l’attention comporte une faiblesse : ses exigences de calcul augmentent rapidement avec la longueur de la séquence. Les modèles d’espace d’état (SSM), tels que Mamba, émergent comme une alternative prometteuse à Transformer. En permettant une raisonnement sélectif plus efficace, les SSM peuvent égaler les performances de Transformers beaucoup plus grands tout en fonctionnant plus rapidement et en utilisant nettement moins de mémoire.

Un autre exemple d’efficacité algorithmique est l’émergence des modèles de mélange d’experts (MoE). Au lieu d’activer tout un réseau massif pour chaque entrée, les systèmes MoE acheminent les tâches vers seulement le sous-ensemble le plus pertinent de réseaux plus petits, ou « experts ». Le modèle peut avoir des milliards de paramètres au total, mais chaque calcul n’utilise qu’une fraction d’entre eux. C’est comme avoir une vaste bibliothèque mais n’ouvrir que les quelques livres dont vous avez besoin pour répondre à une question, plutôt que de lire tous les livres du bâtiment à chaque fois. Le résultat est la capacité de connaissance d’un modèle géant avec l’efficacité d’un modèle beaucoup plus petit.

Un autre exemple combinant ces idées est DeepSeek-V3, un modèle de mélange d’experts amélioré avec Multi-head Latent Attention (MLA). Le MLA améliore l’attention traditionnelle en compressant les états clé-valeur, permettant au modèle de gérer des séquences longues de manière efficace, tout comme les SSM, tout en préservant les forces des Transformers. Avec 236 milliards de paramètres au total mais seulement une fraction activée par tâche, DeepSeek-V3 offre des performances de niveau supérieur dans des domaines tels que la programmation et la raisonnement, le tout en étant plus accessible et moins gourmand en ressources que des modèles comparables plus grands et mis à l’échelle.

Ces exemples ne sont pas isolés. Ils représentent une tendance plus large vers une conception plus intelligente et plus efficace. Les chercheurs se concentrent désormais sur la façon de rendre les modèles plus rapides, plus petits et moins gourmands en données sans sacrifier les performances.

Pourquoi ce changement compte

Le passage de la mise à l’échelle à la focalisation sur les avancées algorithmiques a des effets significatifs sur le domaine de l’IA. Premièrement, cela rend l’IA plus accessible à tous. Le succès ne dépend plus uniquement d’avoir les ordinateurs les plus puissants. Un petit groupe de chercheurs peut créer une nouvelle conception qui surpasse les modèles construits avec des budgets beaucoup plus importants. Cela change l’innovation d’une course aux ressources en une course aux idées et à l’expertise. Par conséquent, les universités, les startups et les laboratoires indépendants peuvent désormais jouer un rôle plus important, au-delà des seules grandes entreprises technologiques.

Deuxièmement, cela aide à rendre l’IA plus utile dans les contextes quotidiens. Un modèle avec 500 milliards de paramètres peut sembler impressionnant dans les études, mais sa taille énorme le rend difficile et coûteux à utiliser dans la pratique. En revanche, des options efficaces comme Mamba ou les modèles de mélange d’experts peuvent fonctionner sur du matériel standard, y compris les appareils situés à la périphérie des réseaux. Cette facilité d’utilisation est clé pour intégrer l’IA dans des applications communes, telles que des outils de diagnostic dans les soins de santé ou des fonctionnalités de traduction instantanée sur les smartphones.

Troisièmement, cela traite le problème de la durabilité. Les exigences énergétiques de la construction et de l’exploitation de géants modèles d’IA deviennent un défi majeur pour l’environnement. En mettant l’accent sur l’efficacité, nous pouvons réduire considérablement les émissions de carbone liées aux travaux d’IA.

Ce qui vient ensuite : l’ère de la conception de l’intelligence

Nous entrons dans ce que l’on pourrait appeler l’ère de la conception de l’intelligence. La question n’est plus de savoir à quelle taille nous pouvons rendre le modèle, mais de savoir comment concevoir un modèle qui est intrinsèquement plus intelligent et plus efficace.

Ce changement apportera des innovations dans plusieurs domaines de recherche fondamentale. L’un des domaines où nous pouvons nous attendre à des progrès est l’architecture des modèles d’IA. Les nouveaux modèles comme les modèles d’espace d’état déjà mentionnés peuvent changer la façon dont les réseaux de neurones traitent les données. Par exemple, l’architecture inspirée de systèmes dynamiques se révèle plus puissante dans les expériences. Un autre point de focalisation sera les méthodes de formation qui aident les modèles à apprendre efficacement avec beaucoup moins de données. Par exemple, les progrès dans l’apprentissage à zéro tir et à quelques tirs rendent l’IA plus efficace en termes de données, tandis que des techniques comme l’orientation d’activation permettent des améliorations comportementales sans nécessiter de réentraînement. Les affinements post-formation et l’utilisation de données synthétiques réduisent également considérablement les besoins de formation, parfois d’un facteur de 10 000.

Nous verrons également un intérêt croissant pour les modèles hybrides, tels que l’IA neuro-symbolique. L’IA neuro-symbolique émerge comme une tendance majeure en 2025, combinant la reconnaissance de modèles de l’apprentissage neuronal avec les forces logiques des systèmes symboliques pour une meilleure explicabilité et une moindre dépendance aux données. Des exemples incluent AlphaGeometry 2 et AlphaProof, qui permettent à Google DeepMind de remporter une performance de médaille d’or à l’IMO 2025. L’objectif est de développer des systèmes qui ne prédisent pas seulement le mot suivant en fonction des statistiques mais qui comprennent et raisonnent sur le monde d’une manière humaine.

Le fond du problème

L’ère de la mise à l’échelle a été essentielle et a apporté une croissance remarquable à l’IA. Elle a étendu les limites de ce qui était possible et a fourni les technologies fondamentales sur lesquelles nous nous appuyons aujourd’hui. Mais comme toute technologie qui mûrit, la stratégie initiale épuise éventuellement son potentiel. Les principales avancées à venir ne proviendront pas de l’ajout de couches supplémentaires à la pile. Elles émergeront plutôt de la révision de la pile elle-même.

Le futur appartient à ceux qui innovent dans les algorithmes, l’architecture et la science fondamentale de l’apprentissage automatique. C’est un futur où l’intelligence est mesurée non pas par le nombre de paramètres, mais par l’élégance de la conception. La quête de création d’algorithmes plus intelligents est juste en train de commencer. Cette transition ouvre la porte à une IA plus accessible, plus durable et véritablement intelligente.