De la loi de Moore à la « loi d’OpenAI » : la trajectoire exponentielle du développement de l’IA

L’intelligence artificielle progresse à une vitesse difficile à comprendre. Pour décrire ce phénomène, les initiés ont commencé à faire référence à ce que certains appellent la « loi d’OpenAI » — un parallèle moderne à la loi de Moore, mais beaucoup plus prononcé. Ce terme a été popularisé dans le livre Empire of AI, qui retrace la montée en puissance d’OpenAI et la course vers l’intelligence artificielle générale (AGI). Dans le livre, la « loi d’OpenAI » est utilisée pour capturer le rythme effréné auquel les exigences de calcul — et donc les capacités de l’IA — ont évolué au cours de la dernière décennie.

Alors que ce n’est pas une loi scientifique formelle, la loi d’OpenAI fait référence à une tendance réelle et mesurable : le doublement rapide de la puissance de calcul utilisée pour la formation de modèles d’IA de pointe, se produisant à un rythme beaucoup plus rapide que la loi de Moore. En termes pratiques, le calcul de l’IA a doublé environ tous les trois à quatre mois, contre 18-24 mois pour la loi de Moore. Cette courbe exponentielle sous-tend le boom de l’IA moderne et prépare le terrain pour un avenir qui arrive plus vite que la plupart des gens ne le pensent.

La loi de Moore : le moteur qui a propulsé l’ère numérique

La loi de Moore a été le facteur clé de la montée en puissance des ordinateurs personnels, des smartphones et de l’informatique en nuage. Elle prédisait que le nombre de transistors sur une puce doublerait environ tous les deux ans, conduisant à des gains exponentiels en termes de puissance de calcul, d’efficacité énergétique et de réduction des coûts.

Pendant des décennies, ce modèle simple a tenu, rendant chaque génération de matériel exponentiellement plus puissante que la précédente. Mais à mesure que les limites physiques et économiques ont été atteintes dans les années 2010, la loi de Moore a commencé à ralentir. Les ingénieurs ont répondu en utilisant plus de cœurs, un empilement de puces 3D et des processeurs spécialisés pour prolonger les performances — mais les gains faciles étaient partis.

C’est à ce moment-là que la recherche en IA, alimentée par les avancées de l’apprentissage profond, a commencé à diverger de la trajectoire traditionnelle de la loi de Moore.

La naissance de la loi d’OpenAI : la courbe explosive du calcul de l’IA

Au début des années 2010, les chercheurs ont découvert que l’alimentation de plus de calcul dans les réseaux de neurones à grande échelle conduisait à des capacités d’IA de plus en plus puissantes. À partir de 2012, la quantité de calcul utilisée dans les plus grands entraînements d’IA a commencé à doubler environ tous les 3 à 4 mois.

C’était une accélération étonnante — beaucoup plus rapide que la loi de Moore. En six ans, le calcul utilisé dans les modèles d’IA les plus avancés a augmenté de plus de 300 000 fois. Alors que la loi de Moore n’aurait apporté qu’une augmentation de 7 fois pendant cette période, le calcul de l’IA a explosé en raison d’une mise à l’échelle agressive.

Ce phénomène est devenu informellement connu sous le nom de loi d’OpenAI — une trajectoire auto-imposée par des organisations comme OpenAI, qui croyaient que la mise à l’échelle de la taille des modèles et du calcul était le chemin le plus rapide vers l’intelligence artificielle générale (AGI). Le livre Empire of AI décrit ce changement en détail, en montrant comment OpenAI et ses dirigeants se sont engagés dans cette stratégie, malgré les coûts croissants, parce qu’ils croyaient que c’était la voie la plus directe pour débloquer des capacités transformatrices.

De manière critique, la loi d’OpenAI n’est pas une nécessité physique — c’est une décision stratégique. La croyance que « plus de calcul équivaut à une meilleure IA » est devenue un principe directeur, soutenu par des investissements massifs, des partenariats avec des fournisseurs de cloud et des infrastructures.

L’hypothèse de mise à l’échelle et la nouvelle course aux armements

Sous-jacente à la loi d’OpenAI se trouve l’hypothèse de mise à l’échelle : l’idée que simplement rendre les modèles plus grands et les entraîner sur plus de données avec plus de calcul conduit à des résultats qualitativement meilleurs. Cette hypothèse a gagné en crédibilité à mesure que chaque modèle successif — GPT-2, GPT-3, GPT-4 — a démontré des bonds en termes de fluidité, de raisonnement et de compréhension multimodale.

Au cœur de cette tendance se trouve une concurrence intense entre les entreprises technologiques pour dominer la frontière de l’IA. Le résultat a été une sorte de course aux armements, où chaque nouveau jalon nécessite des ressources computationnelles exponentiellement plus importantes que le précédent.

L’entraînement de grands modèles nécessite désormais des dizaines de milliers de GPU de haute gamme fonctionnant en parallèle. Les projections pour les futurs modèles impliquent des budgets de calcul qui pourraient approcher ou dépasser 100 milliards de dollars, avec des demandes massives en termes de puissance et d’infrastructure.

Cette tendance a conduit à une nouvelle courbe exponentielle — non plus définie par le nombre de transistors, mais par la volonté et la capacité de mettre à l’échelle le calcul à tout prix.

Comparaison : la loi de Huang et la loi de Kurzweil des rendements accélérés

Pour pleinement comprendre l’importance de la loi d’OpenAI, il est utile d’explorer d’autres cadres fondamentaux qui ont façonné notre compréhension du progrès technologique au-delà de la loi de Moore.

La loi de Huang, nommée d’après le PDG de NVIDIA Jensen Huang, décrit l’observation que les performances des GPU pour les charges de travail d’IA ont amélioré à un rythme significativement plus rapide que la loi de Moore. Sur une période de cinq ans, les GPU ont vu leurs performances augmenter de plus de 25 fois, dépassant ainsi les améliorations de 10 fois attendues sous la mise à l’échelle traditionnelle des transistors.

Cette accélération n’est pas due à la densité des puces seule — c’est le résultat de l’innovation au niveau du système. Les améliorations de l’architecture des GPU, l’augmentation de la bande passante de la mémoire, les interconnexions à haute vitesse et les progrès des écosystèmes logiciels tels que CUDA et les bibliothèques d’apprentissage profond ont tous contribué à ces gains. Les optimisations d’ingénierie dans la planification, les opérations tensorielles et le parallélisme ont également joué un rôle vital.

Les améliorations des performances dans les tâches d’inférence et de formation sur un seul GPU ont atteint jusqu’à 1 000 fois au cours de la dernière décennie, poussées par cette pile composite d’innovation matérielle et logicielle. En effet, la capacité des GPU pour les tâches d’IA a doublé environ tous les 6 à 12 mois — trois à quatre fois plus vite que la courbe originale de Moore. Ce rythme impitoyable a rendu les GPU les moteurs indispensables de l’IA moderne, permettant les entraînements massifs parallélisés qui sous-tendent la loi d’OpenAI.

La loi de Kurzweil des rendements accélérés porte l’idée de croissance exponentielle à un niveau supérieur — elle propose que le rythme de la croissance exponentielle lui-même s’accélère avec le temps. Selon ce principe, chaque avancée technologique ne se produit pas seule ; elle crée les outils, les plateformes et les connaissances qui font que la prochaine avancée se produit plus rapidement et plus efficacement. Cela conduit à un effet de renforcement où le changement technologique se nourrit de lui-même, s’accélérant à la fois en ampleur et en fréquence.

Kurzweil a soutenu que cette dynamique compressera ce qui aurait pris des siècles de progrès en quelques décennies. Si le rythme du progrès double tous les dix ans, le XXIe siècle pourrait connaître un bond étonnant — équivalent à des dizaines de milliers d’années de progrès aux taux historiques.

Cette loi est particulièrement pertinente pour l’IA. L’IA moderne n’est plus seulement un sujet de progrès — elle est devenue un accélérateur de progrès. Les systèmes d’IA aident déjà à concevoir de nouveaux circuits, à optimiser les réseaux de neurones, à mener des recherches scientifiques et même à écrire le code utilisé pour construire leurs successeurs. Cela crée une boucle d’amélioration récursive, où chaque génération d’IA améliore la suivante, réduisant les délais de développement et multipliant les capacités.

Cette boucle de rétroaction commence à ressembler à ce que certains appellent une explosion d’intelligence : un scénario dans lequel les systèmes d’IA deviennent capables de s’améliorer rapidement sans intervention humaine. Le résultat est une courbe qui ne monte pas seulement rapidement — elle se courbe dramatiquement vers le haut, à mesure que les cycles d’itération se contractent et que les avancées se précipitent. Si ce modèle se poursuit, nous pourrions assister à une phase de progrès technologique qui se déroule presque instantanément — où des industries entières, des domaines scientifiques et des modes de pensée évoluent en mois plutôt qu’en décennies.

La loi d’OpenAI s’inscrit dans cette lignée comme une expression de la croissance exponentielle du côté de la demande. Contrairement à la loi de Moore ou à la loi de Huang, qui décrivent le rythme des améliorations du matériel, la loi d’OpenAI reflète la quantité de calcul que les chercheurs choisissent réellement de consommer pour obtenir de meilleurs résultats. Elle montre que le progrès de l’IA n’est plus strictement lié à ce que les puces peuvent faire, mais plutôt à ce que les chercheurs sont disposés — et capables — de mettre à l’échelle. Alimentée par d’immenses infrastructures cloud et des milliards d’investissements, la loi d’OpenAI incarne une nouvelle ère où la capacité croît non seulement à travers l’innovation, mais à travers une force intentionnelle et concentrée.

Ensemble, ces lois esquissent une vue multidimensionnelle de la croissance exponentielle. Moore et Huang définissent l’offre de calcul. Kurzweil cartographie la méta-tendance de progrès cumulés. Et la loi d’OpenAI met en évidence une nouvelle forme d’ambition technologique — où pousser les limites n’est plus optionnel, mais stratégie centrale.

La promesse : pourquoi l’IA exponentielle compte

Les implications de la loi d’OpenAI sont profondes.

D’un côté optimiste, la mise à l’échelle exponentielle a produit des résultats étonnants. Les systèmes d’IA peuvent désormais écrire des essais, générer du code, aider dans la recherche scientifique et engager des conversations étonnamment fluides. Chaque augmentation de 10 fois de l’échelle semble débloquer de nouvelles capacités émergentes, suggérant que nous pourrions nous rapprocher de l’AGI.

L’IA pourrait bientôt transformer des industries allant de l’éducation et des soins de santé à la finance et à la science des matériaux. Si la loi d’OpenAI continue de tenir, nous pourrions assister à des avancées qui compressent des décennies d’innovation en quelques années.

C’est l’essence d’un nouveau terme que nous avons créé : « vitesse d’échappement de l’IA » — le moment où l’IA commence à s’améliorer elle-même, propulsant le progrès dans une vague exponentielle auto-renforcée.

Le prix : coûts environnementaux, économiques et éthiques

Mais la croissance exponentielle n’est pas gratuite.

L’entraînement de modèles de pointe consomme désormais d’énormes quantités d’électricité et d’eau. Alimenter des milliers de GPU pendant des semaines créé de graves préoccupations environnementales, notamment des émissions de carbone et des déchets thermiques. Les chaînes d’approvisionnement pour les puces d’IA sont également sous pression, soulevant des problèmes géopolitiques et de durabilité.

Sur le plan financier, seules les plus grandes entreprises technologiques ou les startups bien financées peuvent se permettre de rester sur la courbe. Cela conduit à une concentration du pouvoir, où un petit groupe d’organisations contrôle la frontière de l’intelligence.

Sur le plan éthique, la loi d’OpenAI encourage une mentalité de course — plus grand, plus rapide, plus tôt — qui peut conduire à des déploiements prématurés, des systèmes non testés et des raccourcis en matière de sécurité. Il y a une crainte croissante que certains modèles de pointe soient publiés avant que la société ne comprenne pleinement leurs impacts.

Pour atténuer cela, les chercheurs ont proposé des cadres de gouvernance qui suivent le développement de l’IA non pas en fonction de ce que font les modèles, mais en fonction de la quantité de calcul utilisée pour les entraîner. Puisque le calcul est l’un des meilleurs prédicteurs de la capacité du modèle, il pourrait devenir un proxy pour l’évaluation des risques et la réglementation.

Limites de la mise à l’échelle : que se passe-t-il lorsque la courbe se courbe ?

Malgré les gains impressionnants, il y a un débat sur la durée de la tendance à la mise à l’échelle. Certains pensent que nous voyons déjà des rendements décroissants : les modèles plus grands consomment plus de calcul mais ne fournissent que des améliorations marginales.

D’autres argumentent que des avancées en termes d’efficacité, de conception d’algorithmes ou d’architecture de modèles pourraient aplanir la courbe sans ralentir le progrès. Des modèles plus petits et plus intelligents pourraient devenir plus attractifs que des géants brutaux.

De plus, la pression publique, la réglementation et les limites d’infrastructure pourraient forcer l’industrie à reconsidérer la mentalité « mettre à l’échelle à tout prix ». Si les réseaux électriques, les budgets ou le consentement social ne peuvent pas suivre, l’IA exponentielle pourrait atteindre un plafond — ou au moins un point de rupture.

La route ahead : tracer l’avenir de l’IA exponentielle

Pour l’instant, la loi d’OpenAI reste l’un des meilleurs prismes à travers lesquels voir l’avenir de l’intelligence artificielle. Elle explique comment nous sommes passés de chatbots rudimentaires à des systèmes généralistes multimodaux en moins d’une décennie — et pourquoi la prochaine vague de progrès pourrait être encore plus dramatique.

Cependant, la loi est également accompagnée de compromis : inégalité d’accès, coûts croissants, fardeau environnemental et défis de sécurité. Alors que nous accélérons dans cette nouvelle ère, la société devra affronter des questions fondamentales :

• Qui a le droit de façonner l’avenir de l’IA ?
• Comment équilibrer le progrès avec la prudence ?
• Quels systèmes sont nécessaires pour gérer la capacité exponentielle avant qu’elle ne dépasse le contrôle humain ?

La loi d’OpenAI n’est pas immuable. Comme la loi de Moore avant elle, elle peut finalement ralentir, atteindre un plateau ou être remplacée par un nouveau paradigme. Mais pour l’instant, elle sert à la fois d’avertissement et de feuille de route — nous rappelant que l’avenir de l’IA ne progresse pas seulement, il se compose.

Nous ne sommes pas seulement témoins de l’histoire — nous l’ingénierions à une vitesse exponentielle. Mais avec ce pouvoir vient une responsabilité : s’assurer que l’humanité ne souffre pas d’un préjudice exponentiel aux côtés d’un progrès exponentiel.