Qu’est-ce que la loi des rendements accélérés ? Comment elle conduit à l’AGI

Dans une récente interview, lorsqu’on lui a demandé quand il s’attend à voir l’avènement de l’intelligence artificielle générale (AGI), Elon Musk a répondu “3 à 6 ans”. Le PDG de Google DeepMind, Demis Hassabis, croit maintenant que l’AGI est “à quelques années, peut-être dans une décennie” comme déclaré au The Wall Street Journal’s Future of Everything Festival.

Ces chiffres sont considérés comme optimistes par rapport à la plupart des experts de l’industrie de l’IA qui pensent que l’AGI est souvent à une décennie, voire à un siècle de distance. Une partie de ce pessimisme vient de la peur de s’engager dans un délai plus court pour finalement être prouvé faux. Après tout, en 1956, au Dartmouth Summer Research Project, le terme “intelligence artificielle” a été créé et a démarré comme un domaine, avec l’attente qu’une machine aussi intelligente qu’un être humain existerait en pas plus d’une génération (25 ans).

D’autres, comme Geoffrey Hinton, connu comme le père de l’IA, ont une vision légèrement plus nuancée. “Jusqu’à récemment, je pensais que cela allait prendre 20 à 50 ans avant d’avoir une IA à usage général. Et maintenant, je pense que cela peut prendre 20 ans ou moins.”

L’industrie de l’IA a évolué rapidement au cours des dernières années grâce au développement rapide des algorithmes d’apprentissage par renforcement profond, dont beaucoup alimentent les Large Language Models (LLM) d’aujourd’hui.

Cependant, toutes ces avancées n’ont conduit qu’à des applications d’IA étroites, telles que les chatbots et la traduction de langage. Cela est en comparaison avec l’AGI, un type d’intelligence artificielle qui possède la capacité de comprendre, d’apprendre et d’appliquer des connaissances dans un large éventail de tâches à un niveau comparable à celui d’un être humain.

Le maillon manquant pour l’AGI pour beaucoup semble inatteignable, mais pour quelques-uns qui croient en ce que l’on appelle “la loi des rendements accélérés”, il est inévitable que nous construirons finalement un AGI.

La loi des rendements accélérés a été conceptualisée par personne d’autre que Ray Kurzweil, auteur, inventeur et futuriste. Il est impliqué dans des domaines tels que la reconnaissance optique de caractères (OCR), la synthèse de parole, la technologie de reconnaissance vocale, et il a été embauché par Google après la publication de son livre sur l’IA “How to Create a Mind”. Ce livre révolutionnaire illustre comment nous devons comprendre le cerveau humain pour le rétro-ingénierier et créer la machine à penser ultime. Ce livre a été si instrumental pour l’avenir de l’IA, qu’Eric Schmidt a recruté Ray Kurzweil pour travailler sur des projets d’IA après avoir fini de lire ce livre fondateur.

Le livre le plus pertinent de Ray Kurzweil est sans aucun doute “The Singularity is Near“, puisque sa publication en 2005, ses prédictions ont reflété la croissance technologique au cours des deux dernières décennies. Le plus important, Ray Kurzweil prédit que nous atteindrons l’AGI d’ici 2029, un calendrier qui est en ligne avec l’opinion récente partagée par Elon Musk et Demis Hassabis.

La loi postule que le taux de changement dans une grande variété de systèmes évolutifs (y compris mais sans s’y limiter la croissance des technologies) tend à augmenter de manière exponentielle.

Dans le contexte de la croissance technologique, la loi implique que nous pouvons nous attendre à des avancées technologiques rapides dans le futur, car le rythme de l’innovation technologique s’accélère lui-même.

Cette loi montre comment une croissance explosive de technologies accélérées, actuellement menée par l’IA générative, chevauchera d’autres vagues de technologies exponentielles convergentes telles que la fabrication de puces et l’impression 3D. Cette convergence est le catalyseur pour que l’IA devienne la plus puissante application jamais construite.

En 2001, Ray Kurzweil a prédit ce qui suit :

Une analyse de l’histoire de la technologie montre que le changement technologique est exponentiel, contrairement à la vue “linéaire intuitive” commune. Nous n’allons donc pas vivre 100 ans de progrès au 21e siècle — ce sera plus comme 20 000 ans de progrès (au rythme actuel). Les “rendements”, tels que la vitesse des puces et l’efficacité coût-efficacité, augmentent également de manière exponentielle. Il y a même une croissance exponentielle dans le taux de croissance exponentielle. Dans quelques décennies, l’intelligence machine surpassera l’intelligence humaine, conduisant à la Singularité — un changement technologique si rapide et profond qu’il représente une rupture dans le tissu de l’histoire humaine. Les implications incluent la fusion de l’intelligence biologique et non biologique, des humains basés sur des logiciels immortels et des niveaux d’intelligence ultra-élevés qui s’étendent dans l’univers à la vitesse de la lumière.

Cette explosion technologique est due à la loi de Moore qui a prédit que le nombre de transistors sur une puce donnée doublerait environ tous les deux ans. Cela, combiné à d’autres avancées technologiques, illustre que la loi des rendements accélérés prospère. Ce sont les observations de Ray Kurzweil sur ce que cela signifiera pour l’avenir de l’humanité :

• L’évolution applique une rétroaction positive dans la mesure où les méthodes plus capables résultant d’une étape de progrès évolutif sont utilisées pour créer la prochaine étape. En conséquence, le
• taux de progrès d’un processus évolutif augmente de manière exponentielle au fil du temps. Au fil du temps, l’ “ordre” de l’information incorporée dans le processus évolutif (c’est-à-dire la mesure de la façon dont l’information correspond à un but, qui dans l’évolution est la survie) augmente.
• Un corollaire de l’observation ci-dessus est que les “rendements” d’un processus évolutif (par exemple, la vitesse, l’efficacité coût-efficacité ou la puissance globale d’un processus) augmentent de manière exponentielle au fil du temps.
• Dans une autre boucle de rétroaction positive, à mesure qu’un processus évolutif particulier (par exemple, le calcul) devient plus efficace (par exemple, rentable), plus de ressources sont déployées pour faire progresser davantage ce processus. Cela entraîne un deuxième niveau de croissance exponentielle (c’est-à-dire que le taux de croissance exponentielle lui-même augmente de manière exponentielle).
• L’évolution biologique est un tel processus évolutif.
• L’évolution technologique est un autre processus évolutif. En effet, l’émergence de la première espèce créant des technologies a conduit à un nouveau processus évolutif de la technologie. Par conséquent, l’évolution technologique est une extension de — et une continuation de — l’évolution biologique.
• Un paradigme spécifique (une méthode ou une approche pour résoudre un problème, par exemple, la réduction de la taille des transistors sur un circuit intégré comme approche pour créer des ordinateurs plus puissants) fournit une croissance exponentielle jusqu’à ce que la méthode épuise son potentiel. Lorsque cela se produit, un changement de paradigme (c’est-à-dire un changement fondamental dans l’approche) se produit, qui permet une croissance exponentielle à continuer.

Les lecteurs devraient lire le blog de Kurzweil, puis réfléchir aux implications de cette croissance exponentielle et à la façon dont elle correspond et diffère de ce qu’ils ont personnellement vécu depuis la publication initiale du blog.

La loi des rendements accélérés, bien que moins populaire que la loi de Moore, reste aussi pertinente aujourd’hui qu’à sa publication initiale.