Les chercheurs affirment que les humains ne seraient pas en mesure de contrôler un système d’IA superintelligent

Toute personne qui est consciente de l’intelligence artificielle (IA) a probablement entendu une version ou une autre de l’histoire selon laquelle elle finirait par échapper au contrôle humain. Ce n’est pas seulement un thème de films de science-fiction, mais plutôt une possibilité très forte qui inquiète de nombreux experts dans l’industrie. De nombreux experts, y compris des scientifiques, préconisent que nous commençons à nous préparer à cette possibilité et à l’éviter dans la mesure du possible.

Maintenant, une équipe internationale de chercheurs a pris cette idée et l’a étayée par des calculs théoriques. L’équipe, qui comprenait des scientifiques du Center for Humans and Machines du Max Planck Institute for Human Development, a utilisé ces calculs pour démontrer qu’il ne serait pas possible de contrôler un système d’IA superintelligent.

La recherche a été récemment publiée dans le Journal of Artificial Intelligence Research.

Système d’IA superintelligent

La crainte d’un système d’IA superintelligent est liée au fait que tel un système serait nettement supérieur aux humains. Il serait capable non seulement d’apprendre de manière indépendante, mais il pourrait également accéder à toutes les données existantes et les traiter extrêmement rapidement.

Un tel événement pourrait conduire à ce qu’un système d’IA superintelligent prenne le contrôle de toutes les machines existantes en ligne, et bien qu’il puisse et ferait des choses comme guérir des maladies et résoudre d’autres problèmes majeurs auxquels l’humanité est confrontée, le risque de perdre le contrôle est également élevé.

Manuel Cebrian est co-auteur de l’étude et chef du groupe de mobilisation numérique du Center for Humans and Machines, Max Planck Institute for Human Development.

“Un système super-intelligent qui contrôle le monde ressemble à de la science-fiction. Mais il y a déjà des machines qui effectuent certaines tâches importantes de manière indépendante sans que les programmeurs comprennent pleinement comment ils ont appris. La question se pose donc de savoir si cela pourrait à un moment donné devenir incontrôlable et dangereux pour l’humanité”, déclare Cebrian.

Contrôle du système

Il y a deux écoles de pensée majeures lorsqu’il s’agit de contrôler un tel système. Premièrement, les humains pourraient limiter les capacités d’un système d’IA superintelligent en restreignant son accès à certaines sources de données, telles que l’ensemble d’Internet. Le système pourrait également fonctionner sans entrer en contact avec le monde extérieur. Cependant, le problème est que cela limiterait considérablement le potentiel de l’IA.

Le système serait contrôlé en ne lui permettant de poursuivre que des résultats qui profiteraient à l’humanité, et cela pourrait être fait en intégrant des principes éthiques.

L’étude a consisté pour l’équipe à développer un algorithme de contrainte théorique qui empêche l’IA superintelligente de nuire aux humains dans toutes les circonstances. Cela peut être réalisé en créant d’abord une simulation du comportement de l’IA et en détectant tout comportement qui pourrait être nocif. Malgré cette théorie prometteuse, l’analyse actuelle montre qu’un tel algorithme ne peut pas être développé.

Iyad Rahwan est directeur du Center for Humans and Machines.

“Si vous décomposez le problème en règles de base de l’informatique théorique, il s’avère qu’un algorithme qui commanderait à une IA de ne pas détruire le monde pourrait involontairement arrêter ses propres opérations. Si cela se produisait, vous ne sauriez pas si l’algorithme de contrainte est toujours en train d’analyser la menace, ou s’il a arrêté de contenir l’IA nocive. En effet, cela rend l’algorithme de contrainte inutilisable”, déclare Rahwan.

Un autre problème est que les experts ne réalisent peut-être même pas quand une machine superintelligente atteint cet état, principalement en raison du fait qu’elle serait plus intelligente que les humains.