Les experts surmontent un obstacle majeur dans la technologie de l’IA en utilisant un mécanisme cérébral

Un groupe d’experts en intelligence artificielle (IA) de diverses institutions a surmonté un “obstacle majeur et de longue date pour accroître les capacités de l’IA”. L’équipe s’est tournée vers le cerveau humain, ce qui est le cas pour de nombreux développements de l’IA. Plus précisément, l’équipe s’est concentrée sur le mécanisme de mémoire du cerveau humain connu sous le nom de “replay”.

Gido van de Ven est l’auteur principal et un chercheur postdoctoral. Il a été rejoint par le principal investigateur Andreas Tolias à Baylor, ainsi que par Hava Siegelmann à UMass Amherst.

La recherche a été publiée dans Nature Communications.

La nouvelle méthode

Selon les chercheurs, ils ont élaboré une nouvelle méthode qui protège efficacement les réseaux de neurones profonds contre l'”oubli catastrophique”. Lorsqu’un réseau de neurones apprend quelque chose de nouveau, il peut oublier ce qui a été appris précédemment.

Cet obstacle est ce qui empêche de nombreux progrès de l’IA de se produire.

“Une solution consisterait à stocker des exemples précédemment rencontrés et à les revoir lors de l’apprentissage de quelque chose de nouveau. Bien que ce ‘replay’ ou ‘répétition’ résolve l’oubli catastrophique, le fait de réentraîner constamment sur toutes les tâches précédemment apprises est très inefficace et la quantité de données qui devrait être stockée devient rapidement ingérable”, ont écrit les chercheurs.

Le cerveau humain

Les chercheurs ont puisé leur inspiration dans le cerveau humain, puisqu’il est capable de construire des informations sans les oublier, ce qui n’est pas le cas des réseaux de neurones de l’IA. Le développement actuel a été construit sur des travaux précédents effectués par les chercheurs, notamment des découvertes concernant un mécanisme du cerveau qui est censé être responsable de l’empêchement de l’oubli des mémoires. Ce mécanisme est le replay des modèles d’activité neuronale.

Selon Siegelmann, le développement majeur provient de la “reconnaissance du fait que le replay dans le cerveau ne stocke pas de données”, mais “le cerveau génère des représentations de mémoires à un niveau élevé, plus abstrait, sans besoin de générer des mémoires détaillées”.

Siegelmann a pris cette information et a rejoint ses collègues pour développer un replay similaire à celui du cerveau avec l’intelligence artificielle, sans stocker de données. Comme c’est le cas pour le cerveau humain, le réseau artificiel prend ce qu’il a vu précédemment pour générer des représentations de niveau élevé.

La méthode a été très efficace, même avec seulement quelques représentations générées par replay, ce qui a permis de se souvenir de vieilles mémoires tout en apprenant de nouvelles. Le replay génératif est efficace pour prévenir l’oubli catastrophique, et l’un des principaux avantages est qu’il permet au système de généraliser d’une situation à une autre.

Selon van de Ven, “Si notre réseau avec replay génératif apprend d’abord à séparer les chats des chiens, puis à séparer les ours des renards, il pourra également distinguer les chats des renards sans avoir été spécifiquement formé pour le faire. Et de manière notable, plus le système apprend, mieux il devient à l’apprentissage de nouvelles tâches”.

“Nous proposons une nouvelle variante de replay inspirée du cerveau, dans laquelle des représentations internes ou cachées sont répétées, générées par les connexions de rétroaction modulées par le contexte du réseau”, écrivent l’équipe. “Notre méthode a atteint des performances de pointe sur des benchmarks d’apprentissage continu difficiles sans stocker de données, et elle fournit un modèle novateur pour le replay abstrait dans le cerveau”.

“Notre méthode fait plusieurs prédictions intéressantes sur la façon dont le replay pourrait contribuer à la consolidation de la mémoire dans le cerveau”, poursuit Van de Ven. “Nous sommes déjà en train de réaliser une expérience pour tester certaines de ces prédictions”.