Les réseaux de neurones apprennent mieux en imitant les modèles de sommeil humain

Une équipe de chercheurs de l’Université de Californie à San Diego explore comment les réseaux de neurones artificiels pourraient imiter les modèles de sommeil du cerveau humain pour atténuer le problème de l’oubli catastrophique.

La recherche a été publiée dans PLOS Computational Biology.

En moyenne, les humains ont besoin de 7 à 13 heures de sommeil par 24 heures. Alors que le sommeil détend le corps de nombreuses manières, le cerveau reste très actif.

Cerveau actif pendant le sommeil

Maxim Bazhenov, PhD, est professeur de médecine et chercheur sur le sommeil à l’Université de Californie à San Diego, École de médecine.

“Le cerveau est très occupé lorsque nous dormons, en répétant ce que nous avons appris pendant la journée”, déclare Bazhenov. “Le sommeil aide à réorganiser les souvenirs et à les présenter de la manière la plus efficace.”

Bazhenov et son équipe ont publié des travaux précédents sur la façon dont le sommeil construit la mémoire rationnelle, qui est la capacité à se souvenir d’associations arbitraires ou indirectes entre objets, personnes ou événements. Il protège également contre l’oubli de vieux souvenirs.

Le problème de l’oubli catastrophique

Les réseaux de neurones artificiels s’inspirent de l’architecture du cerveau humain pour améliorer les technologies et les systèmes d’intelligence artificielle. Alors que ces technologies ont réussi à atteindre des performances supérieures à celles de l’homme en termes de vitesse de calcul, elles ont une limitation majeure. Lorsque les réseaux de neurones apprennent de manière séquentielle, les nouvelles informations écrasent les informations précédentes dans un phénomène appelé oubli catastrophique.

“En revanche, le cerveau humain apprend de manière continue et intègre de nouvelles données dans les connaissances existantes, et il apprend généralement mieux lorsque de nouvelles formations sont entrecoupées de périodes de sommeil pour la consolidation de la mémoire”, déclare Bazhenov.

L’équipe a utilisé des réseaux de neurones à impulsions qui imitent artificiellement les systèmes neuronaux naturels. Au lieu d’être communiqués de manière continue, les informations sont transmises sous forme d’événements discrets, ou d’impulsions, à certains moments.

Imiter le sommeil dans les réseaux de neurones

Les chercheurs ont découvert que lorsque les réseaux à impulsions étaient formés sur de nouvelles tâches avec des périodes hors ligne occasionnelles imitant le sommeil, le problème de l’oubli catastrophique était atténué. De même que le cerveau humain, les chercheurs disent que le “sommeil” permet aux réseaux de rejouer de vieilles mémoires sans utiliser explicitement les anciennes données de formation.

“Lorsque nous apprenons de nouvelles informations, les neurones s’activent dans un ordre spécifique et cela augmente les synapses entre eux”, déclare Bazhenov. “Pendant le sommeil, les modèles d’impulsions appris pendant notre état de veille sont répétés spontanément. C’est ce qu’on appelle la réactivation ou la répétition.

“La plasticité synaptique, la capacité à être modifiée ou modelée, est toujours présente pendant le sommeil et elle peut encore améliorer les modèles de poids synaptique qui représentent la mémoire, aidant ainsi à prévenir l’oubli ou à permettre le transfert de connaissances d’anciennes à de nouvelles tâches.”

L’équipe a constaté que l’application de cette approche aux réseaux de neurones artificiels les aidait à éviter l’oubli catastrophique.

“Cela signifiait que ces réseaux pouvaient apprendre de manière continue, comme les humains ou les animaux”, poursuit Bazhenov. “Comprendre comment le cerveau humain traite l’information pendant le sommeil peut aider à améliorer la mémoire chez les sujets humains. L’amélioration des rythmes du sommeil peut conduire à une meilleure mémoire.

“Dans d’autres projets, nous utilisons des modèles informatiques pour développer des stratégies optimales pour appliquer des stimulations pendant le sommeil, telles que des tons auditifs, qui améliorent les rythmes du sommeil et l’apprentissage. Cela peut être particulièrement important lorsque la mémoire n’est pas optimale, comme lorsque la mémoire décline avec l’âge ou dans certaines conditions comme la maladie d’Alzheimer.”