Nouvelle recherche suggère que les cerveaux artificiels pourraient bénéficier du sommeil

Une nouvelle recherche issue du Los Alamos National Laboratory suggère que les cerveaux artificiels bénéficient probablement de périodes de repos comme les cerveaux vivants.

La recherche sera présentée au Women in Computer Vision Workshop à Seattle le 14 juin.

Yijing Watkins est un informaticien au Los Alamos National Laboratory.

« Nous étudions les réseaux de neurones à impulsions, qui apprennent de la même manière que les cerveaux vivants », a déclaré Watkins. « Nous étions fascinés par la perspective de former un processeur neuromorphique de manière analogue à celle dont les humains et les autres systèmes biologiques apprennent de leur environnement pendant le développement de l’enfance. »

Résoudre l’instabilité dans les simulations de réseau

Watkins et l’équipe ont constaté que les périodes continues d’apprentissage non supervisé conduisaient à l’instabilité dans les simulations de réseau. Cependant, une fois que l’équipe a introduit les réseaux dans des états qui résultent des ondes que les cerveaux vivants connaissent pendant le sommeil, la stabilité a pu être restaurée.

« C’était comme si nous donnions aux réseaux de neurones l’équivalent d’une bonne nuit de sommeil », a déclaré Watkins.

L’équipe a fait cette découverte alors qu’ils travaillaient sur le développement de réseaux de neurones basés sur la façon dont les humains et les autres systèmes biologiques apprennent à voir. L’équipe a rencontré certains défis lorsqu’il s’agissait de stabiliser les réseaux de neurones simulés qui subissaient une formation de dictionnaire non supervisée. La formation de dictionnaire non supervisée consiste à classer des objets sans avoir d’exemples précédents à utiliser pour comparaison.

Garrett Kenyon est un informaticien au Los Alamos et coauteur de l’étude.

« Le problème de savoir comment empêcher les systèmes d’apprentissage de devenir instables ne se pose vraiment que lorsqu’on tente d’utiliser des processeurs neuromorphiques réaliste et biologiquement inspirés ou lorsqu’on tente de comprendre la biologie elle-même », a déclaré Kenyon. « La grande majorité des chercheurs en apprentissage automatique, en apprentissage profond et en intelligence artificielle ne rencontrent jamais ce problème, car dans les systèmes très artificiels qu’ils étudient, ils ont le luxe de réaliser des opérations mathématiques globales qui ont l’effet de réguler le gain dynamique global du système. »

Le sommeil comme solution de dernier recours

Selon les chercheurs, exposer les réseaux à un analogue artificiel du sommeil a été leur dernier recours pour les stabiliser. Après avoir expérimenté différents types de bruit, qui sont similaires au bruit de fond entre les stations de radio, les meilleurs résultats sont venus des ondes de bruit gaussien. Ce type de bruit comprend une large variété et une gamme de fréquences et d’amplitudes.

Les chercheurs ont émis l’hypothèse que pendant le sommeil à ondes lentes, le bruit imite les entrées reçues par les neurones biologiques. Les résultats suggèrent que le sommeil à ondes lentes pourrait jouer un rôle pour s’assurer que les neurones corticaux ne souffrent pas d’hallucinations et maintiennent leur stabilité.

L’équipe va maintenant travailler sur la mise en œuvre de l’algorithme sur le processeur neuromorphique Loihi d’Intel, espérant que le sommeil aidera à traiter de manière stable les informations provenant d’une caméra à rétine en silicium en temps réel. Si la recherche détermine que les cerveaux artificiels bénéficient du sommeil, la même chose est probablement vraie pour les androïdes et les autres machines intelligentes.

Source : Utilisation de bruit modulé sinusoidalement comme substitut du sommeil à ondes lentes pour réaliser un apprentissage de dictionnaire non supervisé stable dans un modèle de codage épars à base d’impulsions, CVPR Women in Computer Vision Workshop, 2020-06-14 (Seattle, Washington, États-Unis)