DeepMind découvre une technique d’entraînement d’IA qui pourrait également fonctionner dans notre cerveau

DeepMind vient de publier un article détaillant comment un nouveau type d’apprentissage par renforcement pourrait potentiellement expliquer comment les voies de récompense dans le cerveau humain fonctionnent. Comme le rapporte NewScientist, la méthode d’entraînement d’IA est appelée apprentissage par renforcement distributionnel et les mécanismes qui la sous-tendent semblent expliquer de manière plausible comment la dopamine est libérée par les neurones dans le cerveau.

Les neurosciences et l’informatique ont une longue histoire commune. Dès 1951, Marvin Minsky a utilisé un système de récompenses et de punitions pour créer un programme informatique capable de résoudre un labyrinthe. Minsky s’est inspiré du travail d’Ivan Pavlov, un physiologiste qui a démontré que les chiens pouvaient apprendre à travers une série de récompenses et de punitions. Le nouvel article de DeepMind ajoute à l’histoire commune des neurosciences et de l’informatique en appliquant un type d’apprentissage par renforcement pour mieux comprendre comment les neurones de la dopamine pourraient fonctionner.

Lorsqu’une personne ou un animal est sur le point de réaliser une action, les collections de neurones dans son cerveau responsables de la libération de la dopamine font une prédiction sur la récompense que cette action apportera. Une fois l’action réalisée et les conséquences (récompenses) de cette action rendues apparentes, le cerveau libère de la dopamine. Cependant, cette libération de dopamine est proportionnelle à la taille de l’erreur de prédiction. Si la récompense est plus grande/mieux que prévu, un surplus plus important de dopamine est déclenché. En revanche, une récompense moins bonne entraîne une libération de dopamine moins importante. La dopamine sert de fonction corrective qui amène les neurones à affiner leurs prédiction jusqu’à ce qu’ils convergent vers les récompenses réelles gagnées. Cela ressemble beaucoup à la façon dont les algorithmes d’apprentissage par renforcement fonctionnent.

En 2017, les chercheurs de DeepMind ont publié une version améliorée d’un algorithme d’apprentissage par renforcement couramment utilisé, et cette méthode d’apprentissage supérieure a permis d’améliorer les performances dans de nombreuses tâches d’apprentissage par renforcement. L’équipe de DeepMind a pensé que les mécanismes derrière le nouvel algorithme pourraient être utilisés pour mieux expliquer comment les neurones de la dopamine fonctionnent dans le cerveau humain.

Contrairement aux anciens algorithmes d’apprentissage par renforcement, le nouvel algorithme de DeepMind représente les récompenses sous forme de distribution. Les anciennes approches d’apprentissage par renforcement représentaient les récompenses estimées sous la forme d’un seul nombre qui représentait le résultat moyen attendu. Ce changement a permis au modèle de représenter plus précisément les récompenses possibles et d’améliorer ses performances en conséquence. Les meilleures performances de la nouvelle méthode d’entraînement ont incité les chercheurs de DeepMind à investiguer si les neurones de la dopamine dans le cerveau humain fonctionnent de manière similaire.

Afin d’étudier le fonctionnement des neurones de la dopamine, DeepMind a travaillé avec Harvard pour rechercher l’activité des neurones de la dopamine chez les souris. Les chercheurs ont fait réaliser diverses tâches aux souris et leur ont donné des récompenses en fonction du résultat d’un lancer de dés, enregistrant comment leurs neurones de la dopamine se sont activés. Différents neurones semblaient prédire différents résultats potentiels, libérant différentes quantités de dopamine. Certains neurones prédisaient des résultats inférieurs à la récompense réelle, tandis que d’autres prédisaient des récompenses supérieures à la récompense réelle. Après avoir tracé la distribution des prédictions de récompense, les chercheurs ont constaté que la distribution des prédictions était assez proche de la distribution réelle de récompense. Cela suggère que le cerveau utilise bien un système distributionnel lorsqu’il fait des prédictions et ajuste les prédictions pour mieux correspondre à la réalité.

L’étude pourrait éclairer à la fois les neurosciences et l’informatique. L’étude soutient l’utilisation de l’apprentissage par renforcement distributionnel comme méthode pour créer des modèles d’IA plus avancés. Au-delà de cela, elle pourrait avoir des implications pour nos théories sur la façon dont le cerveau fonctionne en ce qui concerne les systèmes de récompense. Si les neurones de la dopamine sont distribués et que certains sont plus pessimistes ou optimistes que d’autres, la compréhension de ces distributions pourrait modifier notre approche de certains aspects de la psychologie, tels que la santé mentale et la motivation.

Comme le rapporte MIT Technology Review, Matt Botvinik, le directeur de la recherche en neurosciences chez DeepMind, a expliqué l’importance des résultats lors d’une conférence de presse. Botvinik a déclaré:

« Si le cerveau l’utilise, c’est probablement une bonne idée. Cela nous indique que c’est une technique de calcul qui peut être appliquée dans des situations réelles. Elle sera compatible avec d’autres processus de calcul. Cela nous donne une nouvelle perspective sur ce qui se passe dans notre cerveau au cours de la vie quotidienne »