DeepMind ontdekt AI-trainingsmethode die mogelijk ook in onze hersenen werkt

DeepMind heeft onlangs een paper gepubliceerd waarin wordt uitgelegd hoe een nieuw type versterkingsleren mogelijk de werking van beloningspaden in de menselijke hersenen kan verklaren. Volgens NewScientist is de machine learning-trainingsmethode genaamd distributioneel versterkingsleren en lijken de mechanismen erachter plausibel te verklaren hoe dopamine wordt vrijgegeven door neuronen in de hersenen.

Neuroscience en computerwetenschappen hebben een lange geschiedenis samen. Al in 1951 gebruikte Marvin Minsky een systeem van beloningen en straffen om een computerprogramma te creëren dat een doolhof kon oplossen. Minsky werd geïnspireerd door het werk van Ivan Pavlov, een fysioloog die aantoonde dat honden konden leren door een reeks van beloningen en straffen. DeepMinds nieuwe paper voegt toe aan de verweven geschiedenis van neuroscience en computerwetenschappen door een type versterkingsleren toe te passen om inzicht te krijgen in hoe dopamine-neuronen mogelijk functioneren.

Wanneer een persoon of dier op het punt staat een actie uit te voeren, maken de verzamelingen van neuronen in hun hersenen die verantwoordelijk zijn voor de vrijgave van dopamine een voorspelling over hoe belonend de actie zal zijn. Zodra de actie is uitgevoerd en de gevolgen (beloningen) van die actie duidelijk zijn, geeft de hersenen dopamine vrij. Deze vrijgave van dopamine wordt echter geschaald in overeenstemming met de grootte van de fout in de voorspelling. Als de beloning groter/beter is dan verwacht, wordt een sterker dopamine-gehalte geactiveerd. In tegenstelling tot een slechtere beloning, leidt tot minder dopamine-vrijgave. De dopamine dient als een correctiefunctie die de neuronen helpt om hun voorspellingen te verfijnen totdat ze overeenkomen met de daadwerkelijke beloningen die worden verdiend. Dit is zeer vergelijkbaar met hoe versterkingsleren-algoritmes werken.

In 2017 hebben DeepMind-onderzoekers een verbeterde versie van een veelgebruikt versterkingsleren-algoritme vrijgegeven, en deze superieure leermethode kon de prestaties op veel versterkingsleren-taken verbeteren. Het DeepMind-team dacht dat de mechanismen achter het nieuwe algoritme konden worden gebruikt om beter te begrijpen hoe dopamine-neuronen in de menselijke hersenen werken.

In tegenstelling tot oudere versterkingsleren-algoritmes, vertegenwoordigt DeepMinds nieuwere algoritme beloningen als een distributie. Oudere versterkingsleren-benaderingen vertegenwoordigden geschatte beloningen als één enkel nummer dat de gemiddelde verwachte uitkomst vertegenwoordigde. Deze verandering stelde het model in staat om mogelijke beloningen nauwkeuriger te vertegenwoordigen en als gevolg beter te presteren. De superieure prestaties van de nieuwe trainingsmethode hebben de DeepMind-onderzoekers ertoe aangezet om te onderzoeken of dopamine-neuronen in de menselijke hersenen op een soortgelijke manier werken.

Om de werking van dopamine-neuronen te onderzoeken, werkte DeepMind samen met Harvard om de activiteit van dopamine-neuronen in muizen te onderzoeken. De onderzoekers lieten de muizen verschillende taken uitvoeren en gaven hen beloningen op basis van het rollen van dobbelstenen, en ze registreerden hoe hun dopamine-neuronen vuurden. Verschillende neuronen leken verschillende mogelijke resultaten te voorspellen en vrijgaven verschillende hoeveelheden dopamine. Sommige neuronen voorspelden lager dan de daadwerkelijke beloning, terwijl andere neuronen beloningen voorspelden die hoger waren dan de daadwerkelijke beloning. Na het grafischer maken van de distributie van de beloningsvoorspellingen, vonden de onderzoekers dat de distributie van voorspellingen redelijk dicht bij de echte beloningsdistributie lag. Dit suggereert dat de hersenen inderdaad een distributioneel systeem gebruiken bij het maken van voorspellingen en het aanpassen van voorspellingen om beter overeen te komen met de realiteit.

De studie kan zowel neuroscience als computerwetenschappen informeren. De studie ondersteunt het gebruik van distributioneel versterkingsleren als methode om meer geavanceerde AI-modellen te creëren. Bovendien kan het implicaties hebben voor onze theorieën over hoe de hersenen werken met betrekking tot beloningsystemen. Als dopamine-neuronen gedistribueerd zijn en sommige meer pessimistisch of optimistisch zijn dan anderen, kan het begrijpen van deze distributies onze aanpak van aspecten van de psychologie zoals geestelijke gezondheid en motivatie veranderen.

Volgens MIT Technology View legde Matt Botvinik, de directeur van neuroscience-onderzoek bij DeepMind, de belangrijkheid van de bevindingen uit bij een persconferentie. Botvinik zei:

“Als de hersenen het gebruiken, is het waarschijnlijk een goed idee. Het vertelt ons dat dit een computationele techniek is die kan schalen in real-world situaties. Het past goed bij andere computationele processen. Het geeft ons een nieuw perspectief op wat er gebeurt in onze hersenen tijdens het dagelijks leven”