DeepMind creëert AI die herinneringen afspelen zoals de hippocampus

De menselijke hersenen herinneren zich vaak het verleden (schijnbaar) zonder aanleiding. Terwijl we ons dagelijks leven leiden, hebben we plotselinge flitsen van herinneringen uit ons leven. Hoewel deze spontane oproeping van herinneringen al lang een onderwerp van interesse is voor neurologen, publiceerde het AI-onderzoeksbedrijf DeepMind onlangs een artikel over hoe een van hun AI’s dit vreemde patroon van herinneringen nabootste.

De oproeping van herinneringen in de hersenen, neurale replay, is nauw verbonden met de hippocampus. De hippocampus is een paardenvormige structuur in de hersenen die deel uitmaakt van het limbische systeem en geassocieerd wordt met de vorming van nieuwe herinneringen, evenals de emoties die herinneringen opwekken. Huidige theorieën over de rol van de hippocampi (er is een in elke hersenhelft), stellen dat verschillende delen van de hippocampus verantwoordelijk zijn voor het omgaan met verschillende soorten herinneringen. Bijvoorbeeld, wordt aangenomen dat ruimtelijke herinneringen worden verwerkt in het achterste deel van de hippocampus.

Volgens Jesus Rodriguez, dr. John O’Keefe is verantwoordelijk voor veel bijdragen aan ons begrip van de hippocampus, waaronder de hippocampale “place” cellen. De place cellen in de hippocampus worden geactiveerd door stimuli in een specifieke omgeving. Als voorbeeld, toonden experimenten met ratten aan dat specifieke neuronen zouden vuren wanneer de ratten door bepaalde delen van een baan renden. Onderzoekers bleven de ratten monitoren, zelfs wanneer ze rustten, en vonden dat dezelfde patronen van neuronen die een deel van de doolhof aangaven, zouden vuren, hoewel ze sneller vuurden. Het leek alsof de ratten herinneringen aan de doolhof in hun geest afspeelden.

Bij mensen is het oproepen van herinneringen een belangrijk onderdeel van het leerproces, maar wanneer men probeert AI te laten leren, is het moeilijk om dit fenomeen na te bootsen.

Het DeepMind-team probeerde het fenomeen van herinneringen te recreëren met behulp van versterkingsleren. Versterkingsleren-algoritmen werken door feedback te krijgen van hun interacties met de omgeving, en beloningen te ontvangen wanneer ze acties uitvoeren die hen dichter bij het gewenste doel brengen. In deze context registreert de versterkingsleren-agent gebeurtenissen en speelt ze later af, waarbij het systeem wordt versterkt om de efficiëntie waarmee het herinneringen oproept te verbeteren.

DeepMind voegde de replay van ervaringen toe aan een versterkingsleren-algoritme met behulp van een replay-buffer die herinneringen/ervaringen op specifieke tijdstippen zou afspelen. Sommige versies van het systeem speelden ervaringen af in willekeurige volgorde, terwijl andere modellen een vooraf geselecteerde afspeelvolgorde hadden. Terwijl de onderzoekers experimenteerden met de volgorde van afspelen voor de versterkingsagenten, experimenteerden ze ook met verschillende methoden voor het afspelen van ervaringen.

Er zijn twee primaire methoden die worden gebruikt om versterkingsalgoritmen te voorzien van herinneringen. Deze methoden zijn de imagination replay-methode en de movie replay-methode. Het DeepMind-artikel gebruikt een analogie om beide strategieën te beschrijven:

“Stel dat je thuiskomt en, tot je verbazing en ontsteltenis, ontdekt dat er water op je mooie houten vloeren staat. Als je de eetkamer binnenstapt, vind je een gebroken vaas. Dan hoor je een jankend geluid en je kijkt uit het patiodeur om je hond te zien, die er erg schuldig uitziet.”

Volgens Rodriguez, bootst de imagination replay-methode de gebeurtenissen niet na in de volgorde waarin ze zijn ervaren. In plaats daarvan wordt een waarschijnlijke oorzaak tussen de gebeurtenissen afgeleid. De gebeurtenissen worden afgeleid op basis van de kennis van de agent over de wereld. Intussen slaat de movie replay-methode herinneringen op in de volgorde waarin de gebeurtenissen plaatsvonden en speelt de sequentie van stimuli af – “water, gebroken vaas, hond”. De chronologische volgorde van gebeurtenissen wordt behouden.

Onderzoek uit de neurowetenschap suggereert dat de movie replay-methode essentieel is voor het creëren van associaties tussen concepten en het verbinden van neuronen tussen gebeurtenissen. Echter, de imagination replay-methode kan de agent helpen om nieuwe sequenties te creëren wanneer het redeneert door analogie. Bijvoorbeeld, de agent kan redeneren dat als een vat olie is voor een vat, een vaas water is, een vat olie kan worden omgestoten door een fabrieksrobot in plaats van een hond. Inderdaad, toen DeepMind dieper inging op de mogelijkheden van de imagination replay-methode, vonden ze dat hun leeragent in staat was om indrukwekkende, innovatieve sequenties te creëren door eerdere ervaringen te betrekken.

De meeste huidige vooruitgang in het gebied van versterkingsleren-geheugen wordt gemaakt met de movie-strategie, hoewel onderzoekers onlangs begonnen zijn om vooruitgang te boeken met de imagination-strategie. Onderzoek naar beide methoden van AI-geheugen kan niet alleen betere prestaties van versterkingsleren-agenten mogelijk maken, maar kan ons ook helpen om nieuwe inzichten te krijgen in hoe de menselijke geest mogelijk functioneert.