DeepMind Skapar AI som Uppspelar Minnen som Hippocampus

Människohjärnan återkallar ofta minnen från det förflutna (tycks) utan anledning. Medan vi går genom vår dag har vi spontana minnesbilder från våra liv. Medan denna spontana framkallning av minnen har länge varit av intresse för neurovetenskapsmän, publicerade AI-forskningsföretaget DeepMind nyligen en artikel som beskriver hur en av deras AI-replikerade denna underliga mönster av återkallande.

Framkallandet av minnen i hjärnan, neural återuppspelning, är tätt kopplat till hippocampus. Hippocampus är en havshestformad struktur i hjärnan som tillhör limbiska systemet, och det är associerat med bildandet av nya minnen, samt de känslor som minnen väcker. Nuvarande teorier om rollen för hippocampus (det finns en i varje hemisfär av hjärnan), säger att olika regioner av hippocampus är ansvariga för hanteringen av olika typer av minnen. Till exempel anses rumslig minne hanteras i den bakre regionen av hippocampus.

Som rapporterats av Jesus Rodriguez, är Dr. John O’Keefe ansvarig för många bidrag till vår förståelse av hippocampus, inklusive hippocampala “plats” celler. Platscellerna i hippocampus utlöses av stimuli i en specifik miljö. Till exempel visade experiment på råttor att specifika neuroner skulle aktiveras när råttorna sprang genom vissa delar av en bana. Forskarna fortsatte att övervaka råttorna även när de vilar, och de fann att samma mönster av neuroner som betecknade en del av labyrinten skulle aktiveras, även om de aktiverades i en accelererad takt. Råttorna tycktes återuppspela minnen av labyrinten i sina sinnen.

Hos människor är återkallande av minnen en viktig del av inlärningsprocessen, men när man försöker aktivera AI för att lära, är det svårt att återskapa fenomenet.

DeepMind-teamet satte igång för att försöka återskapa fenomenet av återkallande med hjälp av förstärkt inlärning. Förstärkt inlärningsalgoritmer fungerar genom att få feedback från deras interaktioner med omgivningen, och de belönas när de tar åtgärder som bringar dem närmare det önskade målet. I detta sammanhang spelar förstärkt inlärningsagenten in händelser och spelar sedan upp dem vid senare tillfällen, med systemet förstärkt för att förbättra hur effektivt det återkallar tidigare upplevelser.

DeepMind lade till återuppspelningen av upplevelser till en förstärkt inlärningsalgoritm med hjälp av en återuppspelningsbuffert som skulle spela upp minnen/inspelade upplevelser till systemet vid specifika tillfällen. Vissa versioner av systemet hade upplevelserna spelade upp i slumpmässig ordning, medan andra modeller hade förvalda uppspelningsordningar. Medan forskarna experimenterade med ordningen för uppspelning för förstärkta agenter, experimenterade de också med olika metoder för att spela upp upplevelserna själva.

Det finns två primära metoder som används för att ge förstärkt algoritmer med återkallade upplevelser. Dessa metoder är imagination-återuppspelningsmetoden och film-återuppspelningsmetoden. DeepMind-artikeln använder en analogi för att beskriva båda strategierna:

”Anta att du kommer hem och, till din överraskning och förtret, upptäcker vatten som samlas på dina vackra trägolv. När du går in i matsalen hittar du en trasig vas. Sedan hör du ett jämmer och tittar ut genom patio-dörren och ser din hund som ser mycket skyldig ut.”

Som rapporterats av Rodriguez, imagination-återuppspelningsmetoden spelar inte in händelserna i den ordning de upplevdes. Istället infers en trolig orsak mellan händelserna baserat på agentens förståelse av världen. Samtidigt lagrar film-återuppspelningsmetoden minnen i den ordning som händelserna inträffade, och spelar upp sekvensen av stimuli – ”spillt vatten, trasig vas, hund”. Den kronologiska ordningen för händelserna bevaras.

Forskning från neurovetenskapens område tyder på att film-återuppspelningsmetoden är avgörande för skapandet av associationer mellan begrepp och anslutningen av neuroner mellan händelser. Men imagination-återuppspelningsmetoden kunde hjälpa agenten att skapa nya sekvenser när den resonerar genom analogi. Till exempel kunde agenten resonera att om en tunna är till olja som en vas är till vatten, kunde en tunna spillts av en fabriksrobot istället för en hund. Verkligen, när DeepMind undersökte möjligheterna med imagination-återuppspelningsmetoden, fann de att deras inlärningsagent kunde skapa imponerande, innovativa sekvenser genom att ta tidigare upplevelser i beaktande.

De flesta av de nuvarande framstegen som görs inom området förstärkt inlärning minne görs med filmstrategin, även om forskare nyligen har börjat göra framsteg med imaginationstrategin. Forskning om båda metoderna för AI-minne kan inte bara möjliggöra bättre prestanda från förstärkt inlärningsagenter, utan kan också hjälpa oss att få ny insikt i hur den mänskliga hjärnan kan fungera.