DeepMind Skapar AI Som Uppspelar Minnen Liksom Hippocampus

Den mänskliga hjärnan återkallar ofta minnen från det förflutna (tycks) utan anledning. Medan vi går genom vår dag, har vi spontana minnesbilder från våra liv. Medan denna spontana framkallning av minnen länge har varit av intresse för neurovetenskapsmän, publicerade AI-forskningsföretaget DeepMind nyligen en rapport som beskriver hur en av deras AI-replikerade denna underliga mönster av återkallande.

Framkallandet av minnen i hjärnan, neural återuppspelning, är tätt länkat till hippocampus. Hippocampus är en havshestformad bildning i hjärnan som tillhör limbiska systemet, och det är associerat med bildandet av nya minnen, samt de känslor som minnen väcker. Nuvarande teorier om rollen för hippocampi (det finns ett i varje hemisfär av hjärnan), säger att olika områden av hippocampus är ansvariga för hanteringen av olika typer av minnen. Till exempel anses rumslig minne hanteras i den bakre regionen av hippocampus.

Som rapporterats av Jesus Rodriguez, är Dr. John O’Keefe ansvarig för många bidrag till vår förståelse av hippocampus, inklusive hippocampala “plats” celler. Platscellerna i hippocampus utlöses av stimuli i en specifik miljö. Till exempel visade experiment på råttor att specifika neuroner skulle aktiveras när råttorna sprang genom vissa delar av en bana. Forskare fortsatte att övervaka råttorna även när de vilar, och de fann att samma mönster av neuroner som betecknar en del av banan skulle aktiveras, även om de aktiverades i en accelererad takt. Råttorna tycktes återuppspela minnen av banan i sina sinnen.

I människor är återkallande av minnen en viktig del av inlärningsprocessen, men när man försöker aktivera AI för att lära, är det svårt att återskapa fenomenet.

DeepMind-teamet satte sig för att försöka återskapa fenomenet av återkallande med hjälp av förstärkt inlärning. Förstärkt inlärningsalgoritmer fungerar genom att få feedback från deras interaktioner med miljön runt omkring dem, och de belönas när de tar åtgärder som bringar dem närmare det önskade målet. I detta sammanhang spelar förstärkt inlärningsagenten in händelser och spelar sedan upp dem vid senare tillfällen, med systemet som förstärks för att förbättra hur effektivt det återkallar tidigare upplevelser.

DeepMind lade till återuppspelningen av upplevelser till en förstärkt inlärningsalgoritm med hjälp av en återuppspelningsbuffert som skulle spela upp minnen/inspelade upplevelser för systemet vid specifika tillfällen. Vissa versioner av systemet hade upplevelserna spelade upp i slumpmässig ordning, medan andra modeller hade förvalda uppspelningsordningar. Medan forskarna experimenterade med ordningen för uppspelning för förstärkta agenter, experimenterade de också med olika metoder för att spela upp upplevelserna själva.

Det finns två primära metoder som används för att ge förstärkt inlärningsalgoritmer återkallade upplevelser. Dessa metoder är imagination replay-metoden och movie replay-metoden. DeepMind-rapporten använder en analogi för att beskriva båda strategierna:

“Anta att du kommer hem och, till din överraskning och besvikelse, upptäcker vatten som samlas på dina vackra trägolv. När du går in i matsalen, hittar du en trasig vas. Sedan hör du en jämmer och tittar ut genom patio-dörren och ser din hund som ser mycket skyldig ut.”

Som rapporterats av Rodriguez, använder imagination replay-metoden inte inspelning av händelser i den ordning de upplevdes. Istället infers en trolig orsak mellan händelserna. Händelserna infers baserat på agentens förståelse av världen. Samtidigt lagrar movie replay-metoden minnen i den ordning som händelserna inträffade, och spelar upp sekvensen av stimuli – “spillt vatten, trasig vas, hund”. Den kronologiska ordningen för händelserna bevaras.

Forskning från neurovetenskapens område tyder på att movie replay-metoden är avgörande för skapandet av associationer mellan begrepp och anslutningen av neuroner mellan händelser. Men imagination replay-metoden kan hjälpa agenten att skapa nya sekvenser när den resonerar genom analogi. Till exempel kan agenten resonera att om en fat är till olja som en vas är till vatten, kan en fat spillas av en fabriksrobot istället för en hund. Verkligen, när DeepMind undersökte möjligheterna för imagination replay-metoden, fann de att deras inlärningsagent kunde skapa imponerande, innovativa sekvenser genom att ta tidigare upplevelser i beaktande.

De flesta av de nuvarande framstegen inom området förstärkt inlärning minne görs med movie-strategin, även om forskare nyligen har börjat göra framsteg med imagination-strategin. Forskning om båda metoderna för AI-minne kan inte bara möjliggöra bättre prestanda från förstärkt inlärningsagenter, utan också hjälpa oss att få nya insikter om hur den mänskliga hjärnan kan fungera.