DeepMind skaber AI, der genspiller minder som hippocampus

Menneskets hjerne genkalder ofte gamle minder (synes) upåvirket. Mens vi går igennem vores dag, har vi spontane glimt af minder fra vores liv. Mens denne spontane fremkaldelse af minder har længe været af interesse for neuroforskere, offentliggjorde AI-forskningsfirmaet DeepMind nylig en artikel, der beskriver, hvordan en af deres AI’er genspillede denne underlige mønster af genkaldelse.

Genkaldelsen af minder i hjernen, neural genspilning, er tæt knyttet til hippocampus. Hippocampus er en hesteskoformet dannelse i hjernen, der tilhører limbiske system, og det er forbundet med dannelse af nye minder samt de følelser, som minder vækker. Nuvaerende teorier om hippocampi (der er en i hver hjernehalvdel), fastslår, at forskellige regioner af hippocampus er ansvarlige for håndtering af forskellige typer af minder. For eksempel menes det, at rummelig hukommelse håndteres i den bagerste del af hippocampus.

Som Jesus Rodriguez rapporterede, er Dr. John O’Keefe ansvarlig for mange bidrag til vores forståelse af hippocampus, herunder hippocampale “place”-celler. Place-cellene i hippocampus udløses af stimuli i en bestemt omgang. For eksempel viste eksperimenter på rotter, at bestemte neuroner ville affyre, når rotterne løb gennem visse dele af en bane. Forskerne overvågede rotterne, selv når de hvilede, og fandt, at de samme mønstre af neuroner, der angav en del af labyrinten, ville affyre, selvom de affyrede i en accelereret hastighed. Rotterne syntes at genspille minder om labyrinten i deres sind.

Hos mennesker er genkaldelse af minder en vigtig del af læreprocessen, men når man forsøger at aktivere AI til at lære, er det svært at genskabe fænomenet.

DeepMind-holdet satte sig for at genskabe fænomenet med genkaldelse ved hjælp af forstærket læring. Forstærket læringsalgoritmer fungerer ved at få feedback fra deres interaktioner med omgivelserne, og de belønnes, når de tager handlinger, der bringer dem tættere på det ønskede mål. I denne sammenhæng optager forstærket læringssystemet begivenheder og afspiller dem senere, og systemet forstærkes til at forbedre, hvor effektivt det genspiller tidligere oplevelser.

DeepMind tilføjede genspilning af oplevelser til en forstærket læringssalgoritme ved hjælp af en genspilningsbuffer, der afspillede minder/optagede oplevelser til systemet på bestemte tidspunkter. Nogle versioner af systemet havde oplevelserne afspillet i tilfældige rækkefølge, mens andre modeller havde forudvalgte afspilningsrækkefølger. Mens forskerne eksperimenterede med afspilningsrækkefølgen for forstærkede agenter, eksperimenterede de også med forskellige metoder til genspilning af oplevelserne selv.

Der er to primære metoder, der anvendes til at give forstærkede algoritmer genspillede oplevelser. Disse metoder er imagination genspilningsmetoden og film genspilningsmetoden. DeepMind-artiklen bruger en analogi til at beskrive begge strategier:

“Forestil dig, at du kommer hjem og, til din overraskelse og fortvivlelse, opdager vand, der samler sig på dine smukke trægulve. Når du træder ind i spisesalen, finder du en knust vase. Så hører du en jamren, og du kigger ud ad patio-døren og ser din hund se meget skyldig ud.”

Som Rodriguez rapporterede, genspiller imagination genspilningsmetoden ikke begivenhederne i den rækkefølge, de blev oplevet. I stedet infærer den en sandsynlig årsag mellem begivenhederne. Begivenhederne infæres på baggrund af agentens forståelse af verden. Imens gemmer film genspilningsmetoden minder i den rækkefølge, begivenhederne fandt sted, og afspiller sekvensen af stimuli – “spildt vand, knust vase, hund”. Den kronologiske rækkefølge af begivenheder bevares.

Forskning fra neurovidenskabens felt antyder, at film genspilningsmetoden er afgørende for skabelsen af associationer mellem begreber og forbindelsen af neuroner mellem begivenheder. Imens kunne imagination genspilningsmetoden hjælpe agenten med at skabe nye sekvenser, når den resonnerer ved analogi. For eksempel kunne agenten resonere, at hvis en tønde er til olie, som en vase er til vand, kunne en tønde være væltet af en fabriksrobot i stedet for en hund. Da DeepMind dykkede dybere ind i mulighederne for imagination genspilningsmetoden, fandt de, at deres lærende agent kunne skabe imponerende, innovative sekvenser ved at tage tidligere oplevelser i betragtning.

Det meste af den nuværende fremgang i området forstærket læringshukommelse sker med filmstrategien, selvom forskere for nylig er begyndt at gøre fremskridt med imaginationstrategien. Forskning i begge metoder til AI-hukommelse kan ikke kun aktivere bedre præstationer fra forstærkede lærende agenter, men kan også hjælpe os med at opnå nye indsigt i, hvordan det menneskelige sind måske fungerer.