DeepMind skaber AI, der afspiller minder som Hippocampus

Den menneskelige hjerne genkalder ofte tidligere minder (tilsyneladende) uopfordret. Mens vi går gennem vores dag, har vi spontane glimt af hukommelse fra vores liv. Mens denne spontane fremmaning af minder længe har været interessant for neurovidenskabsmænd, har AI-forskningsfirmaet DeepMind for nylig udgivet et papir beskriver, hvordan en AI af deres replikerede dette mærkelige mønster af tilbagekaldelse.

Fremkaldelsen af ​​minder i hjernen, neural replay, er tæt forbundet med hippocampus. Hippocampus er en søhesteformet formation i hjernen, der hører til det limbiske system, og den er forbundet med dannelsen af ​​nye erindringer, samt de følelser, som minderne sætter gang i. Aktuelle teorier om hippocampus rolle (der er en i hver hjernehalvdel) siger, at forskellige regioner af hippocampus er ansvarlige for håndteringen af ​​forskellige typer minder. For eksempel menes rumlig hukommelse at blive håndteret i den bageste region af hippocampus.

Som rapporteret af Jesus Rodriguez,  Dr. John O'Keefe er ansvarlig for mange bidrag til vores forståelse af hippocampus, herunder hippocampus "placere" celler. Pladscellerne i hippocampus udløses af stimuli i et specifikt miljø. Som et eksempel viste eksperimenter på rotter, at specifikke neuroner ville fyre, når rotterne løb gennem bestemte dele af et spor. Forskere fortsatte med at overvåge rotterne, selv når de hvilede, og de fandt ud af, at de samme mønstre af neuroner, der betegner en del af labyrinten, ville skyde, selvom de skød med en accelereret hastighed. Rotterne så ud til at afspille minderne om labyrinten i deres sind.

Hos mennesker er genkaldelse af minder en vigtig del af læreprocessen, men når man forsøger at sætte AI i stand til at lære, er det svært at genskabe fænomenet.

DeepMind-teamet gik i gang med at forsøge at genskabe fænomenet tilbagekaldelse ved hjælp af forstærkende læring. Forstærkende læringsalgoritmer fungerer ved at få feedback fra deres interaktioner med omgivelserne omkring dem og blive belønnet, når de foretager handlinger, der bringer dem tættere på det ønskede mål. I denne sammenhæng optager forstærkningslæringsagenten hændelser og afspiller dem derefter på senere tidspunkter, hvor systemet bliver forstærket for at forbedre, hvor effektivt det ender med at genkalde tidligere oplevelser.

DeepMind føjede genafspilning af oplevelser til en forstærkende indlæringsalgoritme ved hjælp af en genafspilningsbuffer, der kunne afspille minder/optagne oplevelser til systemet på bestemte tidspunkter. Nogle versioner af systemet fik oplevelserne afspillet i tilfældige rækkefølger, mens andre modeller havde forudvalgte afspilningsrækkefølger. Mens forskerne eksperimenterede med afspilningsrækkefølgen for forstærkningsmidlerne, eksperimenterede de også med forskellige metoder til at afspille selve oplevelserne.

Der er to primære metoder, der bruges til at give forstærkningsalgoritmer med genkaldte oplevelser. Disse metoder er gengivelsesmetoden for fantasi og genafspilning af film. DeepMind-papiret bruger en analogi til at beskrive begge strategier:

“Antag, at du kommer hjem og til din overraskelse og forfærdelse opdager, at vandet samler sig på dine smukke trægulve. Når du træder ind i spisestuen, finder du en ødelagt vase. Så hører du en klynken, og du kigger ud af terrassedøren for at se, at din hund ser meget skyldig ud."

Som rapporteret af Rodriguez, optager fantasigenspilningsmetoden ikke begivenhederne i den rækkefølge, de blev oplevet. Tværtimod udledes der en sandsynlig årsag mellem begivenhederne. Begivenhederne udledes baseret på agentens forståelse af verden. I mellemtiden gemmer metoden til genafspilning af film minder i den rækkefølge, som begivenhederne fandt sted, og genafspiller sekvensen af ​​stimuli - "spildt vand, knækket vase, hund". Den kronologiske rækkefølge af begivenheder er bevaret.

Forskning fra neurovidenskaben antyder, at metoden med filmgengivelse er en integreret del af skabelsen af ​​associationer mellem begreber og forbindelsen af ​​neuroner mellem begivenheder. Alligevel kunne fantasigenspilningsmetoden hjælpe agenten med at skabe nye sekvenser, når den ræsonnerer analogt. For eksempel kunne agenten begrunde, at hvis en tønde er til at olie, som en vase er til at vande, kan en tønde blive spildt af en fabriksrobot i stedet for en hund. Da DeepMind søgte yderligere ind i mulighederne for gentagelsesmetoden, fandt de ud af, at deres læringsagent var i stand til at skabe imponerende, innovative sekvenser ved at tage tidligere erfaringer i betragtning.

De fleste af de nuværende fremskridt, der gøres inden for forstærkende læringshukommelse, sker med filmstrategien, selvom forskere for nylig er begyndt at gøre fremskridt med fantasistrategien. Forskning i begge metoder til AI-hukommelse kan ikke kun muliggøre bedre ydeevne fra forstærkende læringsagenter, men de kan også hjælpe os med at få ny indsigt i, hvordan det menneskelige sind kan fungere.