DeepMind Creează AI Care Reproduce Memorii La Fel Ca Hippocampus

Creierul uman adesea recunoaște amintiri din trecut (aparent) fără niciun motiv. Pe măsură ce ne desfășurăm ziua, avem flash-uri spontane de memorie din viețile noastre. În timp ce această conjurare spontană a amintirilor a fost de mult timp de interes pentru neuroștiințifici, compania de cercetare AI DeepMind a publicat recent un articol care detaliază modul în care un AI al lor a replicat acest model ciudat de recunoaștere.

Conjurarea amintirilor în creier, replay-ul neural, este strâns legată de hippocampus. Hippocampusul este o formațiune în forma de cal de mare din creier care aparține sistemului limbic și este asociat cu formarea de amintiri noi, precum și cu emoțiile pe care le declanșează amintirile. Teoriile actuale despre rolul hipocampului (există unul în fiecare emisferă a creierului) afirmă că diferite regiuni ale hipocampusului sunt responsabile pentru manipularea diferitelor tipuri de amintiri. De exemplu, se crede că memoria spațială este manipulată în regiunea posterioară a hipocampusului.

Așa cum a raportat Jesus Rodriguez, Dr. John O’Keefe este responsabil pentru multe contribuții la înțelegerea hipocampusului, inclusiv a celulelor “locului” din hipocampus. Celulele locului din hipocampus sunt declanșate de stimuli într-un mediu specific. De exemplu, experimentele pe șobolani au arătat că anumiți neuroni s-au activat atunci când șobolanii au alergat prin anumite porțiuni ale unui traseu. Cercetătorii au continuat să monitorizeze șobolanii chiar și atunci când erau în repaus, și au constatat că aceleași modele de neuroni care denotau o porțiune a labirintului s-au activat, deși s-au activat la o viteză accelerată. Șobolanii păreau să-și reproducă amintirile labirintului în minte.

La oameni, recunoașterea amintirilor este o parte importantă a procesului de învățare, dar atunci când încercăm să permitem AI să învețe, este dificil să recreăm acest fenomen.

Echipa DeepMind a încercat să recreeze fenomenul de recunoaștere utilizând învățarea prin întărire. Algoritmii de învățare prin întărire funcționează prin obținerea de feedback din interacțiunile cu mediul din jurul lor, primind recompense atunci când iau acțiuni care îi apropie de obiectivul dorit. În acest context, agentul de învățare prin întărire înregistrează evenimente și le reproduc la momente ulterioare, sistemul fiind întărit pentru a îmbunătăți eficiența cu care recunoaște experiențele trecute.

DeepMind a adăugat reproducerea experiențelor la un algoritm de învățare prin întărire utilizând un tampon de reproducere care va reda amintiri/experiențe înregistrate sistemului la momente specifice. Unele versiuni ale sistemului aveau experiențele reproduse în ordine aleatorie, în timp ce alte modele aveau ordine de reproducere preselecționate. În timp ce cercetătorii au experimentat cu ordinea de reproducere pentru agenții de întărire, au experimentat și cu diferite metode de reproducere a experiențelor însele.

Există două metode principale care sunt utilizate pentru a furniza algoritmilor de întărire experiențe reamintite. Aceste metode sunt metoda de reproducere a imaginației și metoda de reproducere a filmului. Articolul DeepMind utilizează o analogie pentru a descrie ambele strategii:

“Să presupunem că vă întoarceți acasă și, spre surprinderea și dezamăgirea dumneavoastră, descoperiți apă adunată pe frumoasele dumneavoastră pardoseli de lemn. Intrând în camera de zi, găsiți un vas spart. Apoi auziți un vaiet și aruncați o privire prin ușa terasei și vedeți câinele dumneavoastră arătând foarte vinovat.”

Așa cum a raportat Rodriguez, metoda de reproducere a imaginației nu înregistrează evenimentele în ordinea în care au fost experimentate. Mai degrabă, o cauză probabilă între evenimente este inferată. Evenimentele sunt inferate pe baza înțelegerii agentului asupra lumii. În timp ce metoda de reproducere a filmului stochează amintiri în ordinea în care evenimentele au avut loc și reproduc secvența de stimuli – “apă vărsată, vas spart, câine”. Ordinea cronologică a evenimentelor este păstrată.

Cercetările din domeniul neuroștiințelor implică faptul că metoda de reproducere a filmului este esențială pentru crearea de asociații între concepte și conectarea neuronilor între evenimente. Cu toate acestea, metoda de reproducere a imaginației ar putea ajuta agentul să creeze secvențe noi atunci când raționează prin analogie. De exemplu, agentul ar putea raționa că, dacă un butoi este la ulei cum un vas este la apă, un butoi ar putea fi vărsat de un robot de fabrică în loc de un câine. Într-adevăr, atunci când DeepMind a explorat mai departe posibilitățile metodei de reproducere a imaginației, au constatat că agentul lor de învățare a fost capabil să creeze secvențe impresionante și inovatoare, ținând cont de experiențele anterioare.

Majoritatea progresului actual în domeniul învățării prin întărire a memoriei este realizat cu strategia filmului, deși cercetătorii au început recent să facă progrese și cu strategia imaginației. Cercetarea asupra ambelor metode de memorie AI nu numai că poate permite o performanță mai bună a agenților de învățare prin întărire, dar poate ajuta și la obținerea de noi insight-uri asupra modului în care funcționează mintea umană.