DeepMind Creează AI Care Reproduce Memoriile La Fel Ca Hippocampusul

Cerebrul uman adesea recunoaște amintiri trecute (aparent) fără niciun motiv. Pe măsură ce trecem prin ziua noastră, avem flashback-uri spontane de amintiri din viețile noastre. Deși această conjurare spontană a amintirilor a fost de mult timp de interes pentru neuroștiințifici, compania de cercetare AI DeepMind a publicat recent un articol care detaliază modul în care un AI al lor a replicat acest model ciudat de recunoaștere.

Conjurația amintirilor în creier, replay-ul neural, este strâns legată de hippocampus. Hippocampusul este o formațiune în forma de cal mare în creier care aparține sistemului limbic și este asociat cu formarea de amintiri noi, precum și cu emoțiile pe care le declanșează amintirile. Teoriile actuale despre rolul hipocampului (există unul în fiecare emisferă a creierului) afirmă că diferite regiuni ale hipocampului sunt responsabile de gestionarea diferitelor tipuri de amintiri. De exemplu, se crede că memoria spațială este gestionată în regiunea din spate a hipocampului.

Conform raportului lui Jesus Rodriguez, Dr. John O’Keefe este responsabil pentru multe contribuții la înțelegerea hipocampului, inclusiv a celulelor “place” din hipocampus. Celulele place din hipocampus sunt declanșate de stimuli într-un mediu specific. De exemplu, experimentele pe șobolani au arătat că anumiți neuroni s-ar fi activat atunci când șobolanii alergau prin anumite porțiuni ale unui traseu. Cercetătorii au continuat să monitorizeze șobolanii chiar și atunci când erau în repaus și au descoperit că aceiași neuroni care denotau o porțiune a labirintului s-ar fi activat din nou, deși la o viteză accelerată. Șobolanii păreau să-și reamintească amintirile labirintului în mintea lor.

La oameni, recunoașterea amintirilor este o parte importantă a procesului de învățare, dar atunci când încercăm să permitem AI-ului să învețe, este dificil să recreăm acest fenomen.

Echipa DeepMind a încercat să recreeze fenomenul de recunoaștere utilizând învățarea prin întărire. Algoritmii de învățare prin întărire funcționează prin obținerea de feedback din interacțiunile cu mediul din jur, fiind recompensați atunci când iau acțiuni care îi apropie de obiectivul dorit. În acest context, agentul de învățare prin întărire înregistrează evenimente și le reia mai târziu, sistemul fiind întărit pentru a îmbunătăți eficiența cu care reamintește experiențele trecute.

DeepMind a adăugat reproducerea experiențelor la un algoritm de învățare prin întărire utilizând un tampon de reproducere care ar fi reprodus amintiri/experiențe înregistrate sistemului la momente specifice. Unele versiuni ale sistemului aveau experiențele reproduse în ordine aleatorie, în timp ce alte modele aveau ordine de reproducere preselecționate. În timp ce cercetătorii experimentau cu ordinea de reproducere pentru agenții de întărire, au experimentat și cu diferite metode de reproducere a experiențelor însele.

Există două metode principale care sunt utilizate pentru a furniza algoritmilor de întărire experiențe reamintite. Aceste metode sunt metoda de reproducere a imaginației și metoda de reproducere a filmului. Articolul DeepMind folosește o analogie pentru a descrie ambele strategii:

„Să presupunem că vii acasă și, spre surprinderea și dezamăgirea ta, descoperi apă adunată pe frumoasele tale podele de lemn. Intrând în sufragerie, găsești un vas spart. Apoi auzi un gemăt și te uiți afară pe ușa de pe terasă și vezi câinele tău arătând foarte vinovat.”

Conform raportului lui Rodriguez, metoda de reproducere a imaginației nu înregistrează evenimentele în ordinea în care au fost experimentate. În schimb, se inferă o cauză probabilă între evenimente. Evenimentele sunt inferate pe baza înțelegerii agentului despre lume. Între timp, metoda de reproducere a filmului stochează amintiri în ordinea în care au avut loc evenimentele și reamintește secvența de stimuli – „apă vărsată, vas spart, câine”. Ordinea cronologică a evenimentelor este păstrată.

Cercetarea din domeniul neuroștiințelor implică faptul că metoda de reproducere a filmului este esențială pentru crearea de asociații între concepte și conectarea neuronilor între evenimente. Cu toate acestea, metoda de reproducere a imaginației ar putea ajuta agentul să creeze secvențe noi atunci când raționează prin analogie. De exemplu, agentul ar putea raționa că, dacă un butoi este la ulei așa cum un vas este la apă, un butoi ar putea fi vărsat de un robot de fabrică în loc de un câine. Într-adevăr, atunci când DeepMind a explorat mai departe posibilitățile metodei de reproducere a imaginației, au descoperit că agentul lor de învățare a fost capabil să creeze secvențe impresionante și inovatoare, ținând cont de experiențele anterioare.

Majoritatea progresului actual în domeniul învățării prin întărire a memoriei este făcut cu strategia filmului, deși cercetătorii au început recent să facă progrese și cu strategia imaginației. Cercetarea asupra ambelor metode de memorie AI nu numai că poate permite o performanță mai bună a agenților de învățare prin întărire, dar ne poate ajuta și să obținem noi insight-uri despre modul în care funcționează mintea umană.