A DeepMind olyan mesterséges intelligenciát hoz létre, amely úgy játssza vissza az emlékeket, mint a hippokampusz

Az emberi agy gyakran (látszólag) felszólítás nélkül idézi fel a múlt emlékeit. A nap folyamán spontán felvillannak az emlékeink az életünkből. Míg az emlékek spontán megidézése régóta foglalkoztatja az idegtudósokat, a DeepMind mesterséges intelligenciakutató cég a közelmúltban közzétett egy papírt részletezi, hogy egy mesterséges intelligencia hogyan reprodukálta ezt a furcsa felidézési mintát.

Az emlékek megidézése az agyban, az idegi visszajátszás szorosan kapcsolódik a hippocampus. A hippokampusz egy csikóhal alakú képződmény az agyban, amely a limbikus rendszerhez tartozik, és új emlékek, valamint az emlékek által keltett érzelmek kialakulásához kapcsolódik. A hippokampusz szerepére vonatkozó jelenlegi elméletek (mindegyik agyféltekében van egy) azt állítják, hogy a hippocampus különböző régiói felelősek a különböző típusú emlékek kezeléséért. Például úgy gondolják, hogy a térbeli memóriát a hippokampusz hátsó részén kezelik.

Amint arról Jesus Rodriguez beszámolt,  Dr. John O'Keefe felelős azért, hogy a hippocampust, köztük a hippokampust is megértsük „hely” sejtek. A hippokampuszban lévő helysejteket egy adott környezetben lévő ingerek váltják ki. Példaként, patkányokon végzett kísérletek azt mutatták, hogy bizonyos neuronok tüzelnek, amikor a patkányok átfutnak a pálya bizonyos részein. A kutatók még akkor is figyelték a patkányokat, amikor azok pihentek, és azt találták, hogy a labirintus egy részét jelölő neuronok ugyanazok a mintázatai tüzelnek, bár gyorsított sebességgel lőttek. Úgy tűnt, a patkányok a labirintus emlékeit játsszák elméjükben.

Az emberekben az emlékek felidézése a tanulási folyamat fontos része, de amikor megpróbáljuk lehetővé tenni a mesterséges intelligencia tanulását, nehéz újrateremteni a jelenséget.

A DeepMind csapata hozzálátott, hogy megerősítő tanulás segítségével próbálja újra létrehozni a visszahívás jelenségét. A megerősítő tanulási algoritmusok úgy működnek, hogy visszajelzést kapnak az őket körülvevő környezettel való interakcióikról, és jutalmat kapnak, amikor olyan cselekvést hajtanak végre, amely közelebb viszi őket a kívánt célhoz. Ebben az összefüggésben a megerősítő tanulási ügynök rögzíti az eseményeket, majd később lejátssza azokat, miközben a rendszert megerősítik, hogy javítsák a múltbeli tapasztalatok felidézésének hatékonyságát.

A DeepMind hozzáadta az élmények visszajátszását egy megerősítő tanulási algoritmushoz egy visszajátszási puffer segítségével, amely adott időpontokban lejátssza az emlékeket/rögzített élményeket a rendszerben. A rendszer egyes verzióinál a tapasztalatok véletlenszerű sorrendben kerültek lejátszásra, míg más modelleknél előre kiválasztott lejátszási sorrend volt. Miközben a kutatók az erősítőszerek lejátszási sorrendjével kísérleteztek, maguk az élmények visszajátszásának különböző módszereivel is kísérleteztek.

Két elsődleges módszert használnak a felidézett tapasztalatokkal rendelkező megerősítő algoritmusok biztosítására. Ezek a módszerek az imagination replay módszer és a film visszajátszási módszer. A DeepMind tanulmány analógiával írja le mindkét stratégiát:

– Tegyük fel, hogy hazajössz, és meglepetésedre és döbbenetedre felfedezed, hogy a gyönyörű fapadlóidon víz gyűlik össze. Az ebédlőbe lépve egy törött vázát talál. Aztán nyöszörgést hallasz, és kinézel a teraszajtón, és látod, hogy a kutyád nagyon bűnösnek tűnik."

Amint arról Rodriguez beszámolt, az imagination replay módszer nem abban a sorrendben rögzíti az eseményeket, ahogyan azokat átélték. Inkább az események közötti valószínű okra következtetnek. Az eseményekre az ügynök világértelmezése alapján következtetnek. Eközben a filmvisszajátszási módszer az események bekövetkezésének sorrendjében tárolja az emlékeket, és visszajátssza az ingerek sorrendjét – „kiömlött víz, törött váza, kutya”. Az események időrendi sorrendje megmarad.

Az idegtudomány területéről származó kutatások azt sugallják, hogy a filmvisszajátszási módszer szerves része a fogalmak közötti asszociációk létrehozásának és a neuronok összekapcsolásának az események között. Az imagination replay módszer azonban segíthet az ügynöknek új sorozatok létrehozásában, ha analógia alapján indokolja. Például az ügynök arra gondolhat, hogy ha a hordó úgy olajoz, mint a váza a víz, akkor egy hordót egy gyári robot önthet ki kutya helyett. Valójában, amikor a DeepMind tovább kutatta az imagination replay módszer lehetőségeit, azt találták, hogy a tanulóügynökük képes lenyűgöző, innovatív képsorokat létrehozni a korábbi tapasztalatok figyelembevételével.

A tanulási memória megerősítése terén elért jelenlegi haladás nagy része a filmstratégiával történik, bár a kutatók a közelmúltban elkezdtek haladni a képzelet stratégiájával. Az AI-memória mindkét módszerének kutatása nemcsak jobb teljesítményt tesz lehetővé a megerősítő tanulási ágensekből, hanem abban is segíthet, hogy új betekintést nyerjünk az emberi elme működésébe.