DeepMind Vytvořil AI, Který Přehrává Paměti Jako Hippocampus

Lidský mozek často připomíná minulé vzpomínky (zdánlivě) bez podnětu. Když procházíme svým dnem, máme spontánní záblesky paměti z našeho života. Zatímco tato spontánní vyvolání paměti dlouho zajímalo neurovědce, společnost pro výzkum AI DeepMind nedávno publikovala článek, který popisuje, jak jejich AI replikoval tento podivný vzorec vzpomínání.

Vyvolání paměti v mozku, neurální přehrávání, je úzce spojeno s hippocampem. Hippocampus je končetinatá formace v mozku, která patří do limbického systému a je spojena s tvorbou nových pamětí, stejně jako s emocemi, které paměti vyvolávají. Současné teorie o roli hippocampu (existuje jeden v každé hemisféře mozku) uvádějí, že různé oblasti hippocampu jsou odpovědné za zpracování různých typů pamětí. Například prostorová paměť se má za to, že je zpracovávána v zadní části hippocampu.

Podle Jesuse Rodrigueze je Dr. John O’Keefe zodpovědný za mnoho příspěvků k našemu pochopení hippocampu, včetně hippocampálních „místo“ buněk. Tyto buňky v hippocampu jsou spouštěny stimuly ve specifickém prostředí. Například experimenty na krysách ukázaly, že specifické neurony se aktivují, když krysy běží přes určitou část trati. Výzkumníci pokračovali v monitorování krys, i když odpočívaly, a zjistili, že se stejné vzorce neuronů označující část bludiště aktivují, i když se aktivují zrychlenou rychlostí. Krysy se zdály přehrávat vzpomínky na bludiště ve svých myslích.

U lidí je vzpomínání na paměti důležitou součástí procesu učení, ale když se snažíme umožnit AI učit, je obtížné tuto jev reprodukovat.

Tým DeepMind se pokusil reprodukovat jev vzpomínání pomocí učení s posilováním. Algoritmy učení s posilováním fungují tak, že získávají zpětnou vazbu ze svých interakcí s okolním prostředím, jsou odměňovány, když provádějí akce, které je přivádějí blíže k požadovanému cíli. V tomto kontextu agent učení s posilováním zaznamenává události a poté je přehrává v pozdějších časech, přičemž systém je posilován, aby zlepšil, jak efektivně vzpomíná na minulé zkušenosti.

DeepMind přidalo přehrávání zkušeností do algoritmu učení s posilováním pomocí přehrávací paměti, která by přehrávala vzpomínky/zaznamenané zkušenosti systému v určitých časech. Některé verze systému měly zkušenosti přehrány v náhodném pořadí, zatímco jiné modely měly předem vybrané přehrávací pořadí. Zatímco výzkumníci experimentovali s pořadím přehrávání pro agenty učení s posilováním, také experimentovali s různými metodami přehrávání zkušeností samých.

Existují dvě hlavní metody, které se používají k poskytování algoritmům učení s posilováním vzpomínaných zkušeností. Tyto metody jsou metoda přehrávání představ a metoda přehrávání filmu. Článek DeepMind používá analogii, aby popsal obě strategie:

„Představte si, že přijdete domů a k vašemu překvapení a zklamání zjistíte, že voda se hromadí na vašich krásných dřevěných podlahách. Když vstoupíte do jídelny, najdete rozbitou vázu. Poté slyšíte nářek a pohledíte ven přes dveře na patio, kde uvidíte svého psa, který vypadá velmi vinně.“

Podle Rodrigueze metoda přehrávání představ nezapíše události v pořadí, v jakém byly zažity. Místo toho se mezi událostmi předpokládá pravděpodobná příčina. Události se předpokládají na základě pochopení světa agentem. Mezitím metoda přehrávání filmu ukládá vzpomínky v pořadí, v jakém se události udál, a přehrává sekvenci stimulů – „rozlitá voda, rozbitá váza, pes“. Chronologické pořadí událostí je zachováno.

Výzkum z oboru neurovědy naznačuje, že metoda přehrávání filmu je integrální pro tvorbu asociací mezi koncepty a propojení neuronů mezi událostmi. Metoda přehrávání představ by však mohla pomoci agentovi vytvořit nové sekvence, když uvažuje analogicky. Například agent by mohl uvažovat, že pokud je barel k oleji jako váza k vodě, barel by mohl být rozlitý továrním robotem místo psa. Skutečně, když DeepMind prozkoumal dále možnosti metody přehrávání představ, zjistil, že jejich agent učení byl schopen vytvořit působivé, inovativní sekvence, přičemž vzal v úvahu předchozí zkušenosti.

Největší pokrok, který je目前 dělán v oblasti paměti učení s posilováním, je dělán s metodou přehrávání filmu, ačkoli výzkumníci nedávno začali dělat pokrok i s metodou přehrávání představ. Výzkum obou metod AI paměti může nejen umožnit lepší výkon agentům učení s posilováním, ale může také pomoci nám získat nové poznatky o tom, jak lidský mozek funguje.