DeepMind crea un’intelligenza artificiale che riproduce i ricordi come l’ippocampo

Il cervello umano spesso ricorda i ricordi del passato (apparentemente) senza essere sollecitato. Mentre ci muoviamo durante la giornata, abbiamo lampi di memoria della nostra vita. Sebbene la spontanea evocazione dei ricordi abbia a lungo interessato i neuroscienziati, la società di ricerca sull’intelligenza artificiale DeepMind ha recentemente pubblicato un articolo in cui descrive come un’intelligenza artificiale abbia replicato questo strano modello di richiamo.

La convocazione dei ricordi nel cervello, riproduzione neurale, è strettamente legata all’ippocampo. L’ippocampo è una formazione a forma di cavallo marino nel cervello che appartiene al sistema limbico e si associa alla formazione di nuovi ricordi, nonché alle emozioni che i ricordi suscitano. Le teorie attuali sul ruolo dell’ippocampo (ce n’è uno in ogni emisfero del cervello) affermano che diverse regioni dell’ippocampo sono responsabili della gestione di diversi tipi di ricordi. Ad esempio, si ritiene che la memoria spaziale sia gestita nella regione posteriore dell’ippocampo.

Secondo quanto riportato da Jesus Rodriguez, il dottor John O’Keefe è responsabile di numerosi contributi alla nostra comprensione dell’ippocampo, comprese le cellule “di luogo” ippocampali. Le cellule di luogo nell’ippocampo vengono attivate da stimoli in un ambiente specifico. Ad esempio, esperimenti su ratti hanno mostrato che specifici neuroni si attivavano quando i ratti correvano in certe sezioni di una pista. I ricercatori continuarono a monitorare i ratti anche quando erano in riposo e scoprirono che gli stessi modelli di neuroni che indicavano una sezione del labirinto si attivavano, sebbene a una velocità accelerata. I ratti sembravano riprodurre i ricordi del labirinto nella loro mente.

Nell’uomo, ricordare i ricordi è una parte importante del processo di apprendimento, ma quando si tenta di abilitare l’intelligenza artificiale ad apprendere, è difficile ricreare il fenomeno.

Il team di DeepMind ha cercato di ricreare il fenomeno del richiamo utilizzando l’apprendimento per rinforzo. Gli algoritmi di apprendimento per rinforzo funzionano ricevendo feedback dalle loro interazioni con l’ambiente circostante, ricevendo una ricompensa ogni volta che eseguono azioni che li avvicinano all’obiettivo desiderato. In questo contesto, l’agente di apprendimento per rinforzo registra eventi e li riproduce in momenti successivi, con il sistema che viene rinforzato per migliorare l’efficienza con cui ricorda le esperienze passate.

DeepMind ha aggiunto la riproduzione delle esperienze a un algoritmo di apprendimento per rinforzo utilizzando un buffer di riproduzione che avrebbe riprodotto le esperienze/registrazioni al sistema in momenti specifici. Alcune versioni del sistema avevano le esperienze riprodotte in ordine casuale, mentre altri modelli avevano ordini di riproduzione preselezionati. Mentre i ricercatori sperimentavano con l’ordine di riproduzione per gli agenti di rinforzo, hanno anche sperimentato con diversi metodi di riproduzione delle esperienze stesse.

Esistono due metodi principali utilizzati per fornire agli algoritmi di rinforzo esperienze ricordate. Questi metodi sono il metodo di riproduzione dell’immaginazione e il metodo di riproduzione del film. L’articolo di DeepMind utilizza un’analogia per descrivere entrambe le strategie:

“Supponi di tornare a casa e, con tua sorpresa e dispiacere, scopri l’acqua che si accumula sui tuoi bei pavimenti di legno. Entrando nella sala da pranzo, trovi un vaso rotto. Poi senti un gemito e guardi fuori dalla porta del patio e vedi il tuo cane che sembra molto colpevole.”

Secondo quanto riportato da Rodriguez, il metodo di riproduzione dell’immaginazione non registra gli eventi nell’ordine in cui sono stati vissuti. Piuttosto, si inferisce una causa probabile tra gli eventi. Gli eventi vengono inferiti in base alla comprensione dell’agente del mondo. Nel frattempo, il metodo di riproduzione del film memorizza i ricordi nell’ordine in cui gli eventi si sono verificati e riproduce la sequenza di stimoli – “acqua versata, vaso rotto, cane”. L’ordine cronologico degli eventi viene preservato.

La ricerca nel campo delle neuroscienze implica che il metodo di riproduzione del film sia fondamentale per la creazione di associazioni tra concetti e la connessione di neuroni tra eventi. Tuttavia, il metodo di riproduzione dell’immaginazione potrebbe aiutare l’agente a creare nuove sequenze quando ragiona per analogia. Ad esempio, l’agente potrebbe ragionare che se un barile è all’olio come un vaso è all’acqua, un barile potrebbe essere versato da un robot di fabbrica invece di un cane. In effetti, quando DeepMind ha esaminato ulteriormente le possibilità del metodo di riproduzione dell’immaginazione, ha scoperto che il suo agente di apprendimento era in grado di creare sequenze impressionanti e innovative tenendo conto delle esperienze precedenti.

La maggior parte dei progressi attuali nel campo della memoria dell’apprendimento per rinforzo viene fatta con la strategia del film, sebbene i ricercatori abbiano recentemente iniziato a fare progressi con la strategia dell’immaginazione. La ricerca su entrambi i metodi di memoria dell’intelligenza artificiale può non solo abilitare prestazioni migliori degli agenti di apprendimento per rinforzo, ma può anche aiutarci a ottenere nuove informazioni su come funziona la mente umana.