DeepMind Scopre una Tecnica di Addestramento dell’AI che Potrebbe Funzionare anche nel Nostro Cervello

DeepMind ha recentemente pubblicato un articolo che descrive come un nuovo tipo di apprendimento per rinforzo potrebbe spiegare come funzionano i percorsi di ricompensa nel cervello umano. Come riportato da NewScientist, il metodo di addestramento dell’AI si chiama apprendimento per rinforzo distributivo e i meccanismi alla base sembrano spiegare plausibilmente come il dopamina venga rilasciata dai neuroni nel cervello.

La neuroscienza e l’informatica hanno una lunga storia insieme. Fin dal 1951, Marvin Minsky ha utilizzato un sistema di ricompense e punizioni per creare un programma informatico in grado di risolvere un labirinto. Minsky era ispirato dal lavoro di Ivan Pavlov, un fisiologo che ha dimostrato che i cani potevano imparare attraverso una serie di ricompense e punizioni. L’articolo di DeepMind aggiunge alla storia intrecciata della neuroscienza e dell’informatica applicando un tipo di apprendimento per rinforzo per ottenere informazioni su come potrebbero funzionare i neuroni della dopamina.

Quando una persona o un animale sta per eseguire un’azione, le collezioni di neuroni nel cervello responsabili del rilascio di dopamina fanno una previsione su quanto sarà gratificante l’azione. Una volta che l’azione è stata eseguita e le conseguenze (ricompense) dell’azione sono state rese evidenti, il cervello rilascia dopamina. Tuttavia, il rilascio di dopamina è scalato in base alla dimensione dell’errore di previsione. Se la ricompensa è più grande/migliore del previsto, si verifica un aumento più forte di dopamina. Al contrario, una ricompensa peggiore porta a un minor rilascio di dopamina. La dopamina serve come funzione correttiva che fa sì che i neuroni regolino le loro previsioni fino a quando non convergono sulle ricompense effettive. Ciò è molto simile a come funzionano gli algoritmi di apprendimento per rinforzo.

Nel 2017, i ricercatori di DeepMind hanno rilasciato una versione migliorata di un algoritmo di apprendimento per rinforzo comunemente utilizzato, e questo metodo di apprendimento superiore è stato in grado di migliorare le prestazioni in molti compiti di apprendimento per rinforzo. Il team di DeepMind ha pensato che i meccanismi alla base del nuovo algoritmo potessero essere utilizzati per spiegare meglio come funzionano i neuroni della dopamina nel cervello umano.

A differenza degli algoritmi di apprendimento per rinforzo più vecchi, il nuovo algoritmo di DeepMind rappresenta le ricompense come una distribuzione. Gli approcci di apprendimento per rinforzo più vecchi rappresentavano le ricompense stimate come un singolo numero che rappresentava il risultato medio atteso. Ciò ha permesso al modello di rappresentare più fedelmente le possibili ricompense e di eseguire meglio di conseguenza. Le prestazioni superiori del nuovo metodo di addestramento hanno spinto i ricercatori di DeepMind a indagare se i neuroni della dopamina nel cervello umano funzionano in modo simile.

Per indagare sul funzionamento dei neuroni della dopamina, DeepMind ha lavorato con Harvard per studiare l’attività dei neuroni della dopamina nei topi. I ricercatori hanno fatto eseguire ai topi vari compiti e hanno dato loro ricompense in base al lancio di un dado, registrando come i loro neuroni della dopamina si attivavano. I diversi neuroni sembravano prevedere risultati potenziali diversi, rilasciando quantità diverse di dopamina. Alcuni neuroni prevedevano risultati inferiori alla ricompensa reale, mentre altri prevedevano ricompense superiori alla ricompensa reale. Dopo aver tracciato la distribuzione delle previsioni di ricompensa, i ricercatori hanno scoperto che la distribuzione delle previsioni era abbastanza vicina alla distribuzione di ricompensa reale. Ciò suggerisce che il cervello utilizza effettivamente un sistema distributivo quando fa previsioni e regola le previsioni per meglio corrispondere alla realtà.

Lo studio potrebbe informare sia la neuroscienza che l’informatica. Lo studio sostiene l’uso dell’apprendimento per rinforzo distributivo come metodo per creare modelli di AI più avanzati. Oltre a ciò, potrebbe avere implicazioni per le nostre teorie su come funziona il cervello riguardo ai sistemi di ricompensa. Se i neuroni della dopamina sono distribuiti e alcuni sono più pessimisti o ottimisti di altri, capire queste distribuzioni potrebbe alterare il modo in cui affrontiamo aspetti della psicologia come la salute mentale e la motivazione.

Come riportato da MIT Technology Review, Matt Botvinik, il direttore della ricerca neuroscientifica di DeepMind, ha spiegato l’importanza delle scoperte durante una conferenza stampa. Botvinik ha detto:

“Se il cervello lo utilizza, è probabilmente una buona idea. Ci dice che questa è una tecnica computazionale che può essere scalata in situazioni del mondo reale. Si adatterà bene ad altri processi computazionali. Ci dà una nuova prospettiva su ciò che accade nel nostro cervello durante la vita quotidiana”