Le reti neurali imparano meglio imitando i modelli di sonno umano

Un team di ricercatori dell’Università della California – San Diego sta esplorando come le reti neurali artificiali potrebbero imitare i modelli di sonno del cervello umano per mitigare il problema dell’oblio catastrofico. 

La ricerca è stata pubblicata in PLOS Biologia computazionale. 

In media, gli esseri umani richiedono dalle 7 alle 13 ore di sonno ogni 24 ore. Mentre il sonno rilassa il corpo in molti modi, il cervello rimane molto attivo. 

Cervello attivo durante il sonno

Maxim Bazhenov, PhD, è professore di medicina e ricercatore sul sonno presso la School of Medicine dell'Università della California di San Diego. 

"Il cervello è molto impegnato quando dormiamo, ripetendo ciò che abbiamo imparato durante il giorno", dice Bazhenov. "Il sonno aiuta a riorganizzare i ricordi e li presenta nel modo più efficiente."

Bazhenov e il suo team hanno pubblicato lavori precedenti su come il sonno costruisce la memoria razionale, che è la capacità di ricordare associazioni arbitrarie o indirette tra oggetti, persone o eventi. Protegge anche dall'oblio dei vecchi ricordi. 

Il problema dell'oblio catastrofico

Le reti neurali artificiali traggono ispirazione dall'architettura del cervello umano per migliorare le tecnologie e i sistemi di intelligenza artificiale. Sebbene queste tecnologie siano riuscite a raggiungere prestazioni sovrumane sotto forma di velocità computazionale, hanno un grosso limite. Quando le reti neurali apprendono in sequenza, le nuove informazioni sovrascrivono le informazioni precedenti in un fenomeno denominato oblio catastrofico.

"Al contrario, il cervello umano impara continuamente e incorpora nuovi dati nella conoscenza esistente, e in genere apprende meglio quando il nuovo addestramento è intrecciato con periodi di sonno per il consolidamento della memoria", afferma Bazhenov. 

Il team ha utilizzato reti neurali a spillo che imitano artificialmente i sistemi neurali naturali. Invece di essere comunicate continuamente, le informazioni vengono trasmesse come eventi discreti, o picchi, in determinati momenti.

Imitare il sonno nelle reti neurali

I ricercatori hanno scoperto che quando le reti di spiking venivano addestrate su nuove attività con occasionali periodi offline che imitavano il sonno, il problema dell'oblio catastrofico veniva mitigato. Simile al cervello umano, i ricercatori affermano che il "sonno" consente alle reti di riprodurre vecchi ricordi senza utilizzare esplicitamente i vecchi dati di allenamento. 

"Quando apprendiamo nuove informazioni, i neuroni si attivano in un ordine specifico e questo aumenta le sinapsi tra di loro", afferma Bazhenov. “Durante il sonno, i modelli di picchi appresi durante il nostro stato di veglia si ripetono spontaneamente. Si chiama riattivazione o replay. 

"La plasticità sinaptica, la capacità di essere alterata o modellata, è ancora presente durante il sonno e può migliorare ulteriormente i modelli di peso sinaptico che rappresentano la memoria, aiutando a prevenire l'oblio o a consentire il trasferimento di conoscenze da compiti vecchi a nuovi". 

Il team ha scoperto che applicando questo approccio alle reti neurali artificiali, ha aiutato le reti a evitare l'oblio catastrofico. 

"Significava che queste reti potevano imparare continuamente, come gli esseri umani o gli animali", continua Bazhenov. “Capire come il cervello umano elabora le informazioni durante il sonno può aiutare ad aumentare la memoria nei soggetti umani. L'aumento dei ritmi del sonno può portare a una memoria migliore. 

“In altri progetti, utilizziamo modelli computerizzati per sviluppare strategie ottimali per applicare la stimolazione durante il sonno, come i toni uditivi, che migliorano i ritmi del sonno e migliorano l'apprendimento. Questo può essere particolarmente importante quando la memoria non è ottimale, come quando la memoria diminuisce con l'invecchiamento o in alcune condizioni come il morbo di Alzheimer”.