Gli esperti superano il principale ostacolo nella tecnologia AI utilizzando il meccanismo cerebrale

Un gruppo di esperti di intelligenza artificiale (AI) di varie istituzioni ha superato un "grande ostacolo di lunga data per aumentare le capacità dell'IA". Il team ha guardato verso il cervello umano, che è il caso di molti sviluppi dell'IA. In particolare, il team si è concentrato sul meccanismo di memoria del cervello umano noto come "replay".

Gido van de Ven è il primo autore e ricercatore post-dottorato. È stato raggiunto dal ricercatore principale Andreas Tolias di Baylor e da Hava Siegelmann di UMass Amherst. 

La ricerca è stata pubblicata in Nature Communications. 

Il nuovo metodo

Secondo i ricercatori, hanno escogitato un nuovo metodo che protegge efficacemente le reti neurali profonde dalla "dimenticanza catastrofica". Quando una rete neurale assume nuovo apprendimento, può dimenticare ciò che è stato appreso in precedenza. 

Questo ostacolo è ciò che impedisce a molti progressi dell'IA di aver luogo. 

“Una soluzione sarebbe quella di archiviare esempi incontrati in precedenza e rivisitarli quando si apprende qualcosa di nuovo. Sebbene tale "ripetizione" o "prova" risolva l'oblio catastrofico, la riqualificazione costante su tutte le attività apprese in precedenza è altamente inefficiente e la quantità di dati che dovrebbero essere archiviati diventa rapidamente ingestibile ", hanno scritto i ricercatori.

Il cervello umano  

I ricercatori si sono ispirati al cervello umano, poiché è in grado di accumulare informazioni senza dimenticare, cosa che non accade per le reti neurali AI. L'attuale sviluppo è stato costruito su precedenti lavori svolti dai ricercatori, comprese le scoperte riguardanti un meccanismo nel cervello che si ritiene sia responsabile della prevenzione dell'oblio dei ricordi. Questo meccanismo è il replay dei modelli di attività neurale.

Secondo Siegelmann, lo sviluppo principale deriva dal "riconoscere che la riproduzione nel cervello non memorizza i dati", ma "il cervello ha generato rappresentazioni di ricordi a un livello elevato e più astratto senza la necessità di generare ricordi dettagliati".

Siegelmann ha preso queste informazioni e si è unita ai suoi colleghi per sviluppare un replay simile al cervello con intelligenza artificiale, dove non c'erano dati memorizzati. Come nel caso del cervello umano, la rete artificiale prende ciò che ha visto prima per generare rappresentazioni di alto livello.

Il metodo era altamente efficiente, con anche solo poche rappresentazioni generate ripetute, con il risultato che i ricordi più vecchi venivano ricordati mentre ne venivano appresi di nuovi. La riproduzione generativa è efficace nel prevenire l'oblio catastrofico e uno dei principali vantaggi è che consente al sistema di generalizzare da una situazione all'altra.

Secondo van de Ven, “Se la nostra rete con riproduzione generativa impara prima a separare i gatti dai cani, e poi a separare gli orsi dalle volpi, distinguerà anche i gatti dalle volpi senza essere specificamente addestrata a farlo. E in particolare, più il sistema impara, meglio diventa nell'apprendere nuovi compiti.

"Proponiamo una nuova variante di replay ispirata al cervello in cui vengono riprodotte rappresentazioni interne o nascoste generate dalle connessioni di feedback modulate dal contesto della rete", scrive il team. «Il nostro metodo ha raggiunto prestazioni all'avanguardia su benchmark impegnativi di apprendimento continuo senza memorizzare dati e fornisce un nuovo modello per la riproduzione astratta nel cervello».

"Il nostro metodo fa diverse previsioni interessanti sul modo in cui il replay potrebbe contribuire al consolidamento della memoria nel brian", continua Van de Ven. "Stiamo già eseguendo un esperimento per testare alcune di queste previsioni".