I ricercatori si rivolgono ai neuroscienziati per superare la parzialità dei dati

Un team di ricercatori del MIT, dell’Università di Harvard e di Fujitsu, Ltd. ha cercato di capire come un modello di apprendimento automatico possa superare la parzialità dei dati. Hanno fatto affidamento su un approccio di neuroscienze per studiare come i dati di addestramento influenzano la capacità di una rete neurale artificiale di riconoscere oggetti che non ha mai visto.

La ricerca è stata pubblicata su Nature Machine Intelligence.

Diversità nei dati di addestramento

I risultati dello studio hanno dimostrato che la diversità dei dati di addestramento influenza la capacità di una rete neurale di superare la parzialità. Tuttavia, la diversità dei dati può anche avere un impatto negativo sulle prestazioni della rete. I ricercatori hanno anche mostrato che il modo in cui una rete neurale è addestrata può anche influenzare la sua capacità di superare un set di dati parziale.

Xavier Boix è uno scienziato ricercatore nel Dipartimento di Scienze del Cervello e delle Scienze Cognitive (BCS) e nel Centro per i Cervelli, le Menti e le Macchine (CBMM). È anche l’autore principale del documento.

“Una rete neurale può superare la parzialità dei dati, il che è incoraggiante. Ma la cosa più importante qui è che dobbiamo tenere conto della diversità dei dati. Dobbiamo smettere di pensare che se si raccoglie solo una grande quantità di dati grezzi, ciò ci porterà da qualche parte. Dobbiamo essere molto cauti su come progettiamo i set di dati fin dall’inizio”, afferma Boix.

Il team ha adottato la mentalità di un neuroscienziato per sviluppare il nuovo approccio. Secondo Boix, è comune utilizzare set di dati controllati negli esperimenti, quindi il team ha costruito set di dati che contenevano immagini di oggetti diversi in varie pose. Hanno poi controllato le combinazioni in modo che alcuni set di dati fossero più diversi di altri. Un set di dati con più immagini che mostrano oggetti da un solo punto di vista è meno diverso, mentre uno con più immagini che mostrano oggetti da più punti di vista è più diverso.

I ricercatori hanno preso questi set di dati e li hanno utilizzati per addestrare una rete neurale per la classificazione delle immagini. Hanno poi studiato quanto fosse brava a identificare oggetti da punti di vista che la rete non aveva visto durante l’addestramento.

Hanno scoperto che i set di dati più diversi consentono alla rete di generalizzare meglio le nuove immagini o i punti di vista, e ciò è fondamentale per superare la parzialità.

“Ma non è come se più dati diversi fossero sempre migliori; c’è una tensione qui. Quando la rete neurale diventa migliore nel riconoscere nuove cose che non ha mai visto, allora diventerà più difficile per essa riconoscere le cose che ha già visto”, afferma Boix.

Metodi per addestrare le reti neurali

Il team ha anche scoperto che un modello addestrato separatamente per ogni attività è in grado di superare la parzialità meglio di un modello addestrato per entrambe le attività insieme.

“I risultati sono stati veramente sorprendenti. In realtà, la prima volta che abbiamo fatto questo esperimento, pensavamo che fosse un bug. Ci sono volute diverse settimane per rendersi conto che era un risultato reale perché era così inaspettato”, continua Boix.

Un’analisi più approfondita ha rivelato che la specializzazione dei neuroni è coinvolta in questo processo. Quando la rete neurale è addestrata per riconoscere oggetti nelle immagini, emergono due tipi di neuroni. Un neurone si specializza nel riconoscere la categoria dell’oggetto, mentre l’altro si specializza nel riconoscere il punto di vista.

I neuroni specializzati diventano più prominenti quando la rete neurale è addestrata per eseguire attività separate. Tuttavia, quando una rete è addestrata per completare entrambe le attività contemporaneamente, alcuni neuroni diventano diluiti. Ciò significa che non si specializzano in un’attività e sono più propensi a confondersi.

“Ma la prossima domanda adesso è, come sono arrivati questi neuroni? Si addestra la rete neurale e emergono dal processo di apprendimento. Nessuno ha detto alla rete di includere questi tipi di neuroni nella sua architettura. Questo è il fatto affascinante”, afferma Boix.

I ricercatori cercheranno di esplorare questa domanda nel loro lavoro futuro, nonché di applicare il nuovo approccio a compiti più complessi.