Forskere ser på nevrovitenskap for å overvinne datasett-forvrengning

Et team av forskere ved MIT, Harvard University og Fujitsu, Ltd. har søkt å finne ut hvordan en maskinlæringsmodell kan overvinne datasett-forvrengning. De har brukt en nevrovitenskapelig tilnærming til å studere hvordan treningdata påvirker evnen til å gjenkjenne objekter som ikke har vært sett før.

Forskningen ble publisert i Nature Machine Intelligence.

Mangfold i treningdata

Studiets resultater viste at mangfold i treningdata påvirker evnen til å overvinne forvrengning. Men data-mangfold kan også ha en negativ innvirkning på nettverkets ytelse. Forskerne viste også at måten en nevronettverk er trent på, kan også påvirke evnen til å overvinne en forvrent datasett.

Xavier Boix er en forskningsvitenskapsmann i avdelingen for hjernen og kognitive vitenskaper (BCS) og senteret for hjerner, sinn og maskiner (CBMM). Han er også seniorforfatter av artikkelen.

“Et nevronettverk kan overvinne datasett-forvrengning, som er oppmuntrende. Men hovedpoenget her er at vi må ta med i betraktning data-mangfold. Vi må slutte å tenke at hvis du bare samler inn en masse rådata, så kommer det til å fungere. Vi må være svært forsiktige med hvordan vi designer datasett fra starten av,” sier Boix.

Teamet tok en nevrovitenskapelig tilnærming til å utvikle den nye metoden. Ifølge Boix er det vanlig å bruke kontrollerte datasett i eksperimenter, så teamet bygde datasett som inneholdt bilder av forskjellige objekter i ulike posisjoner. De kontrollerte kombinasjonene så noen datasett var mer mangfoldige enn andre. Et datasett med flere bilder som viser objekter fra bare ett synspunkt er mindre mangfoldig, mens ett med flere bilder som viser objekter fra flere synspunkter er mer mangfoldig.

Forskerne tok disse datasettene og brukte dem til å trene et nevronettverk for bildeklassifisering. De studerte så hvor godt det var til å identifisere objekter fra synspunkter nettverket ikke hadde sett under trening.

De fant at de mer mangfoldige datasettene tillot nettverket å bedre generalisere nye bilder eller synspunkter, og dette er avgjørende for å overvinne forvrengning.

“Men det er ikke slik at mer data-mangfold alltid er bedre; det er en spenning her. Når nevronettverket blir bedre til å gjenkjenne nye ting det ikke har sett, så vil det bli vanskeligere for det å gjenkjenne ting det allerede har sett,” sier Boix.

Metoder for trening av nevronettverk

Teamet fant også at en modell som er trent separat for hver oppgave, er bedre i stand til å overvinne forvrengning sammenlignet med en modell som er trent for begge oppgavene sammen.

“Resultatene var virkelig slående. Faktisk, første gang vi gjorde dette eksperimentet, trodde vi det var en feil. Det tok oss flere uker å innse at det var et ekte resultat fordi det var så uventet,” fortsetter Boix.

Dypere analyse avdekket at nevronspesialisering er involvert i denne prosessen. Når nevronettverket er trent til å gjenkjenne objekter i bilder, oppstår to typer nevroner. En nevron spesialiserer seg i å gjenkjenne objekt-kategorien, mens den andre spesialiserer seg i å gjenkjenne synspunktet.

De spesialiserte nevronene blir mer fremtredende når nettverket er trent til å utføre oppgaver separat. Men når et nettverk er trent til å fullføre begge oppgavene samtidig, blir noen nevroner utydelige. Dette betyr at de ikke spesialiserer seg i en oppgave, og de er mer sannsynlige til å bli forvirret.

“Men neste spørsmål nå er, hvordan disse nevronene kom dit? Du trener nevronettverket og de oppstår fra læringsprosessen. Ingen sa til nettverket å inkludere disse typene nevroner i sin arkitektur. Det er det fascinerende,” sier Boix.

Forskerne vil se på å utforske dette spørsmålet i sin fremtidige arbeid, samt å anvende den nye metoden til mer komplekse oppgaver.