Tutkijat luottavat neurotieteilijöihin ylittääkseen tietojoukon harhan

MIT:n, Harvardin yliopiston ja Fujitsun tutkijaryhmä etsi keinoja sille, miten koneoppimismalli voisi ylittää tietojoukon harhan. He luottivat neurotieteen lähestymistapaan tutkiakseen, miten koulutusdata vaikuttaa siihen, voittaako tekoälyverkko oppia tunnistamaan objekteja, joita se ei ole koskaan nähnyt.

Tutkimus julkaistiin Nature Machine Intelligence -julkaisussa.

Koulutusdatan monimuotoisuus

Tutkimuksen tulokset osoittivat, että koulutusdatan monimuotoisuus vaikuttaa siihen, pystyykö neuroverkko ylittämään harhan. Monimuotoisuudella on kuitenkin myös negatiivinen vaikutus verkon suorituskykyyn. Tutkijat osoittivat myös, että neuroverkon koulutustapa vaikuttaa siihen, pystyykö se ylittämään harhaan perustuvan tietojoukon.

Xavier Boix on tutkija aivon ja kognitiivisen tieteen laitoksessa (BCS) ja aivojen, mielten ja koneiden keskuksessa (CBMM). Hän on myös tutkimuksen pääkirjoittaja.

“Neuroverkko voi ylittää tietojoukon harhan, mikä on rohkaisevaa. Mutta tärkein pointti tässä on, että meidän on otettava huomioon tietojoukon monimuotoisuus. Meidän on lopetettava ajattelu, että jos keräämme vain paljon raakadataa, se auttaa meitä eteenpäin. Meidän on oltava erittäin varovaisia siinä, miten suunnittelemme tietojoukkoja alusta alkaen”, Boix sanoo.

Tutkijaryhmä omaksui neurotieteilijän ajattelutavan kehittääkseen uuden lähestymistavan. Boixin mukaan on yleistä käyttää kontrolloituja tietojoukkoja kokeissa, joten ryhmä rakensi tietojoukkoja, jotka sisälsivät eri objekteja eri asennoissa. He sitten kontrolloivat yhdistelmiä, jotta jotkut tietojoukot olivat monimuotoisempia kuin toiset. Tietojoukko, jossa on enemmän kuvia, jotka näyttävät objekteja vain yhdestä näkökulmasta, on vähemmän monimuotoinen, kun taas tietojoukko, jossa on enemmän kuvia, jotka näyttävät objekteja useista näkökulmista, on monimuotoisempi.

Tutkijat ottivat nämä tietojoukot ja käyttivät niitä kouluttaakseen neuroverkon kuvien luokitteluun. He sitten tutkivat, miten hyvin se tunnisti objekteja, joita se ei ollut nähnyt koulutuksen aikana.

He löysivät, että monimuotoisemmat tietojoukot sallivat verkon yleistää uusia kuvia tai näkökulmia, ja tämä on ratkaisevaa harhan ylittämiseksi.

“Mutta se ei ole niin, että enemmän tietojoukon monimuotoisuutta on aina parempaa; tässä on jännite. Kun neuroverkko parantaa uusien asioiden tunnistamista, joita se ei ole nähnyt, se tulee vaikeammaksi tunnistaa asioita, joita se on jo nähnyt”, Boix sanoo.

Neuroverkkojen koulutusmenetelmät

Tutkijaryhmä löysi myös, että malli, joka on koulutettu erikseen kullekin tehtävälle, pystyy ylittämään harhan paremmin kuin malli, joka on koulutettu molemmille tehtäville yhdessä.

“Tulokset olivat todella hämmästyttäviä. Itse asiassa ensimmäisen kerran, kun teimme tämän kokeen, luulimme, että se oli bugi. Se vei meiltä useita viikkoja tajuta, että se oli todellinen tulos, koska se oli niin odottamaton”, Boix jatkaa.

Syvempi analyysi paljasti, että hermosolujen erikoistuminen on osallisena tässä prosessissa. Kun neuroverkko on koulutettu tunnistamaan objekteja kuvissa, kaksi hermosolutyypin emergoituu. Yksi hermosolu erikoistuu objektiluokan tunnistamiseen, kun taas toinen erikoistuu näkökulman tunnistamiseen.

Erikoistuneet hermosolut tulevat merkittävemmiksi, kun verkko on koulutettu suorittamaan tehtäviä erikseen. Kun verkko on koulutettu suorittamaan molempia tehtäviä samanaikaisesti, jotkut hermosolut tulevat hämätyksi. Tämä tarkoittaa, että ne eivät erikoistu yhteen tehtävään, ja ne ovat todennäköisemmin hämmästyneitä.

“Mutta seuraava kysymys on nyt, miten nämä hermosolut pääsivät sinne? Koulutat neuroverkon, ja ne emergoituvat oppimisprosessista. Kukaan ei kertonut verkolle, että se pitäisi sisällyttää nämä hermosolutyypit sen arkkitehtuuriin. Se on mielenkiintoinen asia”, Boix sanoo.

Tutkijat tulevat tutkimaan tätä kysymystä tulevassa työssään sekä soveltamaan uutta lähestymistapaa monimutkaisempiin tehtäviin.