Tutkijat hakevat neurotieteistä apua tietojoukkojen vinoumien voittamiseen

MIT:n, Harvardin yliopiston ja Fujitsun tutkijaryhmä etsi keinoja, joilla koneoppimismalli voisi ylittää tietojoukon harhan. He luottivat neurotieteen lähestymistapaan tutkiakseen, miten koulutusdata vaikuttaa siihen, voiko keinotekoinen neuroverkko oppia tunnistamaan esineitä, joita se ei ole aiemmin nähnyt.

Tutkimus julkaistiin Nature Machine Intelligence -julkaisussa.

Koulutusdatan monimuotoisuus

Tutkimuksen tulokset osoittivat, että koulutusdatan monimuotoisuus vaikuttaa siihen, pystyykö neuroverkko ylittämään harhan. Monimuotoisuudella voi kuitenkin olla myös kielteinen vaikutus verkoston suorituskykyyn. Tutkijat osoittivat myös, että tekoälyverkon koulutustapa vaikuttaa siihen, pystyykö se ylittämään harhan.

Xavier Boix on tutkija aivo- ja kognitiotieteiden laitoksessa (BCS) ja aivojen, mielten ja koneiden keskuksessa (CBMM). Hän on myös tutkimuksen pääkirjoittaja.

“Neuroverkko voi ylittää tietojoukon harhan, mikä on rohkaisevaa. Mutta tärkein pointti tässä on, että meidän on otettava huomioon koulutusdatan monimuotoisuus. Meidän on lopetettava ajattelu, että jos keräämme vain paljon raakadataa, se auttaa meitä eteenpäin. Meidän on oltava erittäin varovaisia siinä, miten suunnittelemme tietojoukkoja alusta alkaen”, Boix sanoo.

Tutkijaryhmä omaksui neurotieteilijän ajattelutavan kehittääkseen uuden lähestymistavan. Boixin mukaan on yleistä käyttää kontrolloituja tietojoukkoja kokeissa, joten ryhmä rakensi tietojoukkoja, jotka sisälsivät eri esineiden kuvia eri asennoissa. He sitten kontrolloivat yhdistelmiä, jotta jotkut tietojoukot olivat monimuotoisempia kuin toiset. Tietojoukko, jossa on enemmän kuvia, jotka esittävät esineitä vain yhdestä näkökulmasta, on vähemmän monimuotoinen, kun taas tietojoukko, jossa on enemmän kuvia, jotka esittävät esineitä useista näkökulmista, on monimuotoisempi.

Tutkijat ottivat nämä tietojoukot ja käyttivät niitä tekoälyverkon koulutukseen kuvien luokitteluun. Sen jälkeen he tutkivat, miten hyvin verkko tunnisti esineitä kuvakulmista, joita se ei ollut nähnyt koulutuksen aikana.

He löysivät, että monimuotoisemmat tietojoukot sallivat verkoston paremmin yleistää uusia kuvia tai näkökulmia, ja tämä on ratkaiseva tekijä harhan ylittämisessä.

“Mutta asian laita ei ole niin, että suurempi datan monimuotoisuus olisi aina parempi; tässä on jännite. Kun neuroverkko parantaa uusien asioiden tunnistamista, joita se ei ole aiemmin nähnyt, sen on vaikeampi tunnistaa asioita, joita se on jo nähnyt”, Boix sanoo.

Menetelmät neuroverkkojen koulutukseen

Tutkijaryhmä löysi myös, että malli, joka on koulutettu erikseen kullekin tehtävälle, pystyy paremmin ylittämään harhan verrattuna malliin, joka on koulutettu molemmille tehtäville yhdessä.

“Tulokset olivat todella hämmästyttäviä. Itse asiassa, ensimmäisen kerran, kun teimme tämän kokeen, ajattelimme, että se oli bugi. Se vei useita viikkoja, ennen kuin ymmärsimme, että se oli todellinen tulos, koska se oli niin odottamaton”, Boix jatkaa.

Syvempi analyysi paljasti, että hermosolujen erikoistuminen on osallisena tässä prosessissa. Kun neuroverkko on koulutettu tunnistamaan esineitä kuvissa, kaksi hermosolutyyppiä ilmenee. Toinen hermosolu erikoistuu esineen luokan tunnistamiseen, kun taas toinen erikoistuu näkökulman tunnistamiseen.

Erikoistuneet hermosolut tulevat enemmän esiin, kun verkosto on koulutettu suorittamaan tehtäviä erikseen. Kun taas verkosto on koulutettu suorittamaan molemmat tehtävät samanaikaisesti, jotkut hermosolut tulevat sekaisin. Tämä tarkoittaa, että ne eivät erikoistu yhteen tehtävään, ja ne ovat enemmän alttiita hämmennykselle.

“Mutta seuraava kysymys on, miten nämä hermosolut pääsivät sinne? Koulutat tekoälyverkon, ja ne ilmenevät oppimisprosessin kautta. Kukaan ei kertonut verkostolle, että sen pitäisi sisällyttää tällaisia neuroneja arkkitehtuuriinsa. Se on mielenkiintoinen asia”, Boix sanoo.

Tutkijat aikovat tutkia tätä kysymystä tulevassa työssään sekä soveltaa uutta lähestymistapaa monimutkaisempiin tehtäviin.