Kasva ja leikkaa -strategia voi vähentää tekoälyjärjestelmien energiankäyttöä

Ihmisajan toimii “kasva ja leikkaa” -strategian mukaan, jossa aluksi on valtava määrä hermosoluja ja sitten tarpeettomat yhteydet leikataan pois ajan myötä. Viime aikoina ryhmä tekoälytutkijoita on soveltanut tätä lähestymistapaa tekoälyjärjestelmiin ja havainnut, että se voi vähentää merkittävästi tekoälyjärjestelmän koulutukseen tarvittavaa energiaa.

Princetonin yliopiston tutkijaryhmä loi äskettäin uuden menetelmän tekoälyjärjestelmien kouluttamiseen. Tämä uusi koulutusmenetelmä näyttää pystyvän saavuttamaan tai ylittämään teollisuuden standardit tarkkuudessa, mutta se pystyy saavuttamaan tämän käyttäen paljon vähemmän laskentatehoa ja siten vähemmän energiaa kuin perinteiset koneoppimismallit. Kahden eri tutkimuksen aikana Princetonin tutkijat osoittivat, miten verkkoa voidaan kasvattaa lisäämällä siihen hermosoluja ja yhteyksiä. Tarpeettomat yhteydet leikattiin pois ajan myötä, jättäen vain tehokkaimmat ja tehokkaimmat osat malliin.

Niraj Jha, Princetonin sähkötekniikan professori, selitti Princetonin uutisille, että tutkijoiden kehittämä malli toimii “kasva ja leikkaa” -paradigman mukaan. Jha selitti, että ihmisaivojen kehitys on monimutkaisin noin kolmevuotiaana, ja tämän jälkeen aivot alkavat leikata tarpeettomia hermoyhteyksiä. Lopputuloksena on, että täysin kehittynyt aivot pystyvät suorittamaan kaikki erinomaiset tehtävät, joita teemme joka päivä, mutta ne käyttävät noin puolta kaikista hermoyhteyksistä, joita ne olivat huipussaan. Jha ja muut tutkijat mukauttivat tämän strategian tekoälyjärjestelmien kouluttamiseen.

Jha selitti:

“Lähestymistapamme on se, mitä me kutsumme kasva ja leikkaa -paradigmaksi. Se on samanlainen kuin aivojen kehitys vauvasta lapsuuteen. Kolmannen vuoden aikana ihmisaivot alkavat leikata yhteyksiä aivosolujen välillä. Tämä prosessi jatkuu aikuisuuteen asti, jolloin täysin kehittynyt aivot toimivat noin puolella hermoyhteyksistään. Aikuisten aivot ovat erikoistuneet siihen koulutukseen, jota olemme antaneet niille. Ne eivät ole yhtä hyviä yleispurposeoppimisessa kuin vauvan aivot.”

Kasvamisen ja leikkaamisen ansiosta voidaan tehdä yhtä hyviä ennusteita datakuvioiden perusteella käyttäen vain murto-osaa aiemmin vaadittavasta laskentatehosta. Tutkijat pyrkivät löytämään keinoja energiankulutuksen ja laskentakustannusten vähentämiseksi, koska tämä on avainasemassa tekoälytekniikan siirtämisessä pieniin laitteisiin, kuten puhelimiin ja älykelloihin. Tekoälyalgoritmien energiankulutuksen vähentäminen voi myös auttaa alaa vähentämään hiilijalanjälkeään. Xiaoliang Dai, joka on ensimmäinen tekijä tutkimuksissa, selitti, että malleja on koulutettava paikallisesti, koska niiden siirtäminen pilveen vaatii paljon energiaa.

Ensimmäisen tutkimuksen aikana tutkijat yrittivät kehittää työkalun, jolla he voivat suunnitella hermosolmverkkoja ja luoda uudelleen joitain parhaimmista verkostoista alusta alkaen. Työkalu sai nimen NeST (Neural network Synthesis Tool), ja kun sille annettiin vain muutamia hermosoluja ja yhteyksiä, se nopeasti kasvoi monimutkaisemmaksi lisäämällä enemmän hermosoluja verkkoon. Kun verkko saavutti tietyn kynnyksen, se alkoi leikata itseään ajan myötä. Vaikka aiemmat verkostomallit olivat käyttäneet leikkaustekniikoita, Princetonin tutkijoiden kehittämä menetelmä oli ensimmäinen, joka otti verkon ja simuloiti kehityksen eri vaiheita, kulkiessaan “vauvasta” “lapsuuteen” ja lopulta “aikuiseen aivoihin”.

Toisessa tutkimuksessa tutkijat työskentelivät yhteistyössä Kalifornian yliopiston ja Facebookin tiimien kanssa parantaakseen menetelmäänsä Chameleon-työkalun avulla. Chameleon pystyy aloittamaan halutusta päämäärästä, halutuista tuloksista ja rakentamaan taaksepäin oikeanlaisen hermosolmverkon. Tämä poistaa paljon arvaamista, joka on liittynyt verkon manuaaliseen säätöön, ja antaa insinööreille aloituspisteitä, jotka ovat todennäköisesti välittömästi hyödyllisiä. Chameleon ennustaa eri arkkitehtuurien suorituskykyä eri olosuhteissa. Yhdistämällä Chameleonin ja NeST-kehyksen voisi auttaa tutkimusorganisaatioita, joilla ei ole raskaita laskentaresursseja, hyödyntämään tekoälyverkkojen voimaa.