Elinikäinen oppiminen laitteessa lähempänä uuden koulutustekniikan ansiosta

MIT:n ja MIT-IBM Watson AI Lab:n tutkijaryhmä on kehittänyt uuden tekniikan, joka mahdollistaa mallin koulutuksen itse laitteessa alle neljännesmegatavun muistilla. Uusi kehitys on vaikuttava saavutus, koska muut koulutusratkaisut tarvitsevat yleensä yli 500 megatavun muistia, mikä ylittää useimpien mikroohjainten 256 kilotavun kapasiteetin.

Kouluttamalla koneoppimismallia älykkäällä reunalaskentalaitteella, se voi sopeutua uusiin tietoihin ja tehdä parempia ennusteita. Koulutusprosessi kuitenkin vaatii yleensä paljon muistia, joten se tehdään usein tietokeskuksessa ennen mallin käyttöönottoa laitteessa. Tämä prosessi on paljon kalliimpi ja herättää tietosuojakysymyksiä verrattuna tutkijaryhmän kehittämään uuteen tekniikkaan.

Tutkijat kehittivät algoritmit ja kehyksen siten, että ne vähentävät laskennan määrää, joka tarvitaan mallin kouluttamiseen, mikä tekee prosessista nopeamman ja muistitehokkaamman. Tekniikka voi auttaa kouluttamaan koneoppimismallin mikroohjaimella vain muutamassa minuutissa.

Uusi tekniikka auttaa myös tietosuojassa, koska se pitää tiedot laitteessa, mikä on tärkeää, kun on kyse arkaluontoisista tiedoista. Samalla kehys parantaa mallin tarkkuutta verrattuna muihin lähestymistapoihin.

Song Han on apulaisprofessori sähkötekniikan ja tietojenkäsittelytieteen laitoksella (EECS), MIT-IBM Watson AI Lab:n jäsen ja tutkimuspaperin seniorkirjoittaja.

“Tutkimuksemme mahdollistaa IoT-laitteiden paitsi suorittaa päättelyä, vaan myös jatkuvasti päivittää koneoppimismalleja uusiin kerätyihin tietoihin, mikä mahdollistaa elinikäisen, laitteessa tapahtuvan oppimisen”, Han sanoi. “Matala resurssien käyttö tekee syvän oppimisen helpommaksi ja laajemmaksi, erityisesti matalatehoisille reunalaskentalaitteille.”

Tutkimusjulkaisun yhteisiä pääkirjoittajia olivat EECS:n tohtorikoulutettavat Ji Lin ja Ligeng Zhu. Muita kirjoittajia olivat MIT:n tutkijatohtorit Wei-Ming Chen ja Wei-Chen Wang. Siihen kuului myös Chuang Gan, pääasiallinen tutkija MIT-IBM Watson AI Lab:ssa.

Tehokkaamman koulutusprosessin luominen

Tehokkaamman ja vähemmän muistivaativaisen koulutusprosessin luomiseksi tutkijaryhmä turvautui kahteen algoritmiseen ratkaisuun. Ensimmäinen on tunnettu harvojen painojen päivityksenä (sparse update), joka käyttää algoritmia, joka tunnistaa tärkeimmät painot, joita päivitetään jokaisella koulutuskierroksella. Algoritmi jäädyttää painot yksi kerrallaan, kunnes tarkkuus laskee tietyn kynnyksen alapuolelle, jolloin se lopettaa. Loput painot päivitetään ja jäädytettyjä painoja vastaavia aktivaatioita ei tarvitse tallentaa muistiin.

“Koko mallin päivittäminen on hyvin kallista, koska siinä on paljon aktivaatioita, joten ihmiset taipuvat päivittämään vain viimeisen kerroksen, mutta kuten voit kuvitella, se vahingoittaa tarkkuutta”, Han sanoi. “Meidän menetelmässämme päivitämme valikoiden tärkeimmät painot ja varmistamme, että tarkkuus säilyy täysin.”

Tutkijaryhmän toinen ratkaisu liittyy kvantisoituun koulutukseen ja painojen yksinkertaistamiseen. Algoritmi pyöristää painot kahdeksaan bittiin kvantisointiprosessin kautta, mikä myös vähentää muistin määrää koulutuksessa ja päättelyssä, joka on prosessi, jossa malli sovelletaan tietojoukkoon ja luodaan ennuste. Algoritmi käyttää myös kvantisoinnin huomioivan skaalauksen (QAS) tekniikkaa, joka toimii kertoimena, joka säätää painon ja gradientin suhdetta. Tämä auttaa välttämään tarkkuuden laskua, joka voi johtua kvantisoidusta koulutuksesta.

Tutkijat kehittivät järjestelmän, jota kutsutaan pieneksi koulutusmoottoriksi, joka suorittaa algoritmi-innovaatiot yksinkertaisella mikroohjaimella, jolla ei ole käyttöjärjestelmää. Jotta enemmän työtä voitaisiin tehdä käännösvaiheessa ennen mallin käyttöönottoa reunalaskentalaitteessa, järjestelmä muuttaa koulutusprosessin askeljärjestyksen.

“Me siirtämme paljon laskentaa, kuten automaattista derivointia ja graafin optimointia, käännösaikaan. Me myös leikkaamme aggressiivisesti tarpeettomat operaattorit tukemaan harvaa päivitystä. Suoritusaikana, meillä on paljon vähemmän työtä tehdä laitteessa”, Han sanoo.

Hyvin tehokas tekniikka

Perinteiset kevyet koulutustekniikat vaativat yleensä noin 300-600 megatavun muistia, mutta tutkijaryhmän optimointi tarvitsi vain 157 kilotavua muistia kouluttaakseen koneoppimismalli mikroohjaimella.

Kehys testattiin kouluttamalla konenäkömalli havaitsemaan ihmisiä kuvissa, ja se oppi suorittamaan tämän tehtävän vain 10 minuutissa. Menetelmä pystyi myös kouluttamaan mallin yli 20 kertaa nopeammin kuin muut menetelmät.

Tutkijat aikovat nyt soveltaa tekniikkaa kielimalleihin ja erilaisiin tietoihin. He haluavat myös käyttää tätä hankittua tietoa kutistamaan suurempia malleja ilman tarkkuuden menetystä, mikä voisi myös auttaa vähentämään suurten koneoppimismallien koulutuksen hiilijalanjälkeä.