Tutkijat kehittivät vaihtoehdon GPU:lle

Rice-yliopiston tietojenkäsittelytieteilijät yhteistyössä Intelin kanssa ovat kehittäneet edullisemman vaihtoehdon GPU:lle. Uusi algoritmi on nimeltään “alilineaarinen syväoppimisen moottori” (SLIDE), ja se käyttää yleiskäyttöisiä keskusprosessoriyksiköitä (CPU) ilman erikoistuneita kiihdytyslaitteita.

Tulokset esiteltiin Austin Convention Centerissä, jossa järjestettiin koneoppimisen järjestelmien konferenssi MLSys.

Yksi suurimmista haasteista tekoälyssä (AI) on erikoistuneet kiihdytyslaitteet, kuten grafiikkaprosessorit (GPU). Ennen uusia kehityksiä uskottiin, että syväoppimisen nopeuttamiseksi tarvitaan erikoistuneita kiihdytyslaitteita.

Monet yritykset ovat panostaneet GPU:iin ja erikoistuneisiin laitteisiin syväoppimiseen, joka on vastuussa tekniikasta, kuten digitaalisista avustajista, kasvontunnistusjärjestelmistä ja tuotesuositusjärjestelmistä. Yksi tällainen yritys on Nvidia (NVDA ), joka valmistaa Tesla (TSLA ) V100 Tensor Core -GPU:iä. Nvidia ilmoitti äskettäin 41 prosentin kasvun neljännessä vuosineljänneksessä edellisvuoteen verrattuna.

SLIDE:n kehitys avaa täysin uusia mahdollisuuksia.

Anshumali Shrivastava on apulaisprofessori Rice-yliopiston Brownin insinööritieteellisessä tiedekunnassa ja auttoi kehittämään SLIDE:a yhdessä jatko-opiskelijoiden Beidi Chenin ja Tharun Medinin kanssa.

“Testimme osoittavat, että SLIDE on ensimmäinen älykäs algoritminen toteutus syväoppimisesta CPU:lla, joka voi ylittää GPU:n kiihdytyslaitekiihdytyksen teollisuusmittakaavaisilla suositteludatajoukoilla, joissa on suuret täysin kytketyt arkkitehtuurit”, Shrivastava sanoi.

SLIDE pääsee GPU:n haasteen yli täysin erilaisen lähestymistapansa ansiosta. Tällä hetkellä syvien neuroverkkojen standarditraining-tekniikka on “taustajakautuminen”, joka vaatii matriisien kertolaskua. Tämä työkuorma vaatii GPU:n käyttöä, joten tutkijat muuttivat neuroverkkojen koulutusta siten, että se voidaan ratkaista hajautustaulujen avulla.

Tämä uusi lähestymistapa vähentää merkittävästi laskennallista kuormitusta SLIDE:ssa. Nykyinen paras GPU-alusta, jota yritykset kuten Amazon (AMZN ) ja Google (GOOGL ) käyttävät pilvipohjaisessa syväoppimisessa, on kahdeksan Tesla V100:aa, ja sen hinta on noin 100 000 dollaria.

“Meillä on yksi laboratoriossamme, ja testitapauksessamme otimme työkuorman, joka on täydellinen V100:lle, yksi, jossa on yli 100 miljoonaa parametriä suurissa, täysin kytketyissä verkkojen osissa, jotka mahtuvat GPU:n muistiin”, Shrivastava sanoi. “Koulutimme sen parhaalla (ohjelmisto) paketilla, joka on saatavilla, Google:n TensorFlow, ja se kesti 3,5 tuntia kouluttaa.

“Sitten osoitimme, että uusi algoritmi voi suorittaa koulutuksen yhdessä tunnissa, ei GPU:lla, vaan 44-ydin Xeon-luokan CPU:lla”, hän jatkoi.

Hajautus on tietojen hakutapaa, joka keksittiin 1990-luvulla internet-haun vuoksi. Numerometodeja käytetään koodaamaan suuria tietomääriä numeroiden merkkijonoksi, jota kutsutaan hajautukseksi. Hajautukset luokitellaan luetteloihin, jotka voidaan hakea nopeasti.

“Ei olisi ollut järkeä toteuttaa algoritmiamme TensorFlow:ssa tai PyTorchissa, koska ensimmäinen asia, mitä he haluavat tehdä, on muuttaa se, mitä teet, matriisien kertolaskuksi”, Chen sanoi. “Se on täsmälleen sitä, mitä halusimme välttää. Niinpä kirjoitimme oman C++-koodin alusta alkaen.”

Shrivastavan mukaan SLIDE:n suurin etu on, että se on data-rinnakkainen.

“Data-rinnakkaisuudella tarkoitan, että jos minulla on kaksi data-eksemplaaria, joita haluan kouluttaa, esimerkiksi yksi on kissan kuva ja toinen on bussin kuva, ne todennäköisesti aktivoivat eri neuroneja, ja SLIDE voi päivittää tai kouluttaa nämä riippumattomasti”, hän sanoi. “Tämä on paljon parempi hyödyntäminen rinnakkaisuutta CPU:issa.”

“Toisaalta, verrattuna GPU:hen, meidän vaaditaan suuri muisti”, hän sanoi. “On välimuistihierarkia päämuistissa, ja jos et ole varovainen siitä, voit törmätä ongelmaan, jota kutsutaan välimuistin häiriöksi, jossa saat paljon välimuistivirheitä.”

SLIDE on avannut oven uusille tavoille toteuttaa syväoppimista, ja Shrivastava uskoo, että se on vasta alku.

“Olemme vasta raapaisseet pinnan”, hän sanoi. “On paljon, mitä voimme vielä tehdä optimoimiseksi. Emme ole käyttäneet vektorointia esimerkiksi tai CPU:n sisäänrakennettuja kiihdytyslaitteita, kuten Intel (INTC ) Deep Learning Boost. On paljon muita temppuja, joita voimme vielä käyttää tehdäksemme tämän vielä nopeammaksi.”