Tutkijat luovat vaihtoehdon GPU:lle

Rice Universityn tietotekniikan tutkijat yhdessä Intelin yhteistyökumppaneiden kanssa ovat kehittäneet kustannustehokkaamman vaihtoehdon GPU:lle. Uutta algoritmia kutsutaan "sublineaariseksi syväoppimismoottoriksi" (SLIDE), ja se käyttää yleiskäyttöisiä keskusyksiköitä (CPU:ita) ilman erikoistunutta kiihdytyslaitteistoa. 

Tulokset esiteltiin Austin Convention Centerissä, joka järjestää koneoppimisjärjestelmäkonferenssin MLSys. 

Yksi tekoälyn (AI) suurimmista haasteista liittyy erityisiin kiihdytyslaitteistoihin, kuten grafiikkasuoritusyksiköihin (GPU). Ennen uutta kehitystä uskottiin, että syväoppimisteknologian nopeuttamiseksi vaadittiin tämän erikoistuneen kiihdytyslaitteiston käyttöä. 

Monet yritykset ovat panostaneet GPU:ihin ja syväoppimiseen erikoistuneisiin laitteistoihin, jotka vastaavat tekniikasta, kuten digitaalisista avustajista, kasvojentunnistuksesta ja tuotesuositusjärjestelmistä. Yksi tällainen yritys on Nvidia, joka luo Tesla V100 Tensor Core -grafiikkasuorittimia. Nvidia ilmoitti äskettäin 41 prosentin kasvun neljännen vuosineljänneksen liikevaihdossa viime vuoteen verrattuna. 

SLIDEn kehitys avaa täysin uusia mahdollisuuksia.

Anshumali Shrivastava on apulaisprofessori Rice's Brown School of Engineeringissä ja auttoi keksimään SLIDEn jatko-opiskelijoiden Beidi Chenin ja Tharun Medinin kanssa. 

"Testimme osoittavat, että SLIDE on ensimmäinen älykäs algoritminen syväoppimisen toteutus prosessorilla, joka voi ylittää GPU:n laitteistokiihdytyksen alan mittakaavan suositustietojoukoissa, joissa on suuret täysin yhdistetyt arkkitehtuurit", sanoi Shrivastava.

SLIDE selviää GPU-haastuksesta täysin erilaisen lähestymistavan ansiosta syvään oppimiseen. Tällä hetkellä syvän hermoverkkojen tavallinen koulutustekniikka on "takaisin eteneminen", ja se vaatii matriisin kertomista. Tämä työmäärä vaatii GPU:iden käyttöä, joten tutkijat muuttivat hermoverkkokoulutusta niin, että se voidaan ratkaista hash-taulukoilla. 

Tämä uusi lähestymistapa vähentää huomattavasti SLIDEn laskennallista kustannuksia. Tällä hetkellä parhaalla GPU-alustalla, jota Amazonin ja Googlen kaltaiset yritykset käyttävät pilvipohjaiseen syväoppimiseen, on kahdeksan Tesla V100:aa, ja hintalappu on noin 100,000 XNUMX dollaria. 

"Meillä on yksi laboratoriossa, ja testitapauksessamme otimme työtaakan, joka sopii täydellisesti V100:lle, jossa on yli 100 miljoonaa parametria suurissa, täysin yhdistetyissä verkoissa, jotka mahtuvat GPU-muistiin", Shrivastava sanoi. ”Harjoimme sen parhaalla (ohjelmisto)paketilla, Googlen TensorFlow'lla, ja sen harjoittelu kesti 3 1/2 tuntia.

"Sitten osoitimme, että uusi algoritmimme voi suorittaa koulutuksen tunnissa, ei GPU:illa vaan 44-ytimisellä Xeon-luokan CPU:lla", hän jatkoi.

Hashing on eräänlainen tietojen indeksointimenetelmä, joka keksittiin 1990-luvulla Internet-hakuun. Numeerisia menetelmiä käytetään suurten tietomäärien koodaamiseen numerojonoksi, jota kutsutaan hashiksi. Hashit on listattu, jotta voidaan luoda taulukoita, joita voidaan etsiä nopeasti. 

"Ei olisi ollut mitään järkeä toteuttaa algoritmiamme TensorFlow'ssa tai PyTorchissa, koska ensimmäinen asia, jonka he haluavat tehdä, on muuntaa tekemäsi asiat matriisikertotehtäväksi", Chen sanoi. "Juuri tästä halusimme päästä eroon. Joten kirjoitimme oman C++ -koodimme tyhjästä."

Shrivastavan mukaan SLIDEn suurin etu on, että se on tiedon rinnakkainen. 

"Rinnakkaistiedolla tarkoitan sitä, että jos minulla on kaksi data-instanssia, joilla haluan harjoitella, oletetaan, että toinen on kuva kissasta ja toinen bussista, ne todennäköisesti aktivoivat eri hermosoluja ja SLIDE voi päivittää tai harjoitella. näistä kahdesta erikseen", hän sanoi. "Tämä on paljon parempi rinnakkaisuuden hyödyntäminen suorittimille."

"Kääntöpuoli GPU:hun verrattuna on, että tarvitsemme suuren muistin", hän sanoi. "Päämuistissa on välimuistihierarkia, ja jos et ole varovainen sen kanssa, voit törmätä ongelmaan, jota kutsutaan välimuistin thrashingiksi, jolloin saat paljon välimuistin menetyksiä."

SLIDE on avannut oven uusille tavoille toteuttaa syväoppimista, ja Shrivastava uskoo, että se on vasta alkua.

"Olemme vain raapuneet pintaa", hän sanoi. "Voimme vielä tehdä paljon optimoidaksemme. Emme ole käyttäneet esimerkiksi vektorointia tai prosessoriin sisäänrakennettuja kiihdyttimiä, kuten Intel Deep Learning Boostia. Voisimme vielä käyttää monia muita temppuja tehdäksemme tästä vieläkin nopeamman."