Grafiikkasuorittimet voivat olla parempia, ei vain nopeampia, syvähermoverkkojen koulutuksessa

Puolalaiset ja japanilaiset tutkijat, jotka työskentelevät Sonyn kanssa, ovat löytäneet todisteita siitä, että GPU:illa koulutetut koneoppimisjärjestelmät voivat sisältää vähemmän virheitä koulutusprosessin aikana ja tuottaa erinomaisia ​​tuloksia, mikä on ristiriidassa yleisen käsityksen kanssa, että GPU:t yksinkertaisesti suorittavat tällaiset toiminnot nopeammin. kuin parempaa.

- tutkimus, nimeltään GPU-epävarmuuden vaikutus ennustavien syvähermoverkkojen koulutukseen, tulee Adam Mickiewiczin yliopiston psykologian ja kognitiivisten tieteiden tiedekunnasta ja kahdesta japanilaisesta yliopistosta yhdessä SONY Computer Science Laboratoriesin kanssa.

Tutkimus viittaa siihen "epävarmuustekijät" jotka syvät neuroverkot osoittavat erilaisissa laitteisto- ja ohjelmistokokoonpanoissa suosivat kalliimpia (ja yhä harvemmin) grafiikkaprosessointiyksiköitä ja havaitsi testeissä, että yksinomaan CPU:lla harjoitettu syvä hermoverkko tuotti korkeampia virhesuhteita saman ajanjakson aikana (sen monta kertaa järjestelmä käsittelee opetusdatan uudelleen istunnon aikana).

Tässä artikkelin lisäesimerkissä (kaksi alariviä) nähdään samanlainen tulosten laatu, joka on saatu useista grafiikkasuorituksista, ja (ensimmäinen rivi) huonommat tulokset, jotka on saatu useista muuten erittäin suorituskykyisistä prosessoreista.. Lähde: https://arxiv.org/pdf/2109.01451.pdf

Outoja ilmiöitä

Nämä alustavat havainnot eivät päde tasaisesti suosituissa koneoppimisalgoritmeissa, ja yksinkertaisissa autoenkooderiarkkitehtuureissa ilmiö ei näy.

Siitä huolimatta työ vihjaa mahdolliseen "pakonopeus" harjoituksen tehokkuuteen monimutkaisissa hermoverkoissa, joissa samojen toimintojen kattaminen pienemmällä nopeudella ja pidemmällä harjoitusajoilla ei saavuta suorituspariteettia, jota matemaattisilta iteraatiorutiineilta voisi odottaa.

Tutkijat ehdottavat, että tämä suorituskyvyn ero voi olla erityinen tietyntyyppisille hermoverkoille ja että GPU-spesifisen prosessoinnin epämääräiset osa-alueet, joita usein pidetään esteenä, joka lopulta ratkaistaan, voivat tarjota huomattavia etuja, mutta ne voivat lopulta olla tarkoituksellisia. sisällytetty myöhempiin järjestelmiin. Paperi ehdottaa myös, että havainnot voisivat tarjota syvempiä näkemyksiä aivoihin liittyvästä laskennallisesta käsittelystä.

Niiden erityispiirteiden tunnistaminen, jotka lisäävät tehokkuutta ja tulosten laatua tällä tavalla GPU:illa, mahdollistaa syvemmän käsityksen "mustan laatikon" AI-arkkitehtuureista ja jopa parantaa suorittimen suorituskykyä – vaikka taustalla olevat syyt ovat tällä hetkellä vaikeasti havaittavissa.

Autoencoder vs. PredNet

Poikkeavuuksia tutkiessaan tutkijat käyttivät perusautoenkooderia ja myös Harvardin yliopiston Predictive Neural Networkia. PredNet, tutkimus vuodelta 2016, jonka tarkoituksena oli tutkia ja yrittää jäljitellä ihmisen aivokuoren käyttäytymistä.

Molemmat järjestelmät ovat syviä hermoverkkoja, jotka on suunniteltu syntetisoimaan sopivia kuvia valvomattoman oppimisen avulla (joissa on dataa, josta otsikot jätettiin pois), vaikka autoenkooderi käsittelee lineaarisesti yhtä kuvaa erää kohden, joka sitten tuottaa tulosteen seuraavana kuvana toistuvassa liukuhihnassa. Autoenkooderi on koulutettu MNIST käsinkirjoitustietokanta.

Tutkijoiden testeissä oleva autoenkooderi on koulutettu MNIST-tietokannassa, joka sisältää 60,000 28 harjoituskuvaa 28 × 10,000 pikselillä, harmaasävyinduktion anti-aliasoituja sekä XNUMX XNUMX testikuvaa.

Sitä vastoin PredNet arvioi monimutkaisia ​​videosyötteitä, ja tämän tutkimuksen tapauksessa hän oli koulutettu FPSI-tietojoukko, joka sisältää laajaa vartalolla puettua videomateriaalia päivästä Disney Worldissä Orlandossa, Floridassa (Disney oli yksi vuoden 2012 paperin tutkijoista).

Kuvajaksot FPSI:stä, jotka näyttävät ensimmäisen persoonan näkymiä Disney World -päivänä.

Nämä kaksi arkkitehtuuria ovat hyvin erilaisia ​​monimutkaisuuden suhteen. Autoenkooderi on suunniteltu rekonstruoimaan kuvia pikemminkin kuin ennustamaan tavoitearvoja. Sitä vastoin PredNetissä on neljä kerrosta, joista jokainen koostuu esityshermosoluista, jotka käyttävät konvoluutiota pitkän lyhytaikaisen muistin (LSTM) avulla.

Kerrokset tuottavat kontekstuaalisia ennusteita, joita sitten verrataan kohteeseen, jotta saadaan aikaan virhetermi, joka etenee koko verkossa. Kumpikin malli hyödyntää ohjaamatonta oppimista.

Autoenkooderin yksinkertainen, lineaarinen arkkitehtuuri ja PredNetin labyrinttimäisempi ja rekursiivisempi verkko.

Molemmat järjestelmät testattiin useilla laitteisto- ja ohjelmistokokoonpanoilla, mukaan lukien prosessorit ilman grafiikkasuoritteita (Intel i5-4590, i7-6800K, i5-7600K tai AMD Ryzen-5-3600) ja prosessorit GPU:lla (Intel i5-7600K + NVIDIA GTX-750Ti, i5-7600K + GTX-970, i7-6700K + GTX-1080, i7-7700K + GTX-1080Ti, i7-9700 + RTX-2080Ti, i5-7600K + RyMDzen2060 super-5-3600 2070 + RTX-5 super tai i9400-XNUMX + Titan-RTX).

Interaktiivinen prosessin katseluohjelma htop käytettiin varmistamaan, että kaikki koulutus tapahtui joko yhdellä säikeellä (Intel i7-6800K), neljällä säikeellä (Intel i5-4590 ja i5-7600K) tai kuudella säikeellä (AMD Ryzen-5-3600 ).

Satulapisteet

Autoenkooderissa keskimääräinen ero kaikissa kokoonpanoissa, cuDNN:n kanssa ja ilman, ei ollut merkittävä. PredNetin tulokset olivat hämmästyttävämpiä, ja prosessorin ja grafiikkasuorittimen koulutuksen välillä oli huomattavia eroja häviön arvioinnissa ja laadussa.

Keskimääräiset häviöt PredNet-koulutuksessa neljässä CPU:ssa ja kahdeksassa GPU:ssa, kun verkko on koulutettu 5000 250 videokehykselle 1000 erässä, ja keskimääräinen häviö viimeisten 50 XNUMX kehyksen (XNUMX erän) aikana on kuvattu. cuDNN poistettiin käytöstä.

Tutkijat päättelevät näin "Vaikka mekanismi on epäselvä, GPU-laitteistolla näyttää olevan kyky edistää DNN-verkkojen koulutusta."

Tulokset osoittavat, että grafiikkasuorittimet voivat paremmin välttää satulapisteitä – kaltevuuden alueita, jotka kuvaavat rinteen pohjaa.

Kaltevuuslaskussa olevien rinteiden ali on "satulapiste", joka on nimetty ilmeisistä syistä. Lähde: https://www.pinterest.com.au/pin/436849232581124086/

Satulapisteet, vaikka ne ovatkin este, on suurelta osin hylätty helposti kiertävinä viime aikoina stokastisen gradientin laskeuman (SGD) optimointiajattelussa, mutta uudessa artikkelissa esitetään paitsi, että grafiikkasuorittimet voivat olla yksilöllisesti varusteltuja niiden välttämiseksi, vaan myös sen vaikutuksen. satulakohtia pitäisi ehkä tarkastella uudelleen.