NVIDIAn grafiikkaprosessorit saattavat olla parempia, ei vain nopeampia, syvän neuroverkkojen koulutuksessa

Tutkijat Puolasta ja Japanista, jotka työskentelevät Sonyn kanssa, ovat löytäneet näyttöä siitä, että koneoppimisjärjestelmät, jotka on koulutettu grafiikkaprosessoreilla (GPU) eivät sisällä yhtä paljon virheitä koulutusprosessin aikana ja tuottavat parempia tuloksia kuin keskusprosessorilla (CPU) koulutetut järjestelmät. Tämä löydös ristiriitaa yleisen käsityksen, jonka mukaan grafiikkaprosessorit suorittavat nämä operaatiot vain nopeammin, eivät paremmin.

Tutkimus, jonka otsikko on Grafiikkaprosessorin epävarmuuden vaikutus ennustavien syvien neuroverkkojen koulutukseen, on tehty Adam Mickiewicz -yliopiston psykologian ja kognitiivisen tieteen tiedekunnassa ja kahdessa japanilaisessa yliopistossa yhteistyössä SONY Computer Science Laboratoriesin kanssa.

Tutkimuksessa havaittiin, että ‘epävarmuudet’, joita syvät neuroverkkorakenteet osoittavat eri laitteisto- ja ohjelmistokonfiguraatioiden edessä, suosivat enemmän kalliita (ja yhä harvemmassa olevia) grafiikkaprosessoreita. Tutkimuksessa havaittiin myös, että syvä neuroverkko, joka oli koulutettu ainoastaan keskusprosessorilla, tuotti korkeamman virheen määrän samassa määrässä koulutusjaksoja (epookkeja) kuin grafiikkaprosessorilla koulutettu verkko.

Tässä täydentävässä esimerkissä tutkimusraportista nähdään (alimmassa rivissä), samanlaatuinen tuloksen laatu, joka saavutettiin monilla grafiikkaprosessoreilla, ja (ensimmäisessä rivissä), heikommat tulokset, jotka saavutettiin monilla muilla tehokkailla keskusprosessoreilla. Lähde: https://arxiv.org/pdf/2109.01451.pdf

Outo ilmiö

Nämä alustavat tulokset eivät ole yleispäteviä kaikille suosituille koneoppimisalgoritmeille, ja yksinkertaisten autoenkooderiarkkitehtuureiden tapauksessa ilmiötä ei havaita.

Tutkimuksen mukaan tämä viittaa mahdolliseen “pakopaikkaan” monimutkaisten neuroverkkojen koulutuksen tehokkuudelle, jossa samojen operaatioiden suorittaminen alhaisemmalla nopeudella ja pitemmillä koulutusajoilla ei saavuta odotettua suorituskykyä matemaattisissa toistojärjestelmissä.

Tutkijat esittävät, että tämä suorituskykyero voi olla ominaista tietyn tyyppisille neuroverkoille, ja että grafiikkaprosessorin määrättyjen prosessointiaspektein epävarmuus, jota usein nähdään esteenä, joka on voitettavissa, saattaa tarjota merkittäviä etuja ja voidaan jopa tulevaisuudessa sisällyttää tietoisesti myöhempään järjestelmiin. Tutkimuksessa esitetään myös, että tulokset voivat tarjota syvemmän ymmärryksen aivojen suorittamasta laskennasta.

Outojen ilmiöiden tunnistaminen, jotka lisäävät tehokkuutta ja tuloksien laatua grafiikkaprosessoreilla, tarjoaa mahdollisuuden saada syvempi ymmärrys “mustaan laatikkoon” -tekoälyarkkitehtuureista ja jopa parantaa keskusprosessorin suorituskykyä – vaikka tämänhetkiset syyt ovat edelleen epäselvät.

Autoenkooderi vs. PredNet

Tutkijat tutkivat anomaaliota käyttäen perusautoenkooderia ja myös Harvardin yliopiston ennustavaa neuroverkkoa PredNetiä, joka on tutkimus vuodelta 2016, jossa pyrittiin jäljittelemään ja tutkimaan ihmisen aivokuoren käyttäytymistä.

Molemmat järjestelmät ovat syviä neuroverkkoja, jotka on suunniteltu syntetisoimaan sopivia kuvia valvomattoman oppimisen avulla (josta puuttuvat nimikkeet), vaikka autoenkooderi käsittelee lineaarisesti yhtä kuvaa kerrallaan, josta se tuottaa tuloksen seuraavana kuvana toistuvassa putkessa. Autoenkooderi on koulutettu MNIST-käsinkirjoitustietokannassa.

Tutkimuksessa käytetty autoenkooderi on koulutettu MNIST-tietokannassa, joka koostuu 60 000 koulutuskuvasta 28×28 pikselin resoluutiolla, harmaasävyyn muunnettuna, sekä 10 000 testikuvasta.

Toisaalta PredNet arvioi monimutkaisia videoita ja tässä tutkimuksessa se on koulutettu FPSI-tietokannassa, joka sisältää laajan kehon kiinnittämisen videomateriaalia Disney Worldista Orlando, Floridasta (Disney oli yksi tutkimuksen yhteistyökumppaneista vuonna 2012).

Kuvasekvenssit FPSI:stä, jotka näyttävät ensimmäisen persoonan näkymät päivästä Disney Worldissa.

Kaksi arkkitehtuuria on hyvin erilaisia monimutkaisuuden suhteen. Autoenkooderi on suunniteltu kuvien rekonstruoimiseksi eikä ennustamaan kohdetuloksia. Toisaalta PredNet sisältää neljä kerrosta, joista jokainen koostuu edustusneuroneista, jotka käyttävät konvoluutionaista pitkän aikavälin muistia (LSTM).

Kerrosten tulokset ovat kontekstuaalisia ennusteita, jotka verrataan kohdekohteeseen, jotta voidaan tuottaa virhetermi, joka leviää koko verkossa. Molemmat mallit käyttävät valvomatonta oppimista.

Autoenkooderin yksinkertainen, lineaarinen arkkitehtuuri ja PredNetin monimutkaisempi, rekursiivinen verkko.

Molemmat järjestelmät testattiin useilla laitteisto- ja ohjelmistokonfiguraatioilla, mukaan lukien keskusprosessorit ilman grafiikkaprosessoreita (Intel i5-4590, i7-6800K, i5-7600K tai AMD Ryzen-5-3600) ja keskusprosessorit grafiikkaprosessoreilla (Intel i5-7600K + NVIDIA GTX-750Ti, i5-7600K + GTX-970, i7-6700K + GTX-1080, i7-7700K + GTX-1080Ti, i7-9700 + RTX-2080Ti, i5-7600K + RTX-2060 super, AMD Ryzen-5-3600 + RTX-2070 super tai i5-9400 + Titan-RTX).

Interaktiivinen prosessinäkymä htop käytettiin varmistamaan, että kaikki koulutus tapahtui joko yhdellä säikeellä (Intel i7-6800K:lla), neljällä säikeellä (Intel i5-4590:llä ja i5-7600K:lla) tai kuudella säikeellä (AMD Ryzen-5-3600:lla).

Satulapisteet

Autoenkooderilla keskimääräinen ero kaikissa konfiguraatioissa, sekä cuDNN:llä että ilman, ei ollut merkittävä. PredNetin tulokset olivat hämmästyttävämpiä, ja niissä havaittiin merkittäviä eroja tappioarvioissa ja laadussa keskusprosessorin ja grafiikkaprosessorin koulutuksen välillä.

PredNetin keskimääräiset tappiotulokset neljällä keskusprosessorilla ja kahdeksalla grafiikkaprosessorilla, jossa verkko on koulutettu 5000 videokehysframiin 250 erissä, ja keskimääräinen tappio viimeisten 1000 kehysframin (50 erän) aikana on esitetty. cuDNN on poistettu.

Tutkijat päättelevät, että ‘Vaikka mekanismi on epäselvä, grafiikkaprosessorin näyttää olevan kyky edistää syvien neuroverkkojen koulutusta.’

Tulokset osoittavat, että grafiikkaprosessorit saattavat olla parempia välttämään satulapisteitä – alueita gradientin laskussa, jotka kuvaavat rinnetta.

Gradientin laskun rinnetta vastaava satulapiste on nimetty ilmeisten syiden takia. Lähde: https://www.pinterest.com.au/pin/436849232581124086/

Satulapisteet, vaikka ne ovat este, on suurelta osin hylätty helposti kiertäväksi esteeksi stokastisen gradientin laskun optimoinnissa, mutta uusi tutkimus ehdottaa, että grafiikkaprosessorit saattavat olla ainutlaatuisesti varustettu välttämään niitä, ja että satulapisteiden vaikutusta tulisi ehkä tarkastella uudelleen.