Uusi Neural Tangent -kirjasto Googlelta antaa data-analyytikoille “ennennäkemättömän” näkyvyyden malleihin

Google on suunnitellut uuden avoimen lähdekoodin kirjaston, jonka tarkoituksena on avata musta laatikko koneoppimisesta ja antaa insinööreille enemmän tietoa siitä, miten heidän koneoppimisjärjestelmänsä toimivat. Kuten VentureBeat raportoi, Google-tutkimusryhmä sanoo, että kirjasto voi antaa “ennennäkemättömän” näkyvyyden siihen, miten koneoppimismallit toimivat.

Neuraaliverkot toimivat neuroneja, jotka sisältävät matemaattisia funktioita, jotka muuttavat dataa eri tavoilla. Neuronit verkossa ovat yhdistetty kerroksittain, ja neuraaliverkoilla on syvyys ja leveys. Neuraaliverkon syvyys määräytyy kerrosten määrän mukaan, ja eri kerrosten väliset yhteydet vaikuttavat siihen, miten data käsitellään kerrosten välillä. Kerroksen leveys määräytyy neuronien määrän mukaan. Google-tutkimusinsinööri Roman Novak ja vanhempi tutkimustieteilijä Samuel S. Schoenholz sanovat, että mallien leveys on tiiviisti korreloitu säännöllisen, toistuvan käyttäytymisen kanssa. Blogikirjoituksessaan tutkijat selittivät, että neuraaliverkkojen laajentaminen tekee niiden käyttäytymisestä säännöllisemmän ja helpommin tulkittavan.

On olemassa toinen tyyppi koneoppimismallia, jota kutsutaan gaussianprosessiksi. Gaussianprosessi on stokastinen prosessi, joka voidaan esittää monimuuttujaisena normaalijakautumana. Gaussianprosessissa jokainen joukko/äärellinen lineaarinen yhdistelmä muuttujista on normaalisti jakautunut. Tämä tarkoittaa, että voidaan esittää erittäin monimutkaiset vuorovaikutukset muuttujien välillä tulkittavina lineaarialgebrallisin yhtälöin. Tämän vuoksi voidaan tutkia tekoälyn käyttäytymistä tämän näkökulman kautta. Miten koneoppimismallit liittyvät gaussianprosesseihin? Äärettömän leveät koneoppimismallit lähestyvät gaussianprosessia.

On kuitenkin haasteita gaussianprosessin kautta tulkittavien koneoppimismallien kanssa. Niiden tulkinta edellyttää äärettömän leven mallin derivaatan laskemista, mikä on monimutkainen laskutoimitus, joka on tehtävä kullekin eri arkkitehtuurille. Helpottamaan näitä laskutoimituksia Google-tutkimusryhmä suunnitteli Neural Tangents -kirjaston. Neural Tangents mahdollistaa data-analyytikon käyttää vain muutamia koodirivejä ja kouluttaa useita äärettömän leveitä verkkoja samanaikaisesti. Usein useita neuraaliverkkoja koulutetaan samalle aineistolle, ja niiden ennusteet keskiarvoistetaan, jotta saadaan robusti ennuste, joka on immuuni yksittäisen mallin ongelmiin. Tällaista tekniikkaa kutsutaan ensemble-oppimiseksi. Yksi ensemble-oppimisen haittoja on, että se on usein laskennallisesti kallista. Kun äärettömän leveä verkko koulutetaan, ensemble voidaan kuvailla gaussianprosessilla, ja varianssi ja keskiarvo voidaan laskea.

Kolmea eri äärettömän leveää neuraaliverkkorakennetta verrattiin testienä, ja vertailun tulokset julkaistiin blogikirjoituksessa. Yleisesti ottaen äärettömän leveiden verkkorakenteiden tulokset ovat samanlaiset kuin tavallisten, äärellisten neuraaliverkkojen suorituskyky:

Kuten tutkimusryhmä selittää blogikirjoituksessaan:

“Näemme, että äärettömän leveät verkot seuraavat samanlaista suorituskykyhierarkiaa kuin tavalliset neuraaliverkkorakenteet, jolloin täysin kytketyt verkot suorittavat huonommin kuin konvoluutioverkot, jotka puolestaan suorittavat huonommin kuin laajat residuaaliverkot. Toisin kuin tavallinen koulutus, näiden mallien oppimisdynamiikka on täysin johdonmukainen suljetussa muodossa, mikä mahdollistaa [uuden] näkyvyyden niiden käyttäytymiseen.”

Neural Tangents -kirjaston julkaisu näyttää sattuvan yhteen TensorFlow Dev Summitin kanssa. Dev Summitissa tapaahtuu koneoppimisinsinöörit, jotka käyttävät Google:n TensorFlow-alustaa. Neural Tangents -ilmoitus tuli myös pian sen jälkeen, kun TensorFlow Quantum ilmoitettiin.

Neural Tangents on saatavilla GitHubissa, ja siitä on saatavilla myös Google Colaboratory -muistikirja ja opas, jonka kiinnostuneet voivat käyttää.