Google Research tunnisti pullonkaulan hyperskaalaisten lähestymistapojen kanssa tekoälyssä

Google Researchin uusi tutkimus osoittaa, että nykyinen trendi hyvin suurten tietojoukkojen kokoamiseen saattaa olla vastoin tuottavien tekoälyjärjestelmien kehittämistä. Tutkimus osoittaa, että paremmat koneoppimistuotteet voivat syntyä harjoitettuna vähemmän tarkoilla (ts. teknisesti “huonoimmilla”) tietojoukoilla.

Jos tutkijoiden saamat periaatteet ovat voimassa, se tarkoittaa, että “hyperskaalaiset” tietojoukot, kuten äskettäin julkaistu LAION-400M (joka sisältää 400 miljoonaa teksti/kuvaparia) ja GPT-3-neuraalisen kielen moottorin taustalla olevat tiedot (joka sisältää 175 miljardia parametrejä), voivat olla alttiina jonkinlaiselle “termiselle rajalle” perinteisissä ja suosituissa koneoppimisarkkitehtuureissa ja menetelmissä, jossa tiedon valtava määrä “saturaatio” alihankkeita ja estää niiden yleistymisen hyödyllisellä tavalla.

Tutkijat ehdottavat myös vaihtoehtoisia menetelmiä hyperskaalaisen tietojoukon arkkitehtuurin uudelleenarvioimiseksi, jotta epätasapaino voidaan korjata.

Tutkimus toteaa:

‘Syventymällä syvemmin ymmärtämään syitä, jotka johtavat näihin ilmiöihin, osoitamme, että havaitsemamme saturaatiokäyttäytyminen on läheisesti liittynyt siihen, miten edustukset kehittyvät mallien kerroksissa. Esitämme jopa äärimmäisemmän skenaarion, jossa ylätason ja alitason suorituskyky ovat toisensa vastaisia. On siis tarpeen heikentää ylätason tarkkuutta, jotta voidaan saavuttaa parempi alitason suorituskyky.’

Tutkimus on nimeltään Exploring the Limits of Large Scale Pre-training, ja se on tehty neljän Google Researchin tutkijan toimesta.

Tutkimalla ‘saturaatiota’

Tutkijat haastavat vallitsevat oletukset koneoppimisen ja tietojen suhteista hyperskaalaisessa aikakaudessa: että mallien ja tietojen koon kasvattaminen parantaa merkittävästi suorituskykyä (uskomus, joka on vakiintunut GPT-3:n julkaisun myötä); ja että tämä parannettu suorituskyky “siirtyy” alihankkeisiin lineaarisella (ts. toivottavalla) tavalla, jotta lopulta markkinoille julkaistavat laitteiston algoritmit, jotka perustuvat muuten hallitsemattomiin tietojoukkoihin ja tarkastamattomiin koulutettuihin malleihin, hyötyvät täysimääräisesti kokoaikaisen, ylätason arkkitehtuurin oivalluksista.

‘Nämä näkemykset,’ tutkijat toteavat ‘ehdottavat, että resurssien ja tutkimuksen panostaminen yhden massiivisen korpuksen suorituskyvyn parantamiseen tuottaisi hyötyä, koska se mahdollistaisi useiden alihankkeiden ratkaisemisen lähes ilmaiseksi.’

Mutta tutkimus väittää, että laskentaresurssien puute ja sitä seuraavat “taloudelliset” mallin arviointimenetelmät ovat vaikuttaneet väärään käsitykseen tietojen määrän ja hyödyllisten tekoälyjärjestelmien suhteesta. Tutkijat tunnistavat tämän tapaan “merkittäväksi puutteeksi”, koska tutkimusyhteisö olettaa yleensä, että paikalliset (myönteiset) tulokset kääntyvät myöhemmin hyödyllisiksi sovelluksiksi:

‘[Johtuen] laskentaresurssien rajoituksista, eri hyperparametrien arvojen suorituskykyä ei ilmoiteta. Mittauskaaviot näyttävät suotuisammilta, jos hyperparametri on kiinnitetty tai määritetty yksinkertaisella skaalauksella.’

Tutkijat toteavat myös, että useat skaalautumistutkimukset mitataan ei ehdottomiin mittauksiin vaan parannuksiin valtiota edustavaan (SotA) suhteessa, ja huomauttavat, että “ei ole mitään syytä, josta skaalautuminen pitäisi pitää ylittää tutkitun aikajanan ulkopuolella”.

Esikoulutus

Tutkimus käsittelee “esikoulutuksen” käytäntöä, joka on keino säästää laskentaresursseja ja lyhentää usein kauheasti aikaa, joka vaaditaan mallin kouluttamiseen suurten tietojoukkojen kanssa. Esikoulutuslouhinnat käsittelevät “aapista” siitä, miten tieto yhden alueen sisällä yleistyy koulutuksen aikana, ja niitä käytetään yleisesti useissa koneoppimisen aloissa ja erikoisaloissa, kuten luonnollisen kielen prosessoinnista syvänoppaisiin väärennöksiin.

Aikaisemmat akateemiset tutkimukset ovat löytäneet, että esikoulutus voi parantaa merkittävästi mallin luotettavuutta ja tarkkuutta, mutta uusi tutkimus ehdottaa, että jopa lyhyiden esikoulutusmallien ominaisuuksien monimutkaisuus voisi olla enemmän hyödyllistä, jos se siirretään myöhempiin prosesseihin putkessa.

Kuitenkin tämä ei voi tapahtua, jos tutkijat jatkavat nykyisten parhaiden käytäntöjen riippuvuutta oppimisnopeuksista, joilla tutkimus toteaa, että se voi vaikuttaa lopullisten sovellusten lopulliseen tarkkuuteen. Tässä suhteessa tutkijat toteavat, että “ei voida toivoa yhtä esikoulutettua tarkistuspistettä, joka toimii hyvin kaikissa mahdollisissa alihankkeissa”.

Tutkimus

Saturaatioilmiön vahvistamiseksi tutkijat suorittivat 4800 kokeita Vision Transformersilla, ResNetsillä ja MLP-Mixereillä, joissa jokaisessa oli vaihteleva määrä parametrejä, 10 miljoonasta 10 miljardiin, ja ne harjoitettiin suurimmissa saatavilla olevissa tietojoukoissa, mukaan lukien ImageNet21K ja Google omin JFT-300M.

Tutkimuksen mukaan tietojen monimuotoisuus tulisi ottaa huomioon yhtenä akselina, kun yritetään “skaalata” tietoja, mallin parametrejä ja laskentaaikaa. Nykyisenlainen voimakas keskittyminen ylätason osaan tekoälyputkea on käytännössä “saturaatio” alihankkeita parametreillä jopa “saturaatiopisteeseen”, jolloin käytännön sovellusten kyky navigoida ominaisuuksissa ja suorittaa inference- tai muunnostöitä heikkenee.

Tutkimus toteaa:

‘Laajan tutkimuksen kautta osoitamme, että kun parannamme ylätason tehtävän suorituskykyä joko skaalaamalla tai hyperparametrien ja arkkitehtuurin valinnoilla, alihankkeiden suorituskyky näyttää saturaatiokäyttäytymistä. Lisäksi tarjoamme vahvan empiirisen näytön siitä, että vastoin yleistä kertomaa, skaalautuminen ei johtaisi yhteen malliin, joka sopii kaikille.’