Google Research Identifiserer en Flaskehals i Hyperskala Tilnærminger til AI

En ny rapport fra Google Research indikerer at den nåværende trenden mot kurering av svært store datamengder kan være kontraproduktiv for å utvikle effektive kunstig intelligens-systemer. Faktisk indikerer forskningen at bedre maskinlæringsprodukter kan oppstå fra å bli trent på mindre nøyaktige (dvs. teknisk sett ‘verre’) datamengder.

Hvis prinsippene som er gjort av forskerne er gyldige, betyr det at ‘hyperskala’ datamengder som den nylig utgitte LAION-400M (som inneholder 400 millioner tekst/bilde-par), og dataene bak GPT-3 neurale språk-motoren (som inneholder 175 milliarder parametre), potensielt kan være utsatt for en type ‘termisk grense’ i tradisjonelle og populære maskinlærings-arkitekturer og -metodologier, hvor den rene volumet av data ‘metter’ nedstrøms-applikasjoner og forhindrer dem i å generalisere på en nyttig måte.

Forskerne foreslår også alternative metoder for å omtenke hyperskala datamengde-arkitektur, for å rette opp ubalansen.

Rapporten sier:

‘Delving deeper to understand the reasons that give rise to these phenomena, we show that the saturation behavior we observe is closely related to the way that representations evolve through the layers of the models. We showcase an even more extreme scenario where performance on upstream and downstream are at odds with each other. That is, to have a better downstream performance, we need to hurt upstream accuracy.’

Studien het kalles Exploring the Limits of Large Scale Pre-training, og kommer fra fire forfattere ved Google Research.

Undersøking av ‘Metning’

Forfatterne utfordrer de rådende antakelsene om maskinlærings-relasjoner i hyperskala-data-alderen: at skaleringsmodeller og datasize betydelig forbedrer ytelsen (en tro som har blitt sementert i hypen over GPT-3 siden lanseringen); og at denne forbedrede ytelsen ‘går igjennom’ til nedstrøms-oppgaver på en lineær (dvs. ønskelig) måte, så at de på-enhet-algoritmene som til slutt lanseres på markedet, avledet fra de ellers ustyrlige store datamengdene og udistillerte treningsmodellene, fullstendig nyter av innsiktene fra de fullstørrelse, oppstrøms-arkitekturerte modellene.

‘Disse synspunktene,’ merker forskerne ‘suger at å bruke beregningsressurser og forskningsinnsats på å forbedre ytelsen på en enkelt, massiv korpus ville betale seg, fordi det ville ermögne oss å løse mange nedstrøms-oppgaver nesten uten kostnad.’

Men rapporten hevder at mangelen på beregningsressurser og de påfølgende ‘økonomiske’ metoder for modell-evaluering bidrar til en feilaktig forestilling om relasjon-dynamikken mellom datavolum og nyttige AI-systemer. Forfatterne identifiserer denne vanen som ‘en stor svakhet’, siden forskningssamfunnet vanligvis antar at lokale (positive) resultater vil oversette til nyttige senere implementeringer:

‘[På grunn] av beregningsbegrensninger, rapporteres ikke ytelse for forskjellige valg av hyper-parametere. Skaleringsplott ser mer gunstig ut hvis hyper-parameteren valgt for hver skala er fast eller bestemt av en enkel skaleringsfunksjon.’

Forskerne fastslår videre at mange skaleringsstudier måles ikke mot absolutte skalaer, men som inkrementelle forbedringer mot standarden (SotA), og observerer at ‘det er ingen grunn, a priori, for at skaleringsstudier skal holde utenfor det studerte området’.

Pre-trening

Rapporten omhandler praksisen med ‘pre-trening’, en måte designet for å spare beregningsressurser og kutte ned på de ofte forferdelige tidsrammene som er nødvendige for å trene en modell på stor-skala data fra null. Pre-treningssnapshot håndterer ‘ABC-ene’ i måten dataene innenfor en domene vil bli generalisert under trening, og brukes vanligvis i en rekke maskinlærings-sektorer og -spesialiteter, fra naturlig språkbehandling (NLP) til dypfalsk.

Tidligere akademisk forskning har funnet at pre-trening kan betydelig forbedre modell-robusthet og nøyaktighet, men den nye rapporten foreslår at kompleksiteten av funksjoner, selv i relativt kort-trent pre-treningsskabelon, kan være mer nyttig hvis den flyttes nedover i prosessen til senere prosesser i rørledningen.

Men dette kan ikke skje hvis forskerne fortsetter å avhenge av pre-trente modeller som bruker nåværende beste praksis i anvendelse av læringsrater, som, ifølge forskningen, kan betydelig påvirke den endelige nøyaktigheten av de endelige anvendelsene av arbeidet. I denne sammenhengen merker forfatterne at ‘man ikke kan håpe å finne en pre-trent kontrollpunkt som fungerer godt på alle mulige nedstrøms-oppgaver’.

Studien

For å etablere metningseffekten, gjennomførte forfatterne 4800 eksperimenter på Vision Transformers, ResNets og MLP-Mixers, hver med varierende antall parametre, fra 10 millioner til 10 milliarder, alle trenet på de største datamengdene tilgjengelige i de respektive sektorene, inkludert ImageNet21K og Googles eget JFT-300M.

Resultatene, ifølge rapporten, viser at data-mangfold bør vurderes som en ekstra akse når man prøver å ‘skalere opp’ data, modell-parametre og beregnings tid. Som det er nå, er den tunge konsentrasjonen av treningresurser (og forsker-oppmerksomhet) på oppstrøms-delen av en AI-rørledning effektivt blåser nedstrøms-applikasjoner med en lavine av parametre opp til et punkt av ‘metning’, som reduserer evnen til å deployede algoritmer til å navigere gjennom funksjoner og utføre inferens eller effekt-transformasjoner.

Rapporten konkluderer:

‘Gjennom en omfattende studie, etablerer vi at når vi forbedrer ytelsen på oppstrøms-oppgaven enten ved å skalerer opp eller hyper-parameter og arkitektur-valg, viser nedstrøms-oppgavene en metning-atferd. I tillegg gir vi sterk empirisk bevis for at, i motsetning til den vanlige fortellingen, skaleringsstudier ikke fører til en en-modell-passer-alle-løsning.’