Google Research Identificerer en Flaskehals i Hyperskala Tilgange til AI

En ny artikel fra Google Research indikerer, at den nuværende trend mod kuratering af meget store datamængder kan være kontraproduktiv for udvikling af effektive kunstig intelligenssystemer. Faktisk viser forskningen, at bedre maskinelæringsprodukter kan opstå ved at blive trænet på færre nøjagtige (dvs. teknisk ‘dårligere’) datamængder.

Hvis principperne, som forskerne har opnået, er gyldige, betyder det, at ‘hyperskala’-datamængder som den nyligt udgivne LAION-400M (som indeholder 400 millioner tekst/billede-par) og dataene bag den neurale sprogmaskine GPT-3 (som indeholder 175 milliarder parametre), potentielt kan være underlagt en slags ‘termisk grænse’ i traditionelle og populære maskinelæringsarkitekturer og -metodikker, hvor den rene mængde af data ‘mætter’ downstream-applikationer og forhindrer dem i at generalisere på en nyttig måde.

Forskerne foreslår også alternative metoder til at omstrukturere hyperskala-datamængder, for at rette op på ubalancen.

Artiklen siger:

‘Ved at dykke dybere for at forstå årsagerne til disse fænomener, viser vi, at den mætningsadfærd, vi observerer, er tæt relateret til, hvordan repræsentationer udvikler sig gennem lagene i modellerne. Vi viser en endnu mere ekstrem scenarie, hvor præstationen på upstream og downstream er i modstrid med hinanden. Det vil sige, at for at have en bedre downstream-præstation, må vi skade upstream-nøjagtigheden.’

Studiet er titlen Exploring the Limits of Large Scale Pre-training og kommer fra fire forfattere fra Google Research.

Undersøgelse af ‘Mætning’

Forfatterne udfordrer de herskende antagelser om maskinelærings-forhold til data i hyperskala-data-alderen: at skala-modeller og datamængder betragteligt forbedrer præstationen (en tro, der er blevet cementeret i hypen over GPT-3 siden dens lancering); og at denne forbedrede præstation ‘går igennem’ til downstream-opgaver på en lineær (dvs. ønskværdig) måde, således at de på enheden-algoritmer, der til sidst udgives på markedet, og som er afledt fra de ellers ustyrlige store datamængder og uddestillerede trænede modeller, fuldt ud kan drage fordel af indsigt fra de fuldstændige, upstream-arkitekturer.

‘Disse synspunkter,’ bemærker forskerne ‘antyder, at det at bruge beregningsressourcer og forskningsindsats på at forbedre præstationen på en enkelt massiv korpus vil betale sig, fordi det vil enable os til at løse mange downstream-opgaver næsten gratis.’

Men artiklen påstår, at mangel på beregningsressourcer og de efterfølgende ‘økonomiske’ metoder til modelvurdering bidrager til en falsk forestilling om relationernes dynamik mellem datavolumen og nyttige AI-systemer. Forfatterne identificerer denne vane som ‘en stor svaghed’, da forskningssamfundet typisk antager, at lokale (positive) resultater vil oversætte sig til nyttige senere implementationer:

‘[På grund af] beregningsbegrænsninger, rapporteres præstationen for forskellige valg af hyperparameterværdier ikke. Skala-plots ser mere favorable ud, hvis hyperparameterværdien, der er valgt for hver skala, er fast eller bestemt af en simpel skala-funktion.’

Forskerne fastslår yderligere, at mange skala-studier måles ikke mod absolutte skalaer, men som inkrementelle forbedringer mod staten af kunsten (SotA), og observerer, at ‘der ikke er nogen grund, a priori, til, at skalaen skal holde uden for det studerede område’.

Pre-træning

Artiklen behandler praksis med ‘pre-træning’, en måde designet til at spare beregningsressourcer og reducere de ofte forfærdelige tidsrammer, der er nødvendige for at træne en model på stor skala fra scratch. Pre-træningssnapshots håndterer ‘ABC’erne’ i, hvordan data inden for et domæne vil blive generaliseret under træning, og bruges ofte i en række maskinelæringssektorer og specialer, fra Natural Language Processing (NLP) til deepfakes.

Tidligere akademisk forskning har fundet, at pre-træning kan betragteligt forbedre model-robusthed og nøjagtighed, men den nye artikel foreslår, at kompleksiteten af funktioner, selv i relativt kort trænet pre-træningsskabeloner, kan være mere fordelagtigt, hvis den sendes ned ad linjen til senere processer i røret.

Men dette kan ikke ske, hvis forskere fortsætter med at afhænge af pre-trænede modeller, der bruger nuværende bedste praksis i anvendelse af læringsrater, hvilket, forskningen konkluderer, kan betragteligt påvirke den endelige nøjagtighed af de endelige anvendelser af arbejdet. I denne henseende bemærker forfatterne, at ‘man ikke kan håbe at finde en enkelt pre-trænet checkpoint, der fungerer godt på alle mulige downstream-opgaver’.

Studiet

For at etablere mætnings-effekten udførte forfatterne 4800 eksperimenter på Vision Transformers, ResNets og MLP-Mixers, hver med varierende antal parametre, fra 10 millioner til 10 milliarder, alle trænet på de højeste-volumen datamængder tilgængelige i de respektive sektorer, herunder ImageNet21K og Googles eget JFT-300M.

Resultaterne, som artiklen hævder, viser, at data-diversitet skal være en ekstra akse, når man forsøger at ‘skala op’ data, modelparametre og beregnings tid. Som det er nu, er den store koncentration af træningsressourcer (og forskeropmærksomhed) på upstream-sektionen af en AI-rørledning effektivt blæser downstream-applikationer med en lavine af parametre op til et punkt af ‘mætning’, hvilket reducerer evnen af de udsendte algoritmer til at navigere gennem funktioner og udføre inferens eller effektuere transformationer.

Artiklen slutter:

‘Gennem en omfattende studie etablerer vi, at når vi forbedrer præstationen på upstream-opgaven enten ved at skala op eller hyperparametervælger og arkitektoniske valg, viser præstationen på downstream-opgaver en mætningsadfærd. Yderligere giver vi stærke empiriske beviser for, at modsat den almindelige fortælling, skalaering ikke fører til en løsning, der passer til alle.’