Google Research Identifierar en Flaskhals i Hyperskala Tillvägagångssätt för AI

En ny rapport från Google Research tyder på att den nuvarande trenden mot att skapa mycket stora datamängder kan vara kontraproduktiv för att utveckla effektiva artificiella intelligenssystem. Faktum är att forskningen tyder på att bättre maskinlärningsprodukter kan uppstå från att träna på mindre exakta (dvs. tekniskt “sämre”) datamängder.

Om principerna som forskarna har funnit är giltiga, betyder det att “hyperskala”-datamängder som den nyligen släppta LAION-400M (som innehåller 400 miljoner text/bildpar), och data bakom den neurala språkmotorn GPT-3 (innehållande 175 miljarder parametrar), potentiellt kan vara föremål för en sorts “termisk gräns” i traditionella och populära maskinlärningsarkitekturer och metoder, där den ren volymen av data “mättar” nedströmsapplikationer och förhindrar att de generaliserar på ett användbart sätt.

Forskarna föreslår också alternativa metoder för att ompröva hyperskala datamängdsarkitektur, för att återställa obalansen.

Rapporten säger:

‘Genom att gå djupare för att förstå orsakerna till dessa fenomen, visar vi att den mättnad vi observerar är nära relaterad till hur representationer utvecklas genom modellens lager. Vi visar ett ännu mer extremt scenario där prestationen på uppströms och nedströms är i konflikt med varandra. Det vill säga, för att ha en bättre nedströmsprestation, måste vi skada uppströmsprecisionen.’

Studien är titlad Exploring the Limits of Large Scale Pre-training och kommer från fyra författare på Google Research.

Utredning av ‘Mättnad’

Författarna utmanar de rådande antagandena om maskinlärningsdatarelationshiper i hyperskala dataåldern: att skalning av modeller och datamängder avsevärt förbättrar prestationen (en tro som har cementerats i hypen kring GPT-3 sedan dess lansering); och att denna förbättrade prestation “går igenom” till nedströmsuppgifter på ett linjärt (dvs. önskvärt) sätt, så att de algoritmer som till slut lanseras på marknaden, som härrör från de annars ohanterligt stora datamängderna och outvättade tränade modellerna, fullständigt dra nytta av insikterna från de fullskaliga, uppströmsarkitekturerna.

‘Dessa åsikter,’ noterar forskarna ‘föreslår att vi spenderar beräkningsresurser och forskningsinsatser på att förbättra prestationen på en enda enorm korpus skulle löna sig eftersom det skulle möjliggöra oss att lösa många nedströmsuppgifter nästan utan kostnad.’

Men rapporten hävdar att bristen på beräkningsresurser och de efterföljande “ekonomiska” metoderna för modellutvärdering bidrar till en falsk bild av relationen mellan datavolym och användbara AI-system. Författarna identifierar denna vana som “en stor brist”, eftersom forskarsamhället vanligtvis antar att lokala (positiva) resultat kommer att översättas till användbara senare implementationer:

‘[På grund av] beräkningsbegränsningar, rapporteras prestationen för olika val av hyperparametervärden inte. Skalningsdiagram verkar mer fördelaktiga om hyperparametern som valts för varje skala är fast eller bestämd av en enkel skalningsfunktion.’

Forskarna påpekar vidare att många skalningsstudier mäts inte mot absoluta skalor, utan som inkrementella förbättringar mot den senaste utvecklingen (SotA), och observerar att “det finns ingen anledning, a priori, för att skalningen ska gälla utanför den studerade området”.

Förträning

Rapporten behandlar metoden “förträning”, ett mått som är avsett att spara beräkningsresurser och minska de ofta fruktansvärda tidsramarna som behövs för att träna en modell på storskalig data från scratch. Förträningsögonblick hanterar “ABC:na” för hur data inom en domän kommer att generaliseras under träning, och används vanligtvis i en mängd olika maskinlärningssektorer och specialområden, från naturligt språkbehandling (NLP) till deepfakes.

Tidigare akademisk forskning har funnit att förträning kan avsevärt förbättra modellens robusthet och precision, men den nya rapporten föreslår att komplexiteten hos funktioner, även i relativt kort tränad förträningsmall, kan vara mer till nytta om den skickas vidare till senare processer i pipelinen.

Men detta kan inte hända om forskare fortsätter att förlita sig på förtränade modeller som använder nuvarande bästa praxis för tillämpning av inlärningstakt, som, enligt forskningen, kan avsevärt påverka den slutliga precisionen hos de slutliga tillämpningarna av arbetet. I detta avseende noterar författarna att “man kan inte hoppas på att hitta en enda förtränad kontrollpunkt som fungerar bra på alla möjliga nedströmsuppgifter”.

Studien

För att etablera mättnadseffekten genomförde författarna 4800 experiment på Vision Transformers, ResNets och MLP-Mixers, var och en med ett varierande antal parametrar, från 10 miljoner till 10 miljarder, alla tränade på de största datamängderna som finns tillgängliga i respektive sektor, inklusive ImageNet21K och Googles egna JFT-300M.

Resultaten, hävdar rapporten, visar att datadiversitet bör betraktas som en ytterligare axel när man försöker “skala upp” data, modellparametrar och beräkningstid. Som det är nu är den tunga koncentrationen av träningsresurser (och forskaruppmärksamhet) på uppströmsdelen av en AI-pipeline effektivt “översvämmar” nedströmsapplikationer med en lavin av parametrar upp till en punkt av “mättnad”, vilket minskar förmågan hos distribuerade algoritmer att navigera genom funktioner och utföra inferens eller effekta transformationer.

Rapporten avslutas:

‘Genom en omfattande studie etablerar vi att när vi förbättrar prestationen på uppströmsuppgiften antingen genom att skala upp eller hyperparameter- och arkitekturval, visar sig prestationen på nedströmsuppgifter en mättnadsbeteende. Dessutom tillhandahåller vi starka empiriska bevis för att, till skillnad från den allmänna berättelsen, skalning inte leder till en lösning som passar alla.’