AI-modeller og plattformer
Supercharging store språkmodeller med multi-token prediksjon
Legg til Unite.AI blant dine foretrukne kilder på Google
Store språkmodeller (LLM) som GPT, LLaMA og andre har tatt verden med storm med deres bemerkelsesverdige evne til å forstå og generere menneskelignende tekst. Likevel, til tross for deres imponerende egenskaper, har den standardmetoden for å trene disse modellene, kjent som “neste-token prediksjon”, noen innebygde begrensninger.
I neste-token prediksjon blir modellen trent til å prediktere neste ord i en sekvens gitt de foregående ordene. Mens denne tilnærmingen har vist seg å være suksessfull, kan den føre til modeller som sliter med lange avhengigheter og komplekse resoneringoppgaver. Dessuten kan mismatchet mellom lærer-kraft treningregimet og den autoregressive genereringsprosessen under inferens føre til suboptimal ytelse.
En nylig forskningsartikkel av Gloeckle et al. (2024) fra Meta AI introduserer en ny treningparadigma kalt “multi-token prediksjon” som har som mål å adresse disse begrensningene og gi store språkmodeller en kraftig økning. I denne bloggposten vil vi dykke dypt inn i de grunnleggende konseptene, tekniske detaljene og potensielle implikasjonene av denne banebrytende forskningen.
Enkelt-token prediksjon: Den konvensjonelle tilnærmingen
Før vi dykker inn i detaljene om multi-token prediksjon, er det essensielt å forstå den konvensjonelle tilnærmingen som har vært hovedsak for store språkmodelltrening i år – enkelt-token prediksjon, også kjent som neste-token prediksjon.
Neste-token prediksjonsparadigmet
I neste-token prediksjonsparadigmet blir språkmodellene trent til å prediktere neste ord i en sekvens gitt den foregående konteksten. Mer formelt blir modellen gitt oppgaven å maksimere sannsynligheten for neste token xt+1, gitt de foregående tokenene x1, x2, …, xt. Dette gjøres vanligvis ved å minimere kryssentropitapsfunksjonen:
L = -Σt log P(xt+1 | x1, x2, …, xt)
Dette enkle, men kraftfulle treningmål, har vært grunnlaget for mange suksessfulle store språkmodeller, som GPT (Radford et al., 2018), BERT (Devlin et al., 2019) og deres varianter.
Lærer-kraft og autoregressiv generering
Neste-token prediksjon avhenger av en treningsteknikk kalt “lærer-kraft” hvor modellen blir gitt grunnssannheten for hver fremtidig token under trening. Dette tillater modellen å lære fra den riktige konteksten og målsekvensene, og faciliterer mer stabil og effektiv trening.
Likevel, under inferens eller generering, opererer modellen på en autoregressiv måte, og predikerer ett token om gangen basert på de tidligere genererte tokenene. Dette mismatchet mellom treningregimet (lærer-kraft) og inferensregimet (autoregressiv generering) kan føre til potensielle diskrepanser og suboptimal ytelse, særlig for lengre sekvenser eller komplekse resoneringoppgaver.
Begrensninger ved neste-token prediksjon
Selv om neste-token prediksjon har vært bemerkelsesverdig suksessfull, har den også noen innebygde begrensninger:
- Kort-siktig fokus: Ved å kun prediktere neste token, kan modellen slite med å fange lange avhengigheter og den overordnede strukturen og kohesjonen i teksten, potensielt førende til inkonsistenser eller inkohesive genereringer.
- Lokal mønsterlåsing: Neste-token prediksjonsmodeller kan låse seg til lokale mønster i treningdataene, gjøre det vanskelig å generalisere til utenfor-distribusjonsscenarioer eller oppgaver som krever mer abstrakt resonering.
- Resoneringsevner: For oppgaver som involverer multi-steg resonering, algoritmer eller komplekse logiske operasjoner, kan neste-token prediksjon ikke gi tilstrekkelige induktive bias eller representasjoner for å støtte slike evner effektivt.
- Prøveineffektivitet: På grunn av den lokale naturen til neste-token prediksjon, kan modellene kreve større treningssammenlinger for å tilegne seg den nødvendige kunnskapen og resoneringsevnen, førende til potensielle prøveineffektiviteter.
Disse begrensningene har motivert forskere til å utforske alternative treningparadigmer, som multi-token prediksjon, som har som mål å adresse noen av disse svakhetene og låse opp nye evner for store språkmodeller.
Ved å kontrastere den konvensjonelle neste-token prediksjonsmetoden med den nye multi-token prediksjonsteknikken, kan lesere bedre forstå motivasjonen og de potensielle fordelene med den sistnevnte, og sette scenen for en dypere utforsking av denne banebrytende forskningen.
Hva er multi-token prediksjon?
Hovedideen bak multi-token prediksjon er å trene språkmodeller til å prediktere flere fremtidige token samtidig, i stedet for bare neste token. Spesifikt, under trening, blir modellen gitt oppgaven å prediktere de neste n token på hver posisjon i treningssammenlingen, ved hjelp av n uavhengige utgangslag (output heads) som opererer på toppen av en felles modellstamme.
For eksempel, med en 4-token prediksjonsoppsett, blir modellen trent til å prediktere de neste 4 token på en gang, gitt den foregående konteksten. Denne tilnærmingen oppmuntret modellen til å fange lengre avhengigheter og utvikle en bedre forståelse av den overordnede strukturen og kohesjonen i teksten.
Et enkelt eksempel
For å bedre forstå konseptet om multi-token prediksjon, la oss betrakte et enkelt eksempel. Anta at vi har følgende setning:
“Den raskt brune reven hopper over den late hunden.”
I den standard neste-token prediksjonsmetoden blir modellen trent til å prediktere neste ord gitt den foregående konteksten. For eksempel, gitt konteksten “Den raskt brune reven hopper over den”, blir modellen gitt oppgaven å prediktere neste ord, “late”.
Med multi-token prediksjon, derimot, blir modellen trent til å prediktere flere fremtidige ord på en gang. For eksempel, hvis vi setter n=4, blir modellen trent til å prediktere de neste 4 ord samtidig. Gitt samme kontekst “Den raskt brune reven hopper over den”, blir modellen gitt oppgaven å prediktere sekvensen “late hunden” (merk rommet etter “hunden” for å indikere slutten på setningen).
Ved å trene modellen til å prediktere flere fremtidige token på en gang, oppmuntres den til å fange lange avhengigheter og utvikle en bedre forståelse av den overordnede strukturen og kohesjonen i teksten.
Tekniske detaljer
Forfatterne foreslår en enkel, men effektiv arkitektur for å implementere multi-token prediksjon. Modellen består av en felles transformerstamme som produserer en latent representasjon av inndatakonteksten, etterfulgt av n uavhengige transformerlag (utgangshoder) som predikerer de respektive fremtidige tokenene.
Under trening, blir fremover- og bakoverpassene nøye orkestrert for å minimere GPU-minnebruk. Den felles stammen beregner den latente representasjonen, og hver utgangshode utfører deretter sin fremover- og bakoverpass sekvensielt, akkumulerer gradienter på stamme-nivå. Denne tilnærmingen unngår å materialisere alle logitvektorer og deres gradienter samtidig, og reduserer det maksimale GPU-minnebruk fra O(nV + d) til O(V + d), hvor V er vokabular-størrelsen og d er dimensjonen til den latente representasjonen.
Minneffektiv implementering
En av utfordringene ved å trene multi-token prediktorer er å redusere deres GPU-minnebruk. Siden vokabular-størrelsen (V) vanligvis er mye større enn dimensjonen til den latente representasjonen (d), blir logitvektorene GPU-minnebrukets flaskehals.
For å adresse denne utfordringen, foreslår forfatterne en minneffektiv implementering som tilpasser sekvensen av fremover- og bakoveroperasjoner. I stedet for å materialisere alle logitvektorer og deres gradienter samtidig, beregner implementeringen sekvensielt fremover- og bakoverpassene for hver uavhengige utgangshode, akkumulerer gradienter på stamme-nivå.
Denne tilnærmingen unngår å lagre alle logitvektorer og deres gradienter i minnet samtidig, og reduserer det maksimale GPU-minnebruk fra O(nV + d) til O(V + d), hvor n er antallet fremtidige token som predikeres.
Fordeler med multi-token prediksjon
Forskningsartikkelen presenterer flere overbevisende fordelene med å bruke multi-token prediksjon for å trene store språkmodeller:
- Forbedret prøveeffektivitet: Ved å oppmuntre modellen til å prediktere flere fremtidige token på en gang, driver multi-token prediksjon modellen mot bedre prøveeffektivitet. Forfatterne demonstrerer betydelige forbedringer i ytelse på kodeforståelse og genereringoppgaver, med modeller opptil 13B parametre som løser rundt 15% flere problemer i gjennomsnitt.
- Raskere inferens: De ekstra utgangshodene som er trent med multi-token prediksjon, kan utnyttes for selv-spekulativ dekoding, en variant av spekulativ dekoding som tillater parallell token-prediksjon. Dette resulterer i opptil 3 ganger raskere inferenstider over en rekke batch-størrelser, selv for store modeller.
- Fremme av lange avhengigheter: Multi-token prediksjon oppmuntret modellen til å fange lengre avhengigheter og mønster i dataene, som er særlig gunstig for oppgaver som krever forståelse og resonering over større kontekster.
- Algoritmer og resonering: Forfatterne presenterer eksperimenter på syntetiske oppgaver som demonstrerer overlegenheten til multi-token prediksjonsmodeller i å utvikle induksjons-hoder og algoritmer, særlig for mindre modellstørrelser.
- Kohesjon og konsistens: Ved å trene modellen til å prediktere flere fremtidige token samtidig, oppmuntret multi-token prediksjon utviklingen av kohesive og konsistente representasjoner. Dette er særlig gunstig for oppgaver som krever generering av lengre, mer kohesive tekst, som fortelling, kreativ skriving eller generering av instruksjonsmanualer.
- Forbedret generalisering: Forfatternes eksperimenter på syntetiske oppgaver antyder at multi-token prediksjonsmodeller utviser bedre generaliserings-evner, særlig i utenfor-distribusjonsscenarioer. Dette kan være på grunn av modellens evne til å fange lengre avhengigheter og mønster, som kan hjelpe den til å ekstrapolere mer effektivt til ukjente scenarioer.
Eksempler og intuitiv forståelse
For å gi mer intuitiv forståelse av hvorfor multi-token prediksjon fungerer så godt, la oss betrakte noen eksempler:
- Kodegenerering: I konteksten av kodegenerering, kan prediksjon av flere token samtidig hjelpe modellen til å forstå og generere mer komplekse kode-strukturer. For eksempel, når man genererer en funksjonsdefinisjon, kan prediksjon av bare neste token ikke gi nok kontekst for modellen til å generere hele funksjonssignaturen korrekt. Men ved å prediktere flere token på en gang, kan modellen bedre fange avhengighetene mellom funksjonsnavn, parametre og returtype, og føre til mer nøyaktig og kohesiv kodegenerering.
- Naturlig språkresonering: Betrakta et scenario hvor en språkmodell er gitt oppgaven å svare på et spørsmål som krever resonering over flere steg eller informasjonsdelar. Ved å prediktere flere token på en gang, kan modellen bedre fange avhengighetene mellom de forskjellige delene av resoneringprosessen, og føre til mer kohesive og nøyaktige svar.
- Lang-form tekstgenerering: Når man genererer lang-form tekst, som historier, artikler eller rapporter, kan det være vanskelig for språkmodeller trent med neste-token prediksjon å opprettholde kohesjon og konsistens over en lengre periode. Multi-token prediksjon oppmuntret modellen til å utvikle representasjoner som fanger den overordnede strukturen og flyten i teksten, og kan føre til mer kohesive og konsistente lang-form genereringer.
Begrensninger og fremtidige retninger
Selv om resultater presentert i artikkelen er imponerende, er det noen begrensninger og åpne spørsmål som krever videre utforsking:
- Optimalt antall token: Artikkelen utforsker forskjellige verdier av n (antallet fremtidige token som skal predikeres) og finner at n=4 fungerer godt for mange oppgaver. Likevel kan den optimale verdien av n avhenge av den spesifikke oppgaven, datasammenlingen og modellstørrelsen. Utvikling av prinsipielle metoder for å bestemme den optimale n kan føre til ytterligere forbedringer i ytelse.
- Vokabular-størrelse og tokenisering: Forfatterne merker at den optimale vokabular-størrelsen og tokeniseringsstrategien for multi-token prediksjonsmodeller kan være forskjellig fra de som brukes for neste-token prediksjonsmodeller. Utforsking av dette aspektet kan føre til bedre kompromisser mellom komprimert sekvenslengde og beregnings-effektivitet.
- Hjelpeprediksjons-tap: Forfatterne foreslår at deres arbeid kan vekke interesse for å utvikle nye hjelpeprediksjons-tap for store språkmodeller, utover den standard neste-token prediksjon. Utforsking av alternative hjelpeprediksjons-tap og deres kombinasjoner med multi-token prediksjon er en spennende forskningsretning.
- Teoretisk forståelse: Selv om artikkelen presenterer noen intuitiv forståelse og empiriske bevis for effektiviteten til multi-token prediksjon, ville en dypere teoretisk forståelse av hvorfor og hvordan denne tilnærmingen fungerer så godt, være verdifull.
Konklusjon
Forskningsartikkelen “Bedre og raskere store språkmodeller via multi-token prediksjon” av Gloeckle et al. introduserer en ny treningparadigma som har potensialet til å betydelig forbedre ytelsen og evnene til store språkmodeller. Ved å trene modeller til å prediktere flere fremtidige token samtidig, oppmuntret multi-token prediksjon utviklingen av lange avhengigheter, algoritmer og bedre prøveeffektivitet.
Den tekniske implementeringen foreslått av forfatterne er enkel og beregnings-effektiv, og gjør det mulig å anvende denne tilnærmingen til stor-skala språkmodelltrening. Dessuten kan evnen til å utnytte selv-spekulativ dekoding for raskere inferens, være en betydelig praktisk fordel.
Selv om det fortsatt er åpne spørsmål og områder for videre utforsking, representerer denne forskningen et spennende skritt fremover i feltet store språkmodeller. Ettersom etterspørselen etter mer kapable og effektive språkmodeller fortsetter å vokse, kan multi-token prediksjon bli en nøkkelkomponent i den neste generasjonen av disse kraftfulle AI-systemene.
