AI-modeller og platforme

GLM-130B: En åben bipersonlig forudtrænet model

Kunal Kejriwal
Føj Unite.AI til dine foretrukne kilder på Google
NøglepunkterGLM-130B bruger bidirektionel GLM-attention til at slå GPT-3 på zero-shot LAMBADA med…
Vis mere
  • GLM-130B bruger bidirektionel GLM-attention til at slå GPT-3 på zero-shot LAMBADA med 80,2 i nøjagtighed.
  • Modellens 130B-størrelse muliggør inferens på en enkelt A100-server i modsætning til større 175B-modstykker.
  • Gradientspidser i embedding-laget går forud for træningskollaps og kan ikke løses ved at fryse projektioner.

GLM-130B er en tosproget, fortrænet stor sprogmodel med over 130 milliarder parametre, som kan generere tekst på både engelsk og kinesisk. Projektet forsøger at gøre en sprogmodel med over 100 milliarder parametre tilgængelig som open source og belyse, hvordan modeller i denne størrelse kan fortrænes. Træningen er nemlig ofte plaget af divergens og pludselige stigninger i tabsfunktionen.

Her gennemgår vi GLM-130B, hvis mål er at udvikle en effektiv metode til at fortræne sprogmodeller med hundredvis af milliarder parametre. Vi ser på modellens funktion, arkitektur, træningsproces og designvalg, der skal forbedre både effektivitet og stabilitet. I de indledende forsøg på en række engelsksprogede benchmarks overgik modellen GPT-3 betydeligt. Lad os undersøge baggrunden for disse konsistente, præcise og stabile resultater.

Introduktion til GLM-130B

Store sprogmodeller, der kan løse opgaver med få eksempler (few-shot) eller uden eksempler (zero-shot), især modeller med over 100 milliarder parametre, udviser interessante skaleringslove. GPT-3 er en af de modeller, som artiklen fremhæver for sine betydelige forbedringer i forhold til tidligere modeller som BERT. Trods GPT-3’s popularitet og udbredte anvendelse har offentligheden dog haft begrænset indsigt i træningsprocessen og dele af selve modellen. Det er beregningsmæssigt uoverkommeligt at afprøve alle mulige træningsdesign for modeller med over 100 milliarder parametre. Derfor er en egnet fortræningsmetode afgørende.

Det har stor værdi at dele, hvordan store sprogmodeller af høj kvalitet fungerer og trænes. Med etiske hensyn for øje forsøger GLM-130B-projektet at fortræne en præcis open source-model med over 100 milliarder parametre. Under arbejdet oplevede udviklerne en lang række tekniske og praktiske udfordringer med træningsstabilitet, effektivitet og konvergens.

GLM-130B er nærmere bestemt en tæt, bidirektionel og tosproget model med over 130 milliarder parametre. Den blev fortrænet på over 400 milliarder tokens på en klynge med 96 NVIDIA DGX-A100 GPU-noder i næsten to måneder. I stedet for en GPT-lignende arkitektur bruger den GLM-algoritmen, General Language Model, for at udnytte autoregressiv udfyldning af teksthuller og bidirektionel opmærksomhed. Tabellen sammenligner GLM-130B med andre modeller med over 100 milliarder parametre, herunder GPT, BLOOM-176B og OPT-175B.

Artiklen beskriver, hvordan modellens udviklings- og ingeniørmæssige valg giver resultater, der på mange benchmarks overgår andre store modeller, herunder GPT-3 og PaLM 540B med over 500 milliarder parametre. Figuren sammenligner modellerne og viser også mindre toksicitet og færre bias i den genererede tekst fra GLM-130B.

GLM-130B er desuden designet, så flere udviklere kan undersøge modeller med over 100 milliarder parametre. Det opnås på to måder. For det første har den 130 milliarder parametre i stedet for over 175 milliarder som BLOOM og OPT, hvilket muliggør inferens på én A100-server. For det andet reduceres GPU-kravene ved at kvantisere modellen til INT4-præcision. Det forbedrer ressourceeffektiviteten med kun en ubetydelig forringelse af modellens resultater.

GLM-130B: Arkitektur

En maskinlæringsmodels arkitektur beskriver dens induktive bias. På grund af de beregningsmæssige omkostninger og praktiske begrænsninger kan udviklere ikke uden videre udforske mange forskellige arkitekturer for store sprogmodeller. Lad os derfor se på GLM-130B’s arkitektur.

Modeller som PaLM og GPT har over 100 milliarder parametre og bygger på den traditionelle GPT-lignende arkitektur med kun en dekoder til autoregressiv sprogmodellering. GLM-130B undersøger i stedet en bidirektionel General Language Model: en transformerbaseret sprogmodel med autoregressiv udfyldning af teksthuller som træningsmål. For en given tekstsekvens udvælger GLM tekststykker og erstatter dem med et enkelt maskeringstoken.

GLM’s bidirektionelle opmærksomhed over den umaskerede kontekst adskiller modellen fra GPT’s ensrettede tilgang. For at understøtte både generering og forståelse kombinerer den to maskeringsstrategier, der hver markeres med et særligt token:

  • [MASK]: Korte huller i sætningerne, hvis samlede længde udgør en bestemt andel af inputtet.
  • [gMASK]: Huller med tilfældig længde mod slutningen af teksten, hvor den forudgående tekst bruges som kontekst.

Denne tilgang giver over 80 % nøjagtighed på LAMBADA i en zero-shot-test og overgår både PaLM 540B og GPT-3.

Lagnormalisering

Ustabil træning er en væsentlig udfordring ved store sprogmodeller. En passende lagnormalisering, LN, kan hjælpe. Artiklen beskriver GLM-130B’s brug af Post-LN med henvisning til resultaterne på efterfølgende opgaver.

FFN’er og positionskodning

Fremadrettede neurale netværk (FFN’er) og positionskodning er to af de elementer, GLM-130B anvender for at opnå gode resultater på efterfølgende opgaver og stabil træning.

Opsætning af fortræningen

Træningsmålene omfatter både multitask-læring på en mindre andel af tokens og selvovervåget GLM-træning med autoregressiv udfyldning af teksthuller. Formålet er at forbedre resultaterne på efterfølgende opgaver. Opsætningen beskrives nedenfor.

Selvovervåget udfyldning af teksthuller

De to strategier [MASK] og [gMASK] anvendes hver for sig på de enkelte træningssekvenser. For 30 % af sekvenserne maskerer [MASK] sammenhængende tekststykker, hvis samlede længde er op til 15 % af inputtet, og hvis længder følger en Poissonfordeling. For de resterende 70 % bevares sekvensens indledning som kontekst, mens [gMASK] maskerer resten. Den maskerede længde udtrækkes fra en ligefordeling.

Fortræning med instruktioner til flere opgaver

Multitask-læring under fortræningen kan forbedre overførsel til nye opgaver uden eksempler mere end efterfølgende finjustering. GLM-130B bruger derfor instruktionsbaserede datasæt til blandt andet sproggenerering, sprogforståelse og informationsudtræk under fortræningen.

I modsætning til metoder, der benytter multitask-finjustering med prompter, udgør denne instruktionsbaserede fortræning kun 5 % af alle tokens. Den placeres i fortræningsfasen for at undgå at svække modellens øvrige evner, herunder fri, ubetinget tekstgenerering.

3D-paralleliseringsstrategi

Tensorparallelisering af modellen og dataparallelisering er to gængse metoder til træning af modeller med milliarder af parametre. For at håndtere de store GPU-krav og begrænse ressourcebehovet kombinerer GLM-130B dem med pipelineparallelisering i en tredimensionel paralleliseringsstrategi.

GLM-130B: Træningsstabilitet

Træningsstabilitet er afgørende for en sprogmodels kvalitet og påvirkes stærkt af antallet af behandlede tokens. Begrænsede beregningsressourcer kræver en afvejning mellem stabilitet og effektivitet ved valg af flydende tal-formater. Lav præcision gør beregningerne mere effektive, men kan føre til træningssammenbrud på grund af underløb og overløb.

Blandet præcision

For at forbedre træningens præcision og reducere hukommelsesforbruget benytter GLM-130B den almindelige strategi med blandet præcision: FP16 til fremad- og bagudberegninger samt FP32 til hovedvægtene og optimeringsalgoritmens tilstand. Ligesom BLOOM-176B og OPT-175B oplever modellen hyppige stigninger i tabsfunktionen, som forekommer oftere, efterhånden som træningen skrider frem. Opskalering af transformere medfører også andre væsentlige problemer.

For det første kan værdierne i transformerens hovedgren blive meget store i de dybere lag ved brug af Pre-LN. Her beskriver artiklen en DeepNorm-baseret Pre-LN-løsning, der holder værdierne inden for grænser. For det andet vokser opmærksomhedsscorerne ved opskalering, indtil de kan overskride FP16-formatets interval.

Reduktion af gradienten i embeddinglaget (EGS)

Udviklerne fandt, at gradientnormen kan bruges som indikator for forestående træningssammenbrud. Et sammenbrud følger ofte efter en pludselig stigning i gradientnormen. Årsagen er unormale gradienter i embeddinglaget. Dets gradientnorm er flere størrelsesordener større end i andre lag og svinger kraftigt tidligt i træningen. Modeller til billedforståelse har også dette problem, som dér kan håndteres ved at fastlåse projektionslaget for billedudsnit. Artiklen fremhæver, at den samme løsning ikke kan overføres direkte til sprogmodellernes projektionslag.

GLM-130B: Resultater og ydeevne

På engelske opgaver vurderes modellen med samme opsætning som PaLM og GPT-3. Da GLM-130B er tosproget, testes den også på flere kinesiske benchmarks. Evalueringen omfatter sprogmodellering, MMLU (Massive Multitask Language Understanding), BIG-Bench (Beyond the Imitation Game Benchmark) og CLUE (Chinese Language Understanding Evaluation).

Sprogmodellering

Sprogmodellering testes på datasættene LAMBADA og Pile.

LAMBADA måler modellernes evne til at forudsige det sidste ord i en tekst. GLM-130B opnår en zero-shot-nøjagtighed på 80,2 % i den tosprogede opsætning og sætter ifølge de beskrevne forsøg en ny rekord på datasættet.

Pile indeholder en række tests til sprogmodeller. Sammenlignet med GPT-3 og Jurassic-1 opnår GLM-130B de bedste gennemsnitlige resultater på 18 fælles testsæt målt med vægtet BPB. Resultaterne viser modellens stærke sproglige evner og fremgår af tabellen nedenfor.

MMLU — Massive Multitask Language Understanding

MMLU er et varieret benchmark med over 50 opgaver med multiple choice-spørgsmål om menneskelig viden og intelligens, fra gymnasie- til ekspertniveau. Det blev offentliggjort efter indsamlingen af Pile-testdata og beskrives derfor som velegnet til at undersøge en sprogmodels læring ud fra få eksempler.

Med fem eksempler (5-shot) nærmer GLM-130B sig GPT-3’s resultater efter at have behandlet omtrent 300 milliarder tokens. Resultaterne forbedres med yderligere træning, og ved afslutningen efter i alt 400 milliarder tokens når nøjagtigheden 44,8 %.

BIG-Bench — Beyond the Imitation Game Benchmark

BIG-Bench undersøger viden, ræsonnement og sund fornuft gennem krævende opgaver. Som figurerne viser, overgår GLM-130B både PaLM 540B og GPT-3 175B uden eksempler. Mulige forklaringer er instruktionsbaseret multitask-fortræning (MIP) og bidirektionel opmærksomhed over konteksten, som kan hjælpe på hidtil usete opgaver. Flere eksempler forbedrer resultaterne yderligere, og modellen overgår fortsat GPT-3.

CLUE — Chinese Language Understanding Evaluation

Modellens kinesiske zero-shot-resultater vurderes på etablerede NLP-tests, herunder CLUE og FewCLUE, og sammenlignes med ERNIE Titan 3.0 med 260 milliarder parametre. GLM-130B overgår denne model på 12 forskellige opgaver og klarer sig ifølge artiklen næsten 260 % bedre på to datasæt til abstraktiv maskinlæsning (MRC).

Konklusion

Vi har gennemgået GLM-130B, en tosproget, fortrænet stor sprogmodel, der skal gøre forskningen i store sprogmodeller mere tilgængelig. Arkitekturen og det tekniske udviklingsarbejde giver AI-miljøet indsigt i modellernes opbygning, træningseffektivitet og stabilitet, fortræningsmål samt inferens til overkommelige omkostninger.

Kunal Kejriwal er en backend-ingeniør med speciale i Python, PostgreSQL, Redis og cloud-infrastruktur på GCP og AWS. Med tre års erfaring i at bygge og skalere produktionssystemer skriver han om AI-infrastruktur, distribuerede systemer og arkitekturen bag implementering af maskinlæringsarbejdsbelastninger.