LoRa, QLoRA og QA-LoRA: Effektiv tilpasning i store språkmodeller gjennom lav-rang matrisefaktorisering

Rangen til en matrise gir oss et glimt inn i dimensjonene skapt av dens kolonner, og bestemmes av antall unike rader eller kolonner den har.

• Full-rang matrise: Rangen matcher den mindre verdien mellom radene eller kolonnene.
• Lav-rang matrise: Med en rang som er betydelig mindre enn både rad- og kolonnantallet, fanger den færre trekk.

Nå, store modeller har en bred forståelse av sitt domene, som språk i språkmodeller. Men, finjustering av dem for bestemte oppgaver krever ofte bare å høydepunkte en liten del av disse forståelsene. Her er LoRA skinner. Den foreslår at matrisen som viser disse vekttallendringene kan være en lav-rang matrise, og dermed fange færre trekk.

LoRA begrenser smart rangen til denne oppdateringsmatrisen ved å splitte den i to mindre rangmatriser. Så, i stedet for å endre hele vekttallmatrisen, endrer den bare en del av den, og gjør dermed finjusteringsoppgaven mer effektiv.

LoRA på Transformers

LoRA hjelper med å minimere treningens belastning i neurale nettverk ved å fokusere på bestemte vekttallmatriser. Under transformer-arkitekturen er bestemte vekttallmatriser koblet til selv-oppmerksomhetsmekanismen, nemlig Wq, Wk, Wv og Wo, samt to flere i Multi-Layer Perceptron (MLP)-modulen.

Transformers-arkitektur

 

Transformer oppmerksomhets-hoder

Matematisk forklaring bak LoRA

La oss bryte ned matematikken bak LoRA:

1. Forhåndstrente vekttallmatrise W0​:
   • Den starter med en forhåndstrente vekttallmatrise W0​ av dimensjoner $d\times k$. Dette betyr at matrisen har $d$ rader og $k$ kolonner.
2. Lav-rang dekomposisjon:
   • I stedet for å direkte oppdatere hele matrisen W0​, som kan være beregningsmessig dyrt, foreslår metoden en lav-rang dekomposisjons tilnærming.
   • Oppdateringen $\Delta W$ til W0​ kan representeres som en produkt av to matriser: $B$ og $A$.
     • $B$ har dimensjoner $d\times r$
     • $A$ har dimensjoner $r\times k$
   • Den viktigste punkten her er at rangen $r$ er mye mindre enn både $d$ og $k$, noe som tillater en mer beregningsmessig effektiv representasjon.
3. Trening:
   • Under trening, forblir W0​ uendret. Dette kalles “frysing” av vekttallene.
   • På den andre siden, er $A$ og $B$ de trenebare parameterne. Dette betyr at, under trening, justeringer gjøres til matrisene $A$ og $B$ for å forbedre modellens ytelse.
4. Multiplikasjon og addisjon:
   • Både W0​ og oppdateringen $\Delta W$ (som er produktet av $B$ og $A$) multipliseres med samme innputt (betegnet som $x$).
   • Utdataene fra disse multiplikasjonene legges sammen.
   • Dette prosessen summeres i ligningen: h=W0​x+ΔWx=W0​x+BAx. Her representerer $h$ den endelige utdata etter å ha anvendt oppdateringene til innputt $x$.

Kort sagt, denne metoden tillater en mer effektiv måte å oppdatere en stor vekttallmatrise ved å representere oppdateringene ved hjelp av en lav-rang dekomposisjon, noe som kan være gunstig i forhold til beregningsmessig effektivitet og minnebruk.

LoRA

Initialisering og skala:

Når vi trener modeller, kan måten vi initialiserer parameterne påvirke effektiviteten og effekten av læreprosessen. I sammenheng med vår vekttallmatriseoppdatering ved hjelp av $A$ og $B$:

1. Initialisering av matriser $A$ og $B$:
   • Matrise $A$: Denne matrisen initialiseres med tilfeldige gaussiske verdier, også kjent som en normalfordeling. Grunnen til å bruke gaussisk initialisering er å bryte symmetrien: forskjellige nerver i samme lag vil lære forskjellige trekk når de har forskjellige initialvekter.
   • Matrise $B$: Denne matrisen initialiseres med nuller. Ved å gjøre dette, starter oppdateringen $\Delta W=BA$ som null i begynnelsen av treningen. Det sikrer at det ikke er noen plutselig endring i modellens atferd i begynnelsen, og lar modellen tilpasse seg gradvis etterhvert som $B$ lærer passende verdier under trening.
2. Skala utdata fra $\Delta W$:
   • Efter å ha beregnet oppdateringen $\Delta W$, skaleres utdataene med en faktor av rα​ hvor $\alpha$ er en konstant. Ved å skala, kontrolleres størrelsen på oppdateringene.
   • Skaleringen er spesielt viktig når rangen $r$ endres. For eksempel, hvis du bestemmer deg for å øke rangen for mer nøyaktighet (til en pris av beregning), sikrer skaleringen at du ikke trenger å justere mange andre hyperparametere i prosessen. Det gir en viss stabilitet til modellen.

LoRA sin praktiske påvirkning

LoRA har demonstrert sin potensiale til å justere LLM til bestemte kunstneriske stiler effektivt av personer fra AI-samfunnet. Dette ble vist i tilpasningen av en modell til å etterligne den kunstneriske stilen til Greg Rutkowski.

Som fremhevet i papiret med GPT-3 175B som eksempel. Å ha enkelteksemplarer av finjusterte modeller med 175B parametre hver er ganske dyrt. Men, med LoRA, reduseres de trenebare parameterne med 10 000 ganger, og GPU-minnebruk reduseres til en tredjedel.

LoRa påvirkning på GPT-3-finjustering

LoRA-metodologien ikke bare representerer et betydelig skritt mot å gjøre LLM mer tilgjengelig, men understreker også potensialet til å brygge gapet mellom teoretiske fremsteg og praktiske anvendelser i AI-domene. Ved å mildne de beregningsmessige hindringene og fremme en mer effektiv modelltilpasningsprosess, er LoRA godt posisjonert til å spille en avgjørende rolle i den videre anvendelsen og utrullingen av LLM i virkelige scenarier.

QLoRA (Kvantifisert)

Mens LoRA er en game-changer i å redusere lagringsbehov, krever det fortsatt en kraftig GPU for å laste modellen for trening. Her kommer QLoRA, eller Kvantifisert LoRA, inn, som en blanding av LoRA og kvantisering for en smartere tilnærming.

Kvantifisering

Vanligvis lagres vekttallparametre i en 32-bits format (FP32), noe betyr at hver element i matrisen tar opp 32 biter plass. Tenk hvis vi kunne komprimere samme informasjon til bare 8 eller til og med 4 biter. Det er kjerneideen bak QLoRA. Kvantifisering refererer til prosessen med å kartlegge kontinuerlige, uendelige verdier til en mindre mengde diskrete, endelige verdier. I sammenheng med LLM, refererer det til prosessen med å konvertere vekttallene til modellen fra høyere presisjonsdatatyper til lavere presisjonsdatatyper.

Kvantifisering i LLM

Her er en enklere forklaring av QLoRA:

1. Initial kvantisering: Først kvantiseres den store språkmodellen (LLM) ned til 4 biter, noe som reduserer minneavtrykket betydelig.
2. LoRA-trening: Deretter utføres LoRA-trening, men i standard 32-bits presisjon (FP32).

Nå kan du lure på hvorfor gå tilbake til 32 biter for trening etter å ha komprimert ned til 4 biter? Vel, for å kunne trene LoRA-adaptere effektivt i FP32, må modellvekttallene også gå tilbake til FP32. Denne skifte frem og tilbake gjøres på en smart, stegvis måte for å unngå å overbelaste GPU-minnet.

LoRA finner sin praktiske anvendelse i Hugging Face Parameter Efficient Fine-Tuning (PEFT)-biblioteket, noe som forenkler dens anvendelse. For de som ønsker å bruke QLoRA, er det tilgjengelig gjennom en kombinasjon av bitsandbytes og PEFT-bibliotekene. I tillegg støtter HuggingFace Transformer Reinforcement Learning (TRL)-biblioteket overvåket finjustering med integrert støtte for LoRA. Disse tre bibliotekene utgjør sammen det essensielle verktøyet for å finjustere en valgt forhåndstrengt modell, og muliggjør generering av overbevisende og sammenhengende produktsbeskrivelser når de blir bedt om å følge bestemte instruksjoner.

Etter finjustering fra QLoRA, må vekttallene gå tilbake til et høytpresisjonsformat, noe som kan føre til nøyaktighetsTap og mangler optimalisering for å påskynde prosessen.

En foreslått løsning er å gruppere vekttallmatrisen i mindre segmenter og anvende kvantisering og lav-rang-tilpasning til hver gruppe individuelt. En ny metode, kalt QA-LoRA, forsøker å kombinere fordelen av kvantisering og lav-rang-tilpasning samtidig som den holder prosessen effektiv og modellen effektiv for de ønskede oppgavene.

Konklusjon

I denne artikkelen har vi berørt utfordringene som følger med deres enorme parameterstørrelse. Vi har dykket ned i tradisjonelle finjusteringspraksiser og deres tilhørende beregnings- og finansielle krav. Kjernen i LoRA ligger i dens evne til å modifisere forhåndstrengte modeller uten å trene dem helt, og reduserer dermed de trenebare parameterne og gjør tilpasningsprosessen mer kostnadseffektiv.

Vi har også berørt Kvantifisert LoRA (QLoRA), en blanding av LoRA og kvantisering som reduserer minneavtrykket til modellen samtidig som den beholder den essensielle presisjonen for trening. Med disse avanserte teknikkene er praktikere nå utstyrt med et robust bibliotek, som muliggjør en enklere anvendelse og utrullingen av LLM i en rekke virkelige scenarier.

Matrix

Disse strategiene er utformet for å balansere mellom å gjøre LLM tilpassbare for bestemte oppgaver og sikre at finjusterings- og utrullingsprosessene ikke er for krevende i forhold til beregning og lagringsressurser.