LoRa, QLoRA och QA-LoRA: Effektiv anpassning i stora språkmodeller genom låg-rankmatrisfaktorisering

Rangen för en matris ger oss en glimt av dimensionerna som skapas av dess kolumner, som bestäms av antalet unika rader eller kolumner den har.

• Full-rank matris: Dess rang matchar det mindre antalet mellan dess rader eller kolumner.
• Låg-rank matris: Med en rang som är betydligt mindre än både dess rad- och kolumnantal, fångar den färre funktioner.

Stora modeller har en bred förståelse av sin domän, som språk i språkmodeller. Men att finjustera dem för specifika uppgifter kräver ofta bara att man belyser en liten del av dessa förståelser. Här lyser LoRA. Det föreslår att matrisen som visar dessa viktsjusteringar kan vara en låg-rank matris, vilket fångar färre funktioner.

LoRA begränsar smart rangen för denna uppdateringsmatris genom att dela den i två mindre rangmatriser. Så istället för att ändra hela viktsmatrisen, ändras bara en del av den, vilket gör finjusteringsuppgiften mer effektiv.

Tillämpning av LoRA på transformer

LoRA hjälper till att minimera träningsbördan i neurala nätverk genom att fokusera på specifika viktsmatriser. Under transformerarkitekturen är vissa viktsmatriser kopplade till självuppmärksamhetsmekanismen, nämligen Wq, Wk, Wv och Wo, samt två fler i multi-lagerperceptron (MLP)-modulen.

Transformers-arkitektur

 

Transformer attention heads

Matematisk förklaring bakom LoRA

Låt oss bryta ner matematiken bakom LoRA:

1. Förtränad viktsmatris W0​:
   • Den börjar med en förtränad viktsmatris W0​ av dimensioner $d\times k$. Detta betyder att matrisen har $d$ rader och $k$ kolumner.
2. Låg-rank dekomposition:
   • Istället för att direkt uppdatera hela matrisen W0​, som kan vara beräkningsmässigt dyrt, föreslår metoden en låg-rank dekompositionstillvägagångssätt.
   • Uppdateringen $\Delta W$ till W0​ kan representeras som en produkt av två matriser: $B$ och $A$.
     • $B$ har dimensioner $d\times r$
     • $A$ har dimensioner $r\times k$
   • Den viktiga punkten här är att rangen $r$ är mycket mindre än både $d$ och $k$, vilket möjliggör en mer beräkningsmässigt effektiv representation.
3. Träning:
   • Under träningsprocessen förblir W0​ oförändrad. Detta kallas “frysning” av vikterna.
   • $A$ och $B$ är de tränbara parametrarna. Detta betyder att under träningsprocessen görs justeringar av matriserna $A$ och $B$ för att förbättra modellens prestanda.
4. Multiplication och addition:
   • Både W0​ och uppdateringen $\Delta W$ (som är produkten av $B$ och $A$) multipliceras med samma ingång (betecknad som $x$).
   • Utdata från dessa multiplikationer adderas sedan.
   • Denna process sammanfattas i ekvationen: h=W0​x+ΔWx=W0​x+BAx. Här representerar $h$ den slutliga utdatan efter att uppdateringarna har tillämpats på ingången $x$.

I korthet tillåter denna metod en mer effektiv väg att uppdatera en stor viktsmatris genom att representera uppdateringarna med en låg-rank dekomposition, vilket kan vara fördelaktigt i termer av beräkningsmässig effektivitet och minnesanvändning.

LORA

Initiering och skalning:

När modeller tränas kan initieringen av parametrarna ha en betydande inverkan på effektiviteten och effekterna av inlärningsprocessen. I sammanhanget med vår viktsmatrisuppdatering med $A$ och $B$:

1. Initiering av matriser $A$ och $B$:
   • Matris $A$: Denna matris initieras med slumpmässiga Gaussiska värden, även känd som en normalfördelning. Rationalet bakom att använda Gaussisk initiering är att bryta symmetrin: olika neuroner i samma lager kommer att lära sig olika funktioner när de har olika initialvärden.
   • Matris $B$: Denna matris initieras med nollor. Genom att göra detta startar uppdateringen $\Delta W=BA$ som noll i början av träningsprocessen. Det säkerställer att det inte sker någon plötslig förändring i modellens beteende i början, vilket tillåter modellen att gradvis anpassa sig när $B$ lär sig lämpliga värden under träningsprocessen.
2. Skalning av utdatat från $\Delta W$:
   • Efter beräkning av uppdateringen $\Delta W$, skalas dess utdata med en faktor av rα​ där $\alpha$ är en konstant. Genom skalning kontrolleras storleken på uppdateringarna.
   • Skalningen är särskilt viktig när rangen $r$ ändras. Till exempel, om du bestämmer dig för att öka rangen för mer exakthet (till priset av beräkningar), säkerställer skalningen att du inte behöver justera många andra hyperparametrar i processen. Det ger en viss stabilitet till modellen.

LoRAs praktiska påverkan

LoRA har visat sin potential att anpassa LLM till specifika konstnärliga stilar effektivt av personer inom AI-gemenskapen. Detta visades särskilt i anpassningen av en modell för att efterlikna den konstnärliga stilen hos Greg Rutkowski.

Som framhävs i artikeln med GPT-3 175B som exempel. Att ha enskilda instanser av finjusterade modeller med 175B parametrar vardera är ganska dyrt. Men med LoRA minskar de tränbara parametrarna med 10 000 gånger, och GPU-minnesanvändningen kapas till en tredjedel.

LoRa påverkan på GPT-3 finjustering

LoRA-metodiken inte bara utgör ett betydande steg mot att göra LLM mer tillgängliga, utan den understryker också potentialen att överbrygga gapet mellan teoretiska framsteg och praktiska tillämpningar inom AI-området. Genom att lindra de beräkningsmässiga hindren och främja en mer effektiv modellanpassningsprocess, är LoRA redo att spela en avgörande roll i den bredare antagandet och distributionen av LLM i realvärldsscenarier.

QLoRA (Kvantiserad)

Medan LoRA är en spelväxlare i att minska lagringsbehoven, kräver den fortfarande en kraftfull GPU för att ladda modellen för träningsprocessen. Här kommer QLoRA, eller Kvantiserad LoRA, som kombinerar LoRA med kvantisering för en smartare strategi.

Kvantisering

Normalt lagras viktparametrar i ett 32-bitarsformat (FP32), vilket innebär att varje element i matrisen tar upp 32 bitar av utrymme. Tänk om vi kunde komprimera samma information till bara 8 eller till och med 4 bitar. Det är kärnan i QLoRA. Kvantisering refererar till processen att mappa kontinuerliga oändliga värden till en mindre uppsättning diskreta ändliga värden. I sammanhanget med LLM refererar det till processen att konvertera modellens vikter från högre precisionstyper till lägre precisionstyper.

Kvantisering i LLM

Här är en enklare sammanfattning av QLoRA:

1. Inledande kvantisering: Först kvantiseras den stora språkmodellen (LLM) ned till 4 bitar, vilket betydligt minskar minnesavtrycket.
2. LoRA-träning: Därefter utförs LoRA-träning, men i standard 32-bitars precision (FP32).

Nu undrar du kanske varför man återgår till 32 bitar för träning efter att ha krympt ner till 4 bitar? Jo, för att effektivt träna LoRA-adapter i FP32, måste modellvikterna också återgå till FP32. Denna växling fram och tillbaka görs på ett smart, stegvis sätt för att undvika att överbelasta GPU-minnet.

LoRA hittar sin praktiska tillämpning i Hugging Faces Parameter Efficient Fine-Tuning (PEFT) bibliotek, vilket förenklar dess användning. För de som vill använda QLoRA är det tillgängligt genom en kombination av bitsandbytes och PEFT-biblioteken. Dessutom underlättar HuggingFace Transformer Reinforcement Learning (TRL) biblioteket övervakad finjustering med integrerat stöd för LoRA. Tillsammans utgör dessa tre bibliotek det väsentliga verktyget för finjustering av en vald förtränad modell, vilket möjliggör generering av övertygande och sammanhängande produktsbeskrivningar när de tillfrågas med specifika attributinstruktioner.

Efter finjustering från QLoRA måste vikterna återgå till ett högprecisionsformat, vilket kan leda till förlust av exakthet och saknar optimering för att påskynda processen.

En föreslagen lösning är att gruppera viktsmatrisen i mindre segment och tillämpa kvantisering och låg-rank anpassning på varje grupp individuellt. En ny metod, kallad QA-LoRA, försöker kombinera fördelarna med kvantisering och låg-rank anpassning samtidigt som den håller processen effektiv och modellen effektiv för de önskade uppgifterna.

Slutsats

I denna artikel berörde vi utmaningarna som orsakas av deras enorma storlek. Vi gick igenom traditionella finjusteringspraxis och deras associerade beräkningsmässiga och ekonomiska krav. Kärnan i LoRA ligger i dess förmåga att modifiera förtränade modeller utan att omträna dem helt, vilket minskar de tränbara parametrarna och gör anpassningsprocessen mer kostnadseffektiv.

Vi berörde också Kvantiserad LoRA (QLoRA), en kombination av LoRA och kvantisering som minskar modellens minnesavtryck samtidigt som den behåller den nödvändiga precisionen för träning. Med dessa avancerade tekniker är praktiker nu utrustade med robusta bibliotek, vilket underlättar en enklare antagande och distribution av LLM i en bred spektrum av realvärldsscenarier.

Matrix

Dessa strategier är utformade för att balansera mellan att göra LLM anpassningsbara för specifika uppgifter och säkerställa att finjusterings- och distributionsprocesserna inte är alltför krävande i termer av beräkning och lagringsresurser.