LoRa, QLoRA și QA-LoRA: Adaptabilitate eficientă în modelele de limbaj mare prin factorizarea matricelor de rang scăzut

Rangul unei matrice ne oferă o privire asupra dimensiunilor create de coloanele sale, fiind determinat de numărul de rânduri sau coloane unice pe care le are.

• Matrice de rang complet: Rangul său corespunde numărului mai mic dintre rânduri și coloane.
• Matrice de rang scăzut: Cu un rang semnificativ mai mic decât atât numărul de rânduri, cât și numărul de coloane, ea captează mai puține caracteristici.

Acum, modelele mari au o înțelegere largă a domeniului lor, cum ar fi limba în modelele de limbaj. Dar, reglarea fină a acestora pentru sarcini specifice adesea necesită evidențierea unei părți mici din aceste înțelegeri. Aici este unde LoRA strălucește. Ea sugerează că matricea care prezintă aceste ajustări de greutate poate fi una de rang scăzut, capturând astfel mai puține caracteristici.

LoRA limitează inteligent rangul matricei de actualizare prin divizarea acesteia în două matrice mai mici de rang. Astfel, în loc de a modifica întreaga matrice de greutate, ea modifică doar o parte a acesteia, făcând procesul de reglare fină mai eficient.

Aplicarea LoRA la Transformatori

LoRA ajută la minimizarea încărcării de antrenare în rețelele neuronale prin concentrarea asupra unor matrice de greutate specifice. În cadrul arhitecturii Transformer, anumite matrice de greutate sunt legate de mecanismul de atenție self, și anume Wq, Wk, Wv și Wo, plus două în modulul Perceptron Multistrat (MLP).

Arhitectura Transformatorilor

 

Capete de atenție ale transformatorului

Explicație matematică a LoRA

Să descompunem matematica din spatele LoRA:

1. Matricea de greutate preantrenată W0​:
   • Începe cu o matrice de greutate preantrenată W0​ de dimensiuni $d\times k$. Acest lucru înseamnă că matricea are $d$ rânduri și $k$ coloane.
2. Descompunerea de rang scăzut:
   • În loc de a actualiza direct întreaga matrice W0​, care poate fi computațional scump, metoda propune o abordare de descompunere de rang scăzut.
   • Actualizarea $\Delta W$ la W0​ poate fi reprezentată ca produsul a două matrice: $B$ și $A$.
     • $B$ are dimensiuni $d\times r$
     • $A$ are dimensiuni $r\times k$
   • Punctul cheie aici este că rangul $r$ este mult mai mic decât atât $d$, cât și $k$, ceea ce permite o reprezentare mai eficientă din punct de vedere computațional.
3. Antrenare:
   • În timpul procesului de antrenare, W0​ rămâne neschimbat. Acest lucru se numește “înghețarea” greutăților.
   • Pe de altă parte, $A$ și $B$ sunt parametrii antrenabili. Acest lucru înseamnă că, în timpul antrenării, se fac ajustări la matricele $A$ și $B$ pentru a îmbunătăți performanța modelului.
4. Înmulțire și adunare:
   • Atât W0​, cât și actualizarea $\Delta W$ (care este produsul $B$ și $A$) sunt înmulțite cu același intrare (notat cu $x$).
   • Rezultatele acestor înmulțiri sunt apoi adunate împreună.
   • Acest proces este rezumat în ecuația: h=W0​x+ΔWx=W0​x+BAx. Aici, $h$ reprezintă ieșirea finală după aplicarea actualizărilor la intrarea $x$.

În esență, această metodă permite o modalitate mai eficientă de actualizare a unei matrice de greutate mari prin reprezentarea actualizărilor utilizând o descompunere de rang scăzut, ceea ce poate fi benefic din punct de vedere al eficienței computaționale și al utilizării memoriei.

LORA

Inițializare și scalare:

Atunci când se antrenează modele, modul în care se inițializează parametrii poate afecta semnificativ eficiența și eficacitatea procesului de învățare. În contextul actualizării matricei de greutate utilizând $A$ și $B$:

1. Inițializarea matricelor $A$ și $B$:
   • Matricea $A$: Această matrice este inițializată cu valori gaussiene aleatoare, cunoscute și sub numele de distribuție normală. Rațiunea din spatele utilizării inițializării gaussiene este de a rupe simetria: neuroni diferiți din același strat vor învăța caracteristici diferite atunci când au greutăți inițiale diferite.
   • Matricea $B$: Această matrice este inițializată cu zero. Prin aceasta, actualizarea $\Delta W=BA$ începe ca zero la începutul antrenării. Acest lucru asigură că nu există o schimbare bruscă în comportamentul modelului la început, permițând modelului să se adapteze treptat pe măsură ce $B$ învață valori adecvate în timpul antrenării.
2. Scalarea ieșirii din $\Delta W$:
   • După calcularea actualizării $\Delta W$, ieșirea acesteia este scalată cu un factor de rα​ unde $\alpha$ este o constantă. Prin scalare, magnitudinea actualizărilor este controlată.
   • Scalarea este deosebit de importantă atunci când rangul $r$ se schimbă. De exemplu, dacă decideți să creșteți rangul pentru o precizie mai mare (la costul computațional), scalarea asigură că nu trebuie să ajustați mulți alți hiperparametri în proces. Acest lucru oferă o anumită stabilitate modelului.

Impactul practic al LoRA

LoRA a demonstrat potențialul său de a regla LLM pentru stiluri artistice specifice în mod eficient de către comunitatea de inteligență artificială. Acest lucru a fost remarcat în special în adaptarea unui model pentru a imita stilul artistic al lui Greg Rutkowski.

Pe măsură ce modelele devin mai mari, este din ce în ce mai dificil să le reglăm individual pentru sarcini specifice. De exemplu, având instanțe individuale de modele reglate fin pentru 175B de parametri fiecare este foarte costisitor. Dar, cu LoRA, parametrii antrenabili scad de 10.000 de ori, iar utilizarea memoriei GPU este redusă la o treime.

Impactul LoRA asupra reglării fine a GPT-3

Metodologia LoRA nu numai că reprezintă un pas semnificativ spre a face LLM mai accesibile, dar subliniază și potențialul de a reduce decalajul dintre progresele teoretice și aplicațiile practice în domeniul inteligenței artificiale. Prin atenuarea obstacolelor computaționale și facilitarea unui proces de adaptare a modelului mai eficient, LoRA este poziționată să joace un rol cheie în adoptarea și implementarea LLM în diverse scenarii din lumea reală.

QLoRA (Cuantificat)

În timp ce LoRA este un jucător de schimbare în reducerea necesităților de stocare, ea încă necesită o cantitate semnificativă de putere de calcul pentru a încărca modelul pentru antrenare. Aici intervine QLoRA, sau LoRA cuantificat, care combină LoRA cu cuantificarea pentru o abordare mai inteligentă.

Cuantificare

În mod normal, parametrii de greutate sunt stocați într-un format de 32 de biți (FP32), ceea ce înseamnă că fiecare element din matrice ocupă 32 de biți. Imaginați-vă dacă am putea să strângem aceeași informație în doar 8 sau chiar 4 biți. Acesta este nucleul QLoRA. Cuantificarea se referă la procesul de mapare a valorilor continue infinite la un set mai mic de valori finite discrete. În contextul LLM, ea se referă la procesul de conversie a greutăților modelului de la tipuri de date de înaltă precizie la cele de joasă precizie.

Cuantificare în LLM

Iată o descriere mai simplă a QLoRA:

1. Cuantificare inițială: Mai întâi, Modelul de Limbaj Mare (LLM) este cuantificat la 4 biți, reducând semnificativ amprenta de memorie.
2. Antrenare LoRA: Apoi, se efectuează antrenarea LoRA, dar în precizia standard de 32 de biți (FP32).

Acum, vă puteți întreba de ce să reveniți la 32 de biți pentru antrenare după ce ați redus la 4 biți. Pentru a antrena eficient adaptatorii LoRA în FP32, greutățile modelului trebuie să revină și ele la FP32. Acest schimb între 4 biți și 32 de biți se face într-un mod inteligent, pas cu pas, pentru a evita supraîncărcarea memoriei GPU.

LoRA găsește aplicații practice în biblioteca de Reglare fină eficientă din punct de vedere al parametrilor (PEFT) de la Hugging Face, simplificând utilizarea sa. Pentru cei care doresc să utilizeze QLoRA, aceasta este accesibilă prin combinarea bibliotecilor bitsandbytes și PEFT. De asemenea, biblioteca de Învățare a Transformatorilor prin Reforzare (TRL) de la HuggingFace facilitează reglarea fină supravegheată cu suport integrat pentru LoRA. Împreună, aceste trei biblioteci oferă instrumentarul esențial pentru reglarea fină a unui model preantrenat selectat, permițând generarea de descrieri de produse convingătoare și coerente atunci când sunt furnizate instrucțiuni specifice de atribut.

Post-reglare fină de la QLoRA, greutățile trebuie să revină la un format de înaltă precizie, ceea ce poate duce la pierderea de precizie și lipsa de optimizare pentru accelerarea procesului.

O soluție propusă este de a grupa matricea de greutate în segmente mai mici și de a aplica cuantificarea și adaptarea de rang scăzut la fiecare grup în mod individual. O metodă nouă, numită QA-LoRA, încearcă să combine beneficiile cuantificării și adaptării de rang scăzut, menținând procesul eficient și modelul eficace pentru sarcinile dorite.

Concluzie

În acest articol, am atins provocările ridicate de dimensiunea enormă a parametrilor. Am explorat practicile tradiționale de reglare fină și cerințele computaționale și financiare asociate. Esența LoRA constă în capacitatea sa de a modifica modele preantrenate fără a le reantrena în întregime, reducând astfel parametrii antrenabili și făcând procesul de adaptare mai rentabil.

De asemenea, am explorat pe scurt QLoRA (LoRA cuantificat), o combinație a LoRA și cuantificării, care reduce amprenta de memorie a modelului, menținând în același timp precizia esențială pentru antrenare. Cu aceste tehnici avansate, practicienii sunt acum echipați cu biblioteci robuste, facilitând adoptarea și implementarea LLM într-o gamă largă de scenarii din lumea reală.

Matrice

Aceste strategii sunt create pentru a echilibra între a face LLM adaptabile pentru sarcini specifice și a asigura că procesele de reglare fină și implementare nu sunt prea solicitante din punct de vedere al calculului și resurselor de stocare.