Metodele de reglare fină eficientă din punct de vedere al parametrilor, sau PeFT, își propun să adapteze modelele de limbaj mari prin actualizarea unui număr mic de greutăți. Cu toate acestea, majoritatea lucrărilor actuale de interpretare a demonstrat că reprezentările codifică informații semantice bogate, sugerând că ar putea fi o abordare mai bună și mai puternică să se editeze aceste reprezentări. Modelele pre-antrenate mari sunt adesea reglate pentru a fi utilizate pentru noi domenii sau sarcini, iar în timpul procesului de reglare, un singur model de bază poate fi adaptat pentru o varietate de sarcini, chiar și atunci când se lucrează cu cantități mici de date din domeniu disponibile modelului. Cu toate acestea, procesul de reglare a întregului model este consumator de resurse și scump, în special pentru modelele de limbaj cu un număr semnificativ mai mare de parametri.

Metodele de reglare fină eficientă din punct de vedere al parametrilor, sau PeFT, propun să abordeze costurile ridicate asociate reglării întregului model prin actualizarea numai a unei fracțiuni mici din totalul greutăților disponibile, un proces care ajută la reducerea timpului de antrenare, precum și la reducerea utilizării memoriei. Ce este mai important, metodele de reglare fină eficientă din punct de vedere al parametrilor au demonstrat performanțe similare cu cele ale reglării fine în mai multe setări practice. Adaptatorii, o familie comună de metode de reglare fină eficientă din punct de vedere al parametrilor, învață o editare care poate fi adăugată la un set suplimentar de greutăți care funcționează alături de modelul de bază înghețat, iar adaptatorii recenti, cum ar fi LoRA, reduc numărul de parametri antrenați în actualizările de greutăți învățate prin utilizarea aproximărilor de rang scăzut în locul matricelor de greutăți complete atunci când se antrenează adaptatorii.

Cu lucrări anterioare care demonstrează că editarea reprezentărilor ar putea fi o abordare mai bună decât metodele de reglare fină eficientă din punct de vedere al parametrilor, în acest articol, vom discuta despre metodele de reglare fină a reprezentării, sau ReFT, care funcționează pe un model înghețat și învață intervenții specifice sarcinii pe reprezentările ascunse. Acest articol își propune să acopere cadrul ReFT sau reglarea fină a reprezentării în profunzime și explorăm mecanismul, metodologia, arhitectura cadrului, împreună cu comparația cu cadrele de ultimă generație. Deci, să începem.

ReFT: Reglare fină a reprezentării pentru modelele de limbaj

În încercarea de a adopta modelele de limbaj pre-antrenate pentru noi domenii și sarcini, cadrele actuale reglează adesea aceste modele pre-antrenate, deoarece, odată ce procesul de reglare este implementat, un singur model de bază poate fi adaptat pentru o varietate de sarcini, chiar și atunci când se lucrează cu cantități mici de date din domeniu disponibile modelului. Deși procesul de reglare îmbunătățește performanța generală, este un proces scump, în special dacă modelul de limbaj are un număr semnificativ mai mare de parametri. Pentru a aborda această problemă și a reduce costurile asociate, cadrele de reglare fină eficientă din punct de vedere al parametrilor, sau PeFT, actualizează numai o fracțiune mică din totalul greutăților, un proces care nu numai că reduce timpul de antrenare, ci și reduce utilizarea memoriei, permițând cadrelor de reglare fină eficientă din punct de vedere al parametrilor să obțină performanțe similare cu cele ale abordărilor de reglare fină complete în scenarii practice. Adaptatorii, o familie comună de metode de reglare fină eficientă din punct de vedere al parametrilor, funcționează prin învățarea unei editări care poate fi adăugată la un set suplimentar de greutăți care funcționează alături de modelul de bază înghețat. Adaptatorii recenti, cum ar fi LoRA și QLoRA, au demonstrat că este posibil să se antreneze adaptatori de precizie completă pe modele cu precizie redusă fără a afecta performanța. Adaptatorii sunt de obicei mai eficienți și mai eficace în comparație cu alte metode care introduc componente de model noi.

Un punct forte al cadrelor actuale de reglare fină eficientă din punct de vedere al parametrilor este că, în loc de a modifica reprezentările, ele modifică greutățile. Cu toate acestea, cadrele care se ocupă de interpretare au demonstrat că reprezentările codifică informații semantice bogate, sugerând că editarea reprezentărilor ar putea fi o abordare mai bună și mai puternică decât actualizările de greutăți. Această presupunere că editarea reprezentărilor este o abordare mai bună stă la baza cadrului ReFT sau reglarea fină a reprezentării, care antrenează intervenții în loc de adaptarea greutăților modelului, permițând modelului să manipuleze o fracțiune mică din toate reprezentările pentru a direcționa comportamentul modelului pentru a rezolva sarcinile downstream în timpul inferenței. Metodele ReFT sau reglarea fină a reprezentării sunt înlocuitori drop-in pentru cadrele de reglare fină eficientă din punct de vedere al parametrilor bazate pe greutăți. Abordarea ReFT se inspiră din modelele recente care lucrează cu interpretarea modelelor mari, care intervine asupra reprezentărilor pentru a găsi mecanisme cauzale credincioase și direcționează comportamentul modelului în timpul inferenței și, prin urmare, poate fi văzută ca o generalizare a modelelor de editare a reprezentărilor. Construind pe aceasta, LoReFT sau reglarea fină a subspace-ului de rang scăzut ReFT este o instanță puternică și eficientă a ReFT și este o parametrizare a ReFT care intervine asupra reprezentărilor ascunse în spațiul liniar spanned de matricea de proiecție de rang scăzut și se construiește direct pe cadrul DAS sau Distributed Alignment Search.

Continuând, în contrast cu reglarea fină completă, cadrul de reglare fină eficientă din punct de vedere al parametrilor antrenează numai o fracțiune mică din parametrii modelului și reușește să adapteze modelul la sarcinile downstream. Cadrul de reglare fină eficientă din punct de vedere al parametrilor poate fi clasificat în trei categorii principale:

• Metode bazate pe adaptatori: Metodele bazate pe adaptatori antrenează module suplimentare, cum ar fi straturi complet conectate, pe modelul pre-antrenat cu greutăți înghețate. Adaptatorii serii inserează componente între stratul multilayer perceptron sau MLP și stratul de atenție al modelului mare, în timp ce adaptatorii paraleli adaugă module lângă componente existente. Deoarece adaptatorii adaugă componente noi care nu pot fi încorporate ușor în greutățile modelului existent, ele reprezintă o sarcină suplimentară în timpul inferenței.

• LoRA: LoRA, împreună cu variantele sale recente, aproximează greutățile aditive în timpul antrenamentului prin utilizarea matricelor de rang scăzut și nu necesită suplimente de suprasarcină în timpul inferenței, deoarece actualizările de greutăți pot fi încorporate în model, și este motivul pentru care sunt considerate a fi cadrele actuale de reglare fină eficientă din punct de vedere al parametrilor.

• Metode bazate pe prompt: Metodele bazate pe prompt adaugă tokeni moi care sunt inițializați aleatoriu în intrare și antrenează încorporările lor, păstrând greutățile modelului de limbaj înghețate. Performanța oferită de aceste metode este adesea nesatisfăcătoare în comparație cu alte abordări de reglare fină eficientă din punct de vedere al parametrilor și ele poartă, de asemenea, o sarcină semnificativă de suprasarcină în timpul inferenței.

În loc de a actualiza greutățile, cadrul ReFT învață intervenții pentru a modifica o fracțiune mică din totalul reprezentărilor. Mai mult, lucrări recente despre ingineria reprezentărilor și direcționarea activării au demonstrat că adăugarea de vectori de direcționare fixi la fluxul rezidual poate facilita un anumit grad de control asupra generărilor modelului mare pre-antrenat fără a necesita reglarea fină consumatoare de resurse. Alte cadre au demonstrat că editarea reprezentărilor cu o operație de scalare și translație învățată poate încerca să egaleze, dar nu să depășească, performanța oferită de adaptatorii LoRA pe o gamă largă de sarcini cu mai puțini parametri învățați. Mai mult, succesul acestor cadre într-o gamă largă de sarcini a demonstrat că reprezentările introduse de modelele de limbaj pre-antrenate poartă semantici bogate, deși performanța acestor modele este suboptimă, ceea ce duce la faptul că metodele de reglare fină eficientă din punct de vedere al parametrilor continuă să fie abordarea de ultimă generație, fără nicio sarcin suplimentară de inferență.

ReFT: Metodologie și Arhitectură

Pentru a păstra procesul de păstrare a stilului simplu, cadrul ReFT presupune un model mare bazat pe transformator ca model țintă care este capabil să producă reprezentări contextualizate ale unei secvențe de tokeni. Pentru o secvență dată cu n număr de tokeni de intrare, cadrul ReFT încorporează mai întâi acești tokeni de intrare într-o listă de reprezentări, urmat de faptul că straturile m computează lista de reprezentări ascunse succesiv ca o funcție a listei anterioare de reprezentări ascunse. Fiecare reprezentare ascunsă este un vector, iar modelul de limbaj utilizează reprezentările ascunse finale pentru a produce predicțiile. Cadrul ReFT ia în considerare atât modelele de limbaj mascate, cât și modelele de limbaj autoregresive. Acum, conform ipotezei de reprezentare liniară, în rețelele neuronale, conceptele sunt codificate în subspațiile liniare ale reprezentărilor. Modelele recente au găsit această afirmație adevărată în modelele de rețele neuronale antrenate pe limbaj natural, împreună cu alte distribuții de intrare.

Mai mult, în studii de interpretare, cadrul de abstracție cauzală utilizează intervenții de schimb pentru a stabili rolul componentelor rețelei neuronale cauzal atunci când se implementează comportamente specifice. Logica din spatele intervenției de schimb este că, dacă se fixează o reprezentare la ceea ce ar fi fost pentru o intrare contrafactuală și această intervenție afectează ieșirea modelului în mod constant în felul în care afirmațiile făcute de cadrul ReFT despre componenta responsabilă de producerea acelei reprezentări, atunci componenta joacă un rol cauzal în comportament. Deși există câteva metode, intervenția de schimb distribuită este abordarea ideală pentru a testa dacă un concept este codificat într-un subspace liniar al unei reprezentări, așa cum este afirmat de ipoteza de reprezentare liniară. Mai mult, metoda DAS a fost utilizată anterior pentru a găsi reprezentări liniare în modele de limbaj de atribute de entitate, sentiment, caracteristici lingvistice și raționament matematic. Cu toate acestea, mai multe experimente au indicat că metoda DAS este foarte expresivă și posedă capacitatea de a găsi subspații cauzal eficace, chiar și atunci când modelul de limbaj transformator a fost inițializat aleatoriu și, prin urmare, nu a învățat încă nicio reprezentare specifică sarcinii, ceea ce a dus la dezbaterea dacă DAS este eficient și responsabil suficient pentru sarcinile de interpretare.

Expresivitatea oferită de DAS sugerează că abordarea ar putea fi un instrument ideal pentru a controla comportamentul modelului de limbaj, împreună cu munca sa asupra generației controlabile și editării responsabile. Prin urmare, pentru a adapta modelele de limbaj pentru sarcinile downstream, cadrul ReFT utilizează operația de intervenție de schimb distribuită pentru a face o nouă metodă de reglare fină eficientă din punct de vedere al parametrilor. Mai mult, metoda ReFT este un set de intervenții, iar cadrul impune ca, pentru orice două intervenții care operează pe același strat, pozițiile intervenției trebuie să fie disjuncte, cu parametrii tuturor funcțiilor de intervenție rămânând independenți. Ca rezultat, ReFT este un cadru generic care cuprinde intervenții asupra reprezentărilor ascunse în timpul trecerii modelului înainte.

ReFT: Experimente și Rezultate

Pentru a evalua performanța sa împotriva cadrelor existente de reglare fină eficientă din punct de vedere al parametrilor, cadrul ReFT efectuează experimente pe patru benchmark-uri diverse de procesare a limbajului natural și acoperă peste 20 de seturi de date, cu scopul principal de a oferi o imagine bogată a modului în care cadrul LoReFT se desfășoară în diferite scenarii. Mai mult, atunci când cadrul LoReFT este implementat în viața reală, dezvoltatorii trebuie să decidă asupra numărului de intervenții pe care trebuie să le învețe, împreună cu pozițiile de intrare și straturile pe care să le aplice fiecare. Pentru a finaliza sarcina, cadrul ReFT ajustează patru hiperparametri.

1. Numărul de poziții de prefix pe care să se intervină.
2. Numărul de poziții de sufix pe care să se intervină.
3. Care set de straturi să se intervină.
4. Dacă să se lege parametrii de intervenție în diferite poziții în același strat.

Prin aceasta, cadrul ReFT simplifică spațiul de căutare a hiperparametrilor și asigură o sarcin suplimentară de inferență fixă care nu se scalează cu lungimea promptului.

Tabelul de mai sus compară acuratețea cadrului LLaMA-7B și LLaMA-13B cu modelele existente de reglare fină eficientă din punct de vedere al parametrilor pe 8 seturi de date de raționament al bunului simț. Așa cum se poate observa, modelul LoReFT depășește abordările existente de reglare fină eficientă din punct de vedere al parametrilor cu o marjă decentă, în ciuda faptului că are mult mai puțini parametri, cu performanța medie a trei rulări fiind raportată cu semințe de parametri distincte pentru modelul LoReFT. Param(%) este calculat prin împărțirea numărului de parametri antrenați la numărul total de parametri ai modelului de bază mare.

Tabelul de mai sus rezumă comparația acurateței cadrului LLaMA-7B și LLaMA-13B cu modelele existente de reglare fină eficientă din punct de vedere al parametrilor pe 4 seturi de date de raționament aritmetic diferite, cu cadrul raportând performanța medie a trei rulări cu semințe aleatorii distincte. Așa cum se poate observa, în ciuda faptului că are mult mai puțini parametri(%), cadrul LoReFT depășește cadrele existente de reglare fină eficientă din punct de vedere al parametrilor cu o marjă considerabilă.

Tabelul de mai sus rezumă comparația acurateței cadrului RoBERTa-base și RoBERTa-large cu modelele existente de reglare fină eficientă din punct de vedere al parametrilor pe benchmark-ul GLUE, cu cadrul raportând performanța medie a cinci rulări cu semințe aleatorii distincte. Așa cum se poate observa, în ciuda faptului că are mult mai puțini parametri(%), cadrul LoReFT depășește cadrele existente de reglare fină eficientă din punct de vedere al parametrilor cu o marjă considerabilă.

Gânduri Finale

În acest articol, am discutat despre LoReFT, o alternativă puternică la cadrele existente de reglare fină eficientă din punct de vedere al parametrilor, care obține o performanță puternică pe benchmark-uri din patru domenii diferite, oferind până la 50 de ori eficiență față de modelele actuale de reglare fină eficientă din punct de vedere al parametrilor. Modelele pre-antrenate mari sunt adesea reglate pentru a fi utilizate pentru noi domenii și sarcini, iar în timpul procesului de reglare, un singur model de bază poate fi adaptat pentru o varietate de sarcini, chiar și atunci când se lucrează cu cantități mici de date din domeniu disponibile modelului. Cu toate acestea, procesul de reglare a întregului model este consumator de resurse și scump, în special pentru modelele de limbaj cu un număr semnificativ mai mare de parametri. Metodele de reglare fină eficientă din punct de vedere al parametrilor propun să abordeze costurile ridicate asociate reglării întregului model prin actualizarea numai a unei fracțiuni mici din totalul greutăților disponibile, un proces care ajută la reducerea timpului de antrenare, precum și la reducerea utilizării memoriei. Notabil, LoReFT stabilește o nouă performanță de ultimă generație pe raționamentul bunului simț, urmărirea instrucțiunilor și înțelegerea limbajului natural împotriva celor mai puternice metode de reglare fină eficientă din punct de vedere al parametrilor.