Parameter-effektiv finjustering eller PeFT-metoder søker å tilpasse store språkmodeller via oppdateringer av et lite antall vekter. Imidlertid har de fleste eksisterende tolkningsarbeid demonstrert at representasjoner koder semantisk rik informasjon, noe som tyder på at det kan være en bedre og mer kraftfull alternativ å redigere disse representasjoner. Forhånds trenede store modeller blir ofte finjustert for å brukes i nye domener eller oppgaver, og under finjusteringsprosessen kan en enkelt basismodell tilpasses en rekke oppgaver selv med bare små mengder domene-data tilgjengelig for modellen. Imidlertid er prosessen med å finjustere en hel modell ressurskrevende og dyrt, spesielt for språkmodeller med et betydelig høyere antall størrelse og parametre.

Parameter-effektiv finjustering eller PeFT-metoder foreslår å løse de høye kostnadene forbundet med finjustering av hele modellen ved å oppdatere bare en liten del av de totale vektene som er tilgjengelige, en prosess som hjelper med å redusere trenings tid samt minnebruk. Hva som er viktigere er at parameter-effektiv finjustering eller PeFT-metoder har demonstrert lignende ytelse som finjustering i flere praktiske sammenhenger. Adaptere, en vanlig familie av parameter-effektiv finjustering eller PeFT-metoder, lærer en redigering som kan legges til en ekstra mengde vekter som opererer sammen med den frosne basismodellen, med nyere adaptere som LoRA reduserer antallet trenbare parametre i lærte vektoppdateringer ved å bruke lav-rank approximasjoner i stedet for full-vekt matriser når de trener adaptere.

Med tidligere arbeid som demonstrerer at redigering av representasjoner kan være en bedre alternativ til parameter-effektiv finjustering eller PeFT-metoder, vil vi i denne artikkelen diskutere Representasjonsfinjustering eller ReFT-metoder som opererer på en frosset modell, og lærer oppgave-spesifikke inngrep på skjulte representasjoner. Denne artikkelen har som mål å dekke ReFT eller Representasjonsfinjusteringsrammen i dybden, og vi utforsker mekanismen, metodikken, arkitekturen til rammen samt dens sammenligning med state-of-the-art-rammer. La oss begynne.

ReFT: Representasjonsfinjustering for Språkmodeller

I et forsøk på å tilpasse forhånds trenede språkmodeller til nye domener og oppgaver, finjusterer nåværende rammer ofte disse forhånds trenede språkmodellene hyppig, og med finjusteringsprosessen implementert, kan en enkelt basismodell tilpasses en rekke oppgaver selv når det arbeides med en liten mengde domene-data. Selv om finjusteringsprosessen øker den totale ytelsen, er det en dyrt prosess, spesielt hvis språkmodellen har et betydelig høyere antall parametre. For å løse dette problemet og redusere de tilknyttede kostnadene, oppdaterer PeFT eller parameter-effektiv finjusteringsrammer bare en liten del av de totale vektene, en prosess som ikke bare reduserer trenings tiden, men også reduserer minnebruk, og tillater PeFT-rammene å oppnå lignende ytelse som full finjustering i praktiske sammenhenger. Adaptere, en vanlig familie av PeFT, fungerer ved å lære en redigering som kan legges til en ekstra mengde vekter sammen med en undermengde av vekter som opererer i samspill med den frosne basismodellen. Nyere adapter-rammer som LoRA og QLoRA har demonstrert at det er mulig å trene full-presisjonsadaptere på toppen av redusert presisjonsmodeller uten å påvirke ytelsen.

En stor høydepunkt i nåværende state-of-the-art parameter-effektiv finjusteringsrammer er at i stedet for å modifisere representasjoner, modifiserer de vekter. Imidlertid har rammer som omhandler tolkning demonstrert at representasjoner koder rik semantisk informasjon, noe som tyder på at representasjonsredigering kan være en bedre og mer kraftfull tilnærming sammenlignet med vektoppdateringer. Dette antagendet om at representasjonsredigering er den bedre tilnærmingen, er hva som danner grunnlaget for ReFT eller Representasjonsfinjusteringsrammen som trener inngrep i stedet for å tilpasse modellvekter, og lar modellen manipulere en liten del av alle representasjoner i et forsøk på å styre modellatferd for å løse nedstrøms oppgaver under inferens. ReFT eller Representasjonsfinjusteringsmetoder er drop-in-erstatninger for vektbaserte PeFT eller parameter-effektiv finjusteringsrammer. ReFT-tilnærmingen trekker inspirasjon fra nyere modeller som arbeider med stor modelltolkning som griper inn i representasjoner for å finne trofaste årsaks-mekanismer, og styrer modellatferden under inferens, og kan derfor sees som en generalisering av representasjonsredigeringsmodellene. Bygget på samme, LoReFT eller Lav-Rank Underrom ReFT er en sterk og effektiv instans av ReFT, og er en parameterisering av ReFT som griper inn i skjulte representasjoner i det lineære rommet som omfattes av lav-rank-projeksjonsmatrisen, og bygger direkte på DAS eller Distribuert Alignering Søk-rammen.

Videre, i motsetning til full finjustering, trener PeFT eller parameter-effektiv finjusteringsrammen bare en liten del av modellens parametre, og klarer å tilpasse modellen til nedstrøms oppgaver. Parameter-effektiv finjusteringsrammen kan klassifiseres i tre hovedkategorier:

• Adapter-baserte metoder: Adapter-baserte metoder trener ekstra moduler som fullstendig koblet lag på toppen av den forhånds trenede modellen med frosne vekter. Serieadaptere setter komponenter inn mellom multilayer perceptron eller MLP og LM eller stor modell oppmerksomhetslag, mens parallelladaptere legger til moduler langs eksisterende komponenter. Ettersom adaptere legger til nye komponenter som ikke kan foldes inn i eksisterende modellvekter lett, legger de en ekstra byrde under inferens.

• LoRA: LoRA og dens nyere varianter approksimerer additive vekter under trening ved å bruke lav-rank matriser, og de krever ikke ekstra overhoder under inferens siden vektoppdateringene kan slås sammen med modellen, og det er grunnen til at de anses for å være nåværende sterkeste PeFT-rammer.

• Prompt-baserte metoder: Prompt-baserte metoder legger til myke token som er initialisert tilfeldig i inndata, og trener deres innlejring mens de holder vektene til språkmodellen frosne. Ytelsen tilbudt av disse metodene er ofte ikke tilfredsstillende sammenlignet med andre PeFT-tilnærminger, og de bærer også en betydelig inferens-overhodkost.

I stedet for å oppdatere vekter, lærer ReFT-rammen inngrep for å modifisere en liten del av de totale representasjoner. Videre har nyere arbeid om representasjonsingeniør og aktivitetstyring demonstrert at tilføyelse av fikse styringsvektorer til reststrømmen kan muligens gi en grad av kontroll over forhånds trenede stor modellgenereringer uten å kreve ressurskrevende finjustering. Andre rammer har demonstrert at redigering av representasjoner med en lærings-skala og oversettelsesoperasjon kan forsøke å matche, men ikke overgå ytelsen tilbudt av LoRA-adaptere på en rekke oppgaver med færre lærte parametre. Videre har suksessen til disse rammene over en rekke oppgaver demonstrert at representasjoner introdusert av forhånds trenede språkmodeller bærer rike semantikk, selv om ytelsen til disse modellene er underoptimal, noe som resulterer i at PeFT fortsatt er state-of-the-art-tilnærmingen med ingen ekstra inferensbyrde.

ReFT : Metodikk og Arkitektur

For å holde stilpreservingsprosessen enkel, antar ReFT-rammen en transformer-basert stor modell som målet modell som kan produsere kontekstualiserte representasjoner av en sekvens av token. For en gitt sekvens med n antall inndata-token, embedder ReFT-rammen først inndata-token i en liste av representasjoner etterfulgt av at m lagene beregner listen av skjulte representasjoner suksessivt som en funksjon av den forrige listen av skjulte representasjoner. Hver skjult representasjon er en vektor, og språkmodellen bruker de siste skjulte representasjoner for å produsere forutsagn. ReFT-rammen betrakter både maskede språkmodeller og autoregressive språkmodeller. Nå, ifølge den lineære representasjons-hypotesen, i neurale nettverk, er konsepter kodet innenfor lineære underrom av representasjoner. Nyere modeller har funnet dette kravet å være sant i neurale nettverksmodeller trenet på naturlig språk samt andre inndatafordelinger.

Videre, i tolkningsstudier, bruker den kausale abstraksjonsrammen interchange-inngrep for å etablere rollen til neurale nettverkskomponenter kausalt når de implementerer bestemte atferd. Logikken bak interchange-inngrep er at hvis en fikserer en representasjon til hva den ville ha vært for en kontrafaktisk inndata, og denne inngrepet påvirker utdataene til modellen på en konsistent måte som kravene gjort av ReFT-rammen om komponenten ansvarlig for å produsere den representasjonen, så spiller komponenten en kausalt rolle i atferden. Selv om det finnes noen metoder, er distribuert interchange-inngrep den ideelle tilnærmingen for å teste om et konsept er kodet i et lineært underrom av en representasjon, som hevdet av den lineære representasjons-hypotesen. Videre har DAS-metoden blitt brukt tidligere for å finne lineære representasjoner i språkmodeller av entitetsattributter, sentiment, lingvistiske egenskaper, og matematisk resonnement. Imidlertid har flere eksperimenter indikert at DAS-metoden er høyt uttrykksfull, og den har evnen til å finne kausalt effektive underrom selv når transformer-språkmodellen er initialisert tilfeldig, og derfor er det fortsatt å lære noen oppgave-spesifikke representasjoner, noe som resulterer i debatten om hvorvidt DAS er effektivt og ansvarlig nok for tolkningsoppgaver.

Uttrykksfullheten tilbudt av DAS antyder at tilnærmingen kunne være et ideelt verktøy for å kontrollere atferden til språkmodellen samt dens arbeid med kontrollerbar generering og ansvarlig redigering. Derfor, for å tilpasse språkmodeller til nedstrøms oppgaver, bruker ReFT-rammen den distribuerte interchange-inngrepsoperasjonen for å lage en ny parameter-effektiv metode. Videre er ReFT-metoden en mengde inngrep, og rammen tvinger at for noen to inngrep som opererer på samme lag, må inngrepsposisjonene være disjunkte, med parameterne til alle inngrepsfunksjoner som forblir uavhengige. Som et resultat er ReFT en generisk ramme som omfatter inngrep på skjulte representasjoner under modellens fremover-passering.

ReFT: Eksperimenter og Resultater

For å evaluere dens ytelse mot eksisterende PeFT-rammer, gjennomfører ReFT-rammen eksperimenter over fire ulike naturlig språkbehandling-benchmark, og dekker over 20 datasett, med hovedmålet å gi en rik bilde av hvordan LoReFT-rammen performer i ulike sammenhenger. Videre, når LoReFT-rammen implementeres i virkeligheten, må utviklere bestemme hvor mange inngrep å lære samt inndata-posisjoner og lag å bruke hver enkelt på. For å fullføre oppgaven, finjusterer ReFT-rammen fire hyperparametre.

1. Antall prefix-posisjoner å gripe inn på.
2. Antall suffix-posisjoner å gripe inn på.
3. Hvilken mengde lag å gripe inn på.
4. Hvorvidt å binde inngrepsparametrene sammen over ulike posisjoner i samme lag.

Ved å gjøre dette, forenkler ReFT-rammen hyperparameter-søke rommet, og sikrer bare en fast ekstra inferenskostnad som ikke skalerer med lengden av prompten.

Tabellen ovenfor sammenligner nøyaktigheten til LLaMA-7B og LLaMA-13B-rammene mot eksisterende PeFT-modeller over 8 commonsense resonneringsdatasett. Som det kan observeres, overgår LoReFT-modellen eksisterende PeFT-tilnærmingene med en anstendig margin, til tross for å ha langt færre parametre, med gjennomsnittlig ytelse av tre kjøringer som rapporteres med distinkte parameter-frø for LoReFT-modellen. Param(%)-verdien beregnes ved å dividere antall trenbare parametre med antall totale parametre i basis-stor modell.

Tabellen ovenfor summerer nøyaktighets-sammenligningen av LLaMA-7B og LLaMA-13B-rammene mot eksisterende PeFT-modeller over 4 ulike aritmetiske resonneringsdatasett, med rammen som rapporterer gjennomsnittlig ytelse av tre kjøringer med distinkte tilfeldige frø. Som det kan observeres, til tross for å ha langt færre parametre (%), overgår LoReFT-rammen eksisterende PeFT-rammer med en betydelig margin.

Tabellen ovenfor summerer nøyaktighets-sammenligningen av RoBERTa-base og RoBERTa-large-rammene mot eksisterende PeFT-modeller over GLUE-benchmark, med rammen som rapporterer gjennomsnittlig ytelse av fem kjøringer med distinkte tilfeldige frø. Som det kan observeres, til tross for å ha langt færre parametre (%), overgår LoReFT-rammen eksisterende PeFT-rammer med en betydelig margin.

Slutt tanker

I denne artikkelen har vi diskutert LoReFT, en kraftfull alternativ til eksisterende PeFT-rammer som oppnår sterk ytelse over benchmark fra fire ulike domener mens den tilbyr opptil 50 ganger effektiviteten til tidligere state-of-the-art PeFT-modeller. Forhånds trenede store modeller blir ofte finjustert for å brukes i nye domener eller oppgaver, og under finjusteringsprosessen kan en enkelt basismodell tilpasses en rekke oppgaver selv når det arbeides med en liten mengde domene-data. Imidlertid er prosessen med å finjustere en hel modell ressurskrevende og dyrt, spesielt for språkmodeller med et betydelig høyere antall størrelse og parametre. Parameter-effektiv finjustering eller PeFT-metoder foreslår å løse de høye kostnadene forbundet med finjustering av hele modellen ved å oppdatere bare en liten del av de totale vektene som er tilgjengelige, en prosess som hjelper med å redusere trenings tid samt minnebruk. Notabelt, LoReFT etablerer ny state-of-the-art-ytelse på commonsense resonnering, instruksjons-følging og naturlig språkforståelse mot de sterkeste PeFT-ene.