Parameter-effektiv finjustering eller PeFT-metoder syftar till att anpassa stora språkmodeller via uppdateringar av ett litet antal vikter. Men de flesta befintliga tolkningsarbeten har visat att representationer kodar semantiskt rik information, vilket tyder på att det kan vara en bättre och kraftfullare alternativ att redigera dessa representationer. Förtränade stora modeller finjusteras ofta för att användas för nya domäner eller uppgifter, och under finjusteringsprocessen kan en enda basmodell anpassas till en mängd olika uppgifter, även med bara små mängder inomdomändata tillgängliga för modellen. Men processen att finjustera en hel modell är resurskrävande och dyrt, särskilt för språkmodeller med ett betydligt högre antal parametrar och storlek.

Parameter-effektiv finjustering eller PeFT-metoder föreslår att man ska tackla de höga kostnaderna som är förknippade med finjustering av hela modellen genom att uppdatera bara en liten del av de totala vikterna som finns tillgängliga, en process som hjälper till att minska tränningstiden samt minnesanvändningen. Det viktigaste är att parameter-effektiv finjustering eller PeFT-metoder har visat liknande prestanda som finjustering i flera praktiska sammanhang. Adaptrar, en vanlig familj av parameter-effektiva finjusteringsmetoder, lär sig en redigering som kan läggas till en ytterligare uppsättning vikter som fungerar tillsammans med den frusna basmodellen, med senaste adaptrar som LoRA minskar antalet tränbara parametrar i lärda viktuppdateringar genom att använda låg-rank-approximationer istället för full-viktsmatriser när man tränar adaptrarna.

Med tidigare arbeten som visar att redigering av representationer kan vara ett bättre alternativ till parameter-effektiv finjustering eller PeFT-metoder, kommer vi i den här artikeln att prata om Representation Fine-tuning eller ReFT-metoder som fungerar på en frusen modell och lär sig uppgiftsspecifika ingrepp på dolda representationer. Den här artikeln syftar till att täcka ReFT- eller Representation Fine-tuning-ramverket i detalj, och vi utforskar mekanismen, metodiken, arkitekturen i ramverket samt dess jämförelse med state-of-the-art-ramverk. Så låt oss komma igång.

ReFT: Representation Fine-tuning för språkmodeller

I ett försök att anpassa förtränade språkmodeller till nya domäner och uppgifter, finjusteras dessa förtränade språkmodeller ofta som med finjusteringsprocessen implementerad, kan en enda basmodell anpassas till en mängd olika uppgifter, även med bara små mängder inomdomändata tillgängliga för modellen. Även om finjusteringsprocessen ökar den totala prestandan, är det en dyr process, särskilt om språkmodellen har ett betydligt högre antal parametrar och storlek. För att tackla detta problem och minska de associerade kostnaderna, uppdaterar PeFT eller parameter-effektiva finjusteringsramverk bara en liten del av de totala vikterna, en process som inte bara minskar tränningstiden utan också minskar minnesanvändningen, vilket gör att PeFT-ramverken kan uppnå liknande prestanda som fullständig finjustering i praktiska sammanhang. Adaptrar, en vanlig familj av PeFT, fungerar genom att lära sig en redigering som kan läggas till en ytterligare uppsättning vikter tillsammans med en delmängd av vikter som fungerar i samverkan med den frusna basmodellen. Senaste adaptrar som LoRA och QLoRA har visat att det är möjligt att träna fullprecisionsadaptrar ovanpå reducerad precisionsmodeller utan att påverka prestandan. Adaptrar är vanligtvis mer effektiva och effektiva jämfört med andra metoder som introducerar nya modulkomponenter.

En stor höjdpunkt i nuvarande state-of-the-art parameter-effektiva finjusteringsramverk är att de istället för att modifiera representationer, modifierar vikter. Men ramverk som hanterar tolkbarhet har visat att representationer kodar rik semantisk information, vilket tyder på att redigering av representationer kan vara ett bättre och kraftfullare tillvägagångssätt jämfört med viktuppdateringar. Detta antagande om att redigering av representationer är det bättre tillvägagångssättet är vad som utgör grunden för ReFT- eller Representation Fine-tuning-ramverket som tränar ingrepp istället för att anpassa modellvikter, vilket gör att modellen kan manipulera en liten del av alla representationer i ett försök att styra modellbeteenden för att lösa nedströmsuppgifter under inferens. ReFT- eller Representation Fine-tuning-metoder är drop-in-ersättningar för viktbaserade PeFT- eller parameter-effektiva finjusteringsramverk. ReFT-tillvägagångssättet hämtar inspiration från senaste modeller som arbetar med stor modelltolkbarhet som ingriper på representationer för att hitta trogna orsakssamband och styr modellbeteendet under inferens, och kan därför ses som en generalisering av representation-redigeringsmodellerna. Byggande på detta, LoReFT eller Low-Rank Subspace ReFT är ett starkt och effektivt exempel på ReFT, och är en parameterisering av ReFT som ingriper på dolda representationer i det linjära utrymmet som spänns av låg-rank-projektionsmatris, och bygger direkt på DAS- eller Distribuerad Alignerings-sök-ramverket.

Fortsätter vi, till skillnad från fullständig finjustering, tränar PeFT- eller parameter-effektiv finjusteringsramverket bara en liten del av modellens parametrar, och lyckas anpassa modellen till nedströmsuppgifter. Parameter-effektiv finjusteringsramverket kan klassificeras i tre huvudkategorier:

• Adaptrarbaserade metoder: Adaptrarbaserade metoder tränar ytterligare moduler som fullständigt anslutna lager ovanpå den förtränade modellen med frusna vikter. Seriella adaptrar infogar komponenter mellan multilayer-perceptron eller MLP och LM eller stor modell-uppmärksamhetslager, medan parallella adaptrar lägger till moduler bredvid befintliga komponenter. Eftersom adaptrar lägger till nya komponenter som inte kan infogas i befintliga modellvikter lätt, utgör de en ytterligare börda under inferens.

• LoRA: LoRA och dess senaste varianter approximerar additiva vikter under träningsprocessen genom att använda låg-rank-matriser, och de kräver inte ytterligare överhuvuden under inferens eftersom viktuppdateringarna kan slås samman med modellen, och det är därför de anses vara de starkaste PeFT-ramverken för närvarande.

• Promptbaserade metoder: Promptbaserade metoder lägger till mjuka token som initieras slumpmässigt i indata, och tränar deras inbäddningar medan de håller språkmodellens vikter frusna. Prestandan som erbjuds av dessa metoder är ofta inte tillfredsställande när de jämförs med andra PeFT-tillvägagångssätt, och de har också en betydande inferensöverhuvudkostnad.

Istället för att uppdatera vikterna, lär sig ReFT-ramverket ingrepp för att modifiera en liten del av de totala representationerna. Dessutom har senaste arbeten om representationsteknik och styrning av aktivering visat att det kan vara möjligt att lägga till fasta styrvektorer till restströmmen för att uppnå en viss grad av kontroll över förtränade stora modellgenereringar utan att kräva resurskrävande finjustering. Andra ramverk har visat att redigering av representationer med en lärd skalning och översättningsoperation kan försöka matcha men inte överträffa prestandan som erbjuds av LoRA-adaptrar på en mängd olika uppgifter med färre lärda parametrar. Dessutom har framgången för dessa ramverk över en mängd olika uppgifter visat att representationer som introduceras av förtränade språkmodeller bär rik semantik, även om prestandan för dessa modeller är underoptimal, vilket resulterar i att PeFT förblir det bästa tillvägagångssättet med ingen ytterligare inferensbörda.

ReFT: Metodik och Arkitektur

För att hålla stilbevarande-processen enkel, antar ReFT-ramverket en transformer-baserad stor modell som dess målmodell som kan producera kontextualiserad representation av en sekvens av token. För en given sekvens med n antal indata-token, embeddar ReFT-ramverket först indata-token i en lista med representationer, varefter de m skikten beräknar listan med dolda representationer successivt som en funktion av den föregående listan med dolda representationer. Varje dold representation är en vektor, och språkmodellen använder de sista dolda representationerna för att producera förutsägelserna. ReFT-ramverket överväger både maskerade språkmodeller och autoregressiva språkmodeller. Nu, enligt den linjära representationshypotesen, kodas begrepp inom linjära underutrymmen av representationer i neurala nätverk. Senaste modeller har funnit att detta påstående är sant i neurala nätverksmodeller som tränats på naturligt språk samt andra indatafördelningar.

Dessutom, i tolkningsstudier, använder den kausala abstraktionsramverket utbytesingrepp för att etablera rollen för neurala nätverkskomponenter kausalt när de implementerar särskilda beteenden. Logiken bakom utbytesingrepp är att om man fixar en representation till vad den skulle ha varit för en kontrafaktisk indata, och detta ingrepp påverkar modellens utdata konsekvent på det sätt som ReFT-ramverkets påståenden om komponenten som producerar den representationen, då spelar komponenten en kausal roll i beteendet. Även om det finns flera metoder, är distribuerat utbytesingrepp det idealiska tillvägagångssättet för att testa om ett begrepp kodas i ett linjärt underutrymme av en representation, som påstås av den linjära representationshypotesen. Dessutom har DAS-metoden använts tidigare för att hitta linjära representationer i språkmodeller av entitetsattribut, sentiment, lingvistiska funktioner och matematiskt resonemang. Men flera experiment har visat att DAS-metoden är mycket uttrycksfull, och den har förmågan att hitta kausalt effektiva underutrymmen även när transformer-språkmodellen har initialiserats slumpmässigt, och ännu inte har lärt sig några uppgiftsspecifika representationer, vilket resulterar i debatten om DAS är effektivt och ansvarsfullt nog för tolkningsuppgifter.

Uttrycksfullheten som erbjuds av DAS tyder på att tillvägagångssättet kan vara ett idealiskt verktyg för att kontrollera språkmodellens beteende samt dess arbete med kontrollerbar generering och ansvarsfull redigering. Därför, för att anpassa språkmodeller för nedströmsuppgifter, använder ReFT-ramverket den distribuerade utbytesingreppsoperationen för att skapa en ny parameter-effektiv metod. Dessutom är ReFT-metoden en uppsättning ingrepp, och ramverket tvingar att för två ingrepp som fungerar på samma skikt, ingreppspositionerna måste vara disjointa, med parametrarna för alla ingrepps-funktioner som förblir oberoende. Som ett resultat är ReFT ett generiskt ramverk som omfattar ingrepp på dolda representationer under modellens framåtpass.

ReFT: Experiment och Resultat

För att utvärdera sin prestanda mot befintliga PeFT-ramverk, genomför ReFT-ramverket experiment över fyra olika naturliga språkbehandlingsbenchmark, och täcker över 20 dataset, med det primära målet att ge en rik bild av hur LoReFT-ramverket presterar i olika scenarier. Dessutom, när LoReFT-ramverket implementeras i verkligheten, måste utvecklare bestämma sig för hur många ingrepp som ska läras, samt ingångspositioner och skikt att tillämpa var och en på. För att slutföra uppgiften, finjusterar ReFT-ramverket fyra hyperparametrar.

1. Antalet prefixpositioner att ingripa på.
2. Antalet suffixpositioner att ingripa på.
3. Vilken uppsättning skikt att ingripa på.
4. Om man ska binda ingreppsparametrar över olika positioner i samma skikt.

Genom att göra detta, förenklar ReFT-ramverket hyperparametrarsökutrymmet, och säkerställer bara en fast ytterligare inferenskostnad som inte skalar med promptens längd.

Ovanstående tabell jämför LLaMA-7B- och LLaMA-13B-ramverkens noggrannhet mot befintliga PeFT-modeller över 8 dataset för sunt förnuft. Som kan observeras, överträffar LoReFT-modellen befintliga PeFT-tillvägagångssätt med en anständig marginal, trots att den har betydligt färre parametrar, med den genomsnittliga prestandan för tre körningar som rapporteras med distinkta parameterfrön för LoReFT-modellen. Param(%)-värdet beräknas genom att dividera antalet tränbara parametrar med antalet totala parametrar i bas-stor modell.

Ovanstående tabell sammanfattar noggrannhetsjämförelsen mellan LLaMA-7B- och LLaMA-13B-ramverken mot befintliga PeFT-modeller över 4 olika aritmetiska resonemangsdataset, med ramverket som rapporterar den genomsnittliga prestandan för tre körningar med distinkta slumpmässiga frön. Som kan observeras, överträffar LoReFT-ramverket befintliga PeFT-ramverk med en betydande marginal, trots att den har betydligt färre parametrar(%).

Ovanstående tabell sammanfattar noggrannhetsjämförelsen mellan RoBERTa-base- och RoBERTa-large-ramverken mot befintliga PeFT-modeller över GLUE-benchmark, med ramverket som rapporterar den genomsnittliga prestandan för fem körningar med distinkta slumpmässiga frön. Som kan observeras, överträffar LoReFT-ramverket befintliga PeFT-ramverk med en betydande marginal, trots att den har betydligt färre parametrar(%).

Slutliga Tankar

I den här artikeln har vi pratat om LoReFT, ett kraftfullt alternativ till befintliga PeFT-ramverk som uppnår stark prestanda över benchmark från fyra olika domäner, samtidigt som det erbjuder upp till 50 gånger den effektivitet som tidigare state-of-the-art PeFT-modeller erbjuder. Förtränade stora modeller finjusteras ofta för att användas för nya domäner eller uppgifter, och under finjusteringsprocessen kan en enda basmodell anpassas till en mängd olika uppgifter, även med bara små mängder inomdomändata tillgängliga för modellen. Men processen att finjustera en hel modell är resurskrävande och dyrt, särskilt för språkmodeller med ett betydligt högre antal parametrar och storlek. Parameter-effektiv finjustering eller PeFT-metoder föreslår att man ska tackla de höga kostnaderna som är förknippade med finjustering av hela modellen genom att uppdatera bara en liten del av de totala vikterna som finns tillgängliga, en process som hjälper till att minska tränningstiden samt minnesanvändningen. Noterbart är att LoReFT etablerar nytt state-of-the-art-prestanda på sunt förnuft, instruktionsföljande och naturligt språkförståelse mot de starkaste PeFT.