Parameter-effektiv finjustering eller PeFT-metoder søger at tilpasse store sprogmodeller via opdateringer af et lille antal vægte. Men en majoritet af eksisterende fortolkbarhedsarbejde har demonstreret, at repræsentationer indekoder semantisk rig information, hvilket antyder, at det måske er en bedre og mere kraftfuld alternativ at redigere disse repræsentationer. Forudtrænede store modeller er ofte finjusteret til at blive brugt til nye domæner eller opgaver, og under finjusteringsprocessen kan en enkelt basismodel tilpasses til en bred vifte af opgaver, selv med kun små mængder af domænespecifik data tilgængelig for modellen. Men processen med at finjustere en hel model er ressourcekrævende og dyrt, især for sprogmodeller med et betydeligt højere antal parametre.

Parameter-effektiv finjustering eller PeFT-metoder foreslår at tackle de høje omkostninger forbundet med finjustering af hele modellen ved at opdatere kun en lille del af de samlede vægte, en proces, der hjælper med at reducere træningstiden samt hukommelsesbrugen. Det vigtigste er, at Parameter-effektiv finjustering eller PeFT-metoder har demonstreret lignende præstationer som finjustering i flere praktiske sammenhænge. Adaptere, en almindelig familie af Parameter-effektiv finjustering eller PeFT-metoder, lærer en redigering, der kan tilføjes en ekstra sæt af vægte, der fungerer sammen med den frosne basismodel, med seneste adaptere som LoRA reducerer antallet af trænbar parametre i lærte vægtopdateringer ved at bruge lav-rang approximationer i stedet for fuld-vægt matricer, når de træner adapaterne.

Med tidligere arbejde, der demonstrerer, at redigering af repræsentationer måske er en bedre alternativ til Parameter-effektiv finjustering eller PeFT-metoder, vil vi i denne artikel tale om Representation Finjustering eller ReFT-metoder, der fungerer på en frosset model, og lærer opgave-specifikke interventioner på skjulte repræsentationer. Denne artikel har til formål at dække ReFt eller Representation Finjustering-rammeværket i dybden, og vi udforsker mekanismen, metodikken, arkitekturen i rammeværket samt dets sammenligning med tilstands-af-kunst-rammeværker. Så lad os komme i gang.

ReFT: Representation Finjustering for Sprogmodeller

I et forsøg på at tilpasse forudtrænede sprogmodeller til nye domæner og opgaver, finjusterer nuværende rammeværker ofte disse forudtrænede sprogmodeller, da finjusteringsprocessen implementeres, kan en enkelt basismodel tilpasses til en bred vifte af opgaver, selv med kun små mængder af domænespecifik data tilgængelig for modellen. Selv om finjusteringsprocessen øger den samlede præstation, er det en dyrt proces, især hvis sprogmodellen har et betydeligt højere antal parametre. For at tackle dette problem og reducere de tilhørende omkostninger, opdaterer PeFT eller Parameter-effektiv finjusterings-rammeværker kun en lille del af de samlede vægte, en proces, der ikke kun reducerer træningstiden, men også reducerer hukommelsesbrugen, hvilket tillader PeFT-rammeværkerne at opnå lignende præstationer i sammenligning med fuld finjusterings-tilgange i praktiske scenarier. Adaptere, en almindelig familie af PeFT’er, fungerer ved at lære en redigering, der kan tilføjes en ekstra sæt af vægte sammen med en undermængde af vægte, der fungerer i forening med den frosne basismodel. Seneste adapter-rammeværker som LoRA og QLoRA har demonstreret, at det er muligt at træne fuld-præcision-adaptere oven på reduceret præcision-modeller uden at påvirke præstationen. Adaptere er normalt mere effektive og effektive i sammenligning med andre metoder, der introducerer nye model-komponenter.

Et større højdepunkt i nuværende tilstands-af-kunst-Parameter-effektiv finjusterings-rammeværker er, at i stedet for at modificere repræsentationer, modificerer de vægte. Men rammeværker, der beskæftiger sig med fortolkbarhed, har demonstreret, at repræsentationer indekoder rig semantisk information, hvilket antyder, at repræsentations-redigering måske er en bedre og mere kraftfuld tilgang i sammenligning med vægt-opdateringer. Dette antagande om, at repræsentations-redigering er den bedre tilgang, er hvad der danner grundlaget for ReFT eller Representation Finjustering-rammeværket, der træner interventioner i stedet for at tilpasse model-vægte, hvilket tillader modellen at manipulere en lille del af alle repræsentationer i et forsøg på at styre model-opførsel til at løse downstream-opgaver under inferens. ReFT eller Representation Finjustering-metoder er drop-in-erstatninger for vægt-baserede PeFT eller Parameter-effektiv finjusterings-rammeværker. ReFT-tilgangen tager udgangspunkt i seneste modeller, der arbejder med stor model-fortolkbarhed, der intervenérer på repræsentationer for at finde trofaste årsagsmæssige mekanismer, og styrer model-opførslen under inferens, og kan derfor ses som en generalisering af repræsentations-redigerings-modellerne. Bygget på dette, er LoReFT eller Low-Rank Subspace ReFT en stærk og effektiv instans af ReFT, og er en parameterisering af ReFT, der intervenérer på skjulte repræsentationer i den lineære rum, der er defineret af lav-rang-projektions-matrix, og bygger direkte på DAS eller Distributed Alignment Search-rammeværket.

Ved at gå videre, i modsætning til fuld finjustering, træner PeFT eller Parameter-effektiv finjusterings-rammeværket kun en lille del af modellens parametre, og formår at tilpasse modellen til downstream-opgaver. Parameter-effektiv finjusterings-rammeværket kan klassificeres i tre hovedkategorier:

• Adapter-baserede metoder: Adapter-baserede metoder træner ekstra moduler som fuldt-tilsluttede lag oven på den forudtrænede model med frosne vægte. Serie-adaptere indsætter komponenter mellem multilayer-perceptron eller MLP og LM eller stor model-opmærksomheds-lag, hvorimod parallel-adaptere tilføjer moduler sammen med eksisterende komponenter. Da adaptere tilføjer nye komponenter, der ikke kan foldes ind i eksisterende model-vægte let, påfører de en ekstra byrde under inferens.

• LoRA: LoRA og dets seneste varianter approksimerer additive vægte under træning ved at bruge lav-rang-matricer, og de kræver ikke ekstra overhoveder under inferens, da vægt-opdateringerne kan sammenføjes med modellen, og det er derfor, de anses for at være de nuværende stærkeste PeFT-rammeværker.

• Prompt-baserede metoder: Prompt-baserede metoder tilføjer bløde token, der er initialiseret tilfældigt, til input, og træner deres indlejring, mens de holder sprogmodellens vægte frosne. Præstationen, der tilbydes af disse metoder, er ofte ikke tilfredsstillende i sammenligning med andre PeFT-tilgange, og de påfører også en betydelig inferens-overhoveds-omkostning.

I stedet for at opdatere vægte, lærer ReFT-rammeværket interventioner for at modificere en lille del af de samlede repræsentationer. Desuden har seneste arbejder på repræsentations-teknik og aktiverings-styring demonstreret, at tilføjelse af faste styrings-vektorer til residual-strømmen kan muligvis give en vis grad af kontrol over forudtrænede store models generationer uden at kræve ressource-intensiv finjustering. Andre rammeværker har demonstreret, at redigering af repræsentationer med en lært skala- og translations-operation kan forsøge at matche, men ikke overgå, præstationen, der tilbydes af LoRA-adaptere på en bred vifte af opgaver med færre lærte parametre. Desuden har succesen af disse rammeværker på tværs af en række opgaver demonstreret, at repræsentationer, der introduceres af forudtrænede sprogmodeller, indeholder rig semantik, selv om præstationen af disse modeller er underoptimal, hvilket resulterer i, at PeFT’er fortsætter som den nuværende tilstands-af-kunst-tilgang med ingen ekstra inferens-byrde.

ReFT: Metodik og Arkitektur

For at holde stil-preservations-processen simpel, antager ReFT-rammeværket en transformer-baseret stor model som sin mål-model, der kan producere kontekstualiseret repræsentation af en sekvens af token. For en given sekvens med n antal input-token, embedder ReFT-rammeværket først input-token i en liste af repræsentationer, efterfulgt af, at de m lag compute listen af skjulte repræsentationer succesivt som en funktion af den foregående liste af skjulte repræsentationer. Hver skjult repræsentation er en vektor, og sprogmodellen bruger den sidste skjulte repræsentation til at producere prædiktionerne. ReFT-rammeværket betragter både masked sprogmodeller og autoregressive sprogmodeller. Nu, ifølge den lineære repræsentations-hypotese, i neurale netværk, er begreber indekodet i lineære under-rum af repræsentationer. Seneste modeller har fundet dette krav at være sandt i neurale netværks-modeller trænet på naturligt sprog samt andre input-fordelinger.

Desuden, i fortolkbarheds-studier, bruger den kausale abstraktions-ramme udvekslings-interventioner til at etablere rollen af neurale netværks-komponenter kausalt, når de implementerer bestemte opførsler. Logikken bag udvekslings-intervention er, at hvis man fastgør en repræsentation til, hvad den ville have været for en kontrafaktisk input, og denne intervention påvirker modellens output konsekvent på den måde, som ReFT-rammeværkets påstande om komponenten, der er ansvarlig for at producere den repræsentation, så spiller komponenten en kausal rolle i opførslen. Selv om der er få metoder, er distribueret udvekslings-intervention den ideelle tilgang til at teste, om et begreb er indekodet i et lineært under-rum af en repræsentation, som påstået af den lineære repræsentations-hypotese. Desuden har DAS-metoden tidligere været brugt til at finde lineære repræsentationer i sprogmodeller af entitets-egenskaber, sentiment, lingvistiske funktioner og matematisk resonnering. Men flere eksperimenter har indikeret, at DAS-metoden er højekspressiv, og den har evnen til at finde kausalt effektive under-rum, selv når transformer-sprogmodellen er initialiseret tilfældigt, og derfor endnu ikke har lært nogen opgave-specifikke repræsentationer, hvilket resulterer i debatten om, hvorvidt DAS er effektiv og ansvarlig nok til fortolkbarheds-opgaver.

Den ekspressive kapacitet, der tilbydes af DAS, antyder, at tilgangen kunne være et ideelt værktøj til at kontrollere sprogmodellens opførsel samt dens arbejde med kontrollerbar generation og ansvarlig redigering. Derfor, for at tilpasse sprogmodeller til downstream-opgaver, bruger ReFT-rammeværket den distribuerede udvekslings-intervention til at lave en ny parameter-effektiv metode. Desuden er ReFT-metoden en samling af interventioner, og rammeværket påtvinger, at for to interventioner, der fungerer på samme lag, skal interventions-positionerne være disjunkte, med parametrene af alle interventions-funktioner forbliver uafhængige. Som resultat er ReFT en generisk ramme, der omfatter interventioner på skjulte repræsentationer under model-forward-pass.

ReFT: Eksperimenter og Resultater

For at evaluere dets præstation i forhold til eksisterende PeFT-rammeværker, gennemfører ReFT-rammeværket eksperimenter på tværs af fire forskellige naturlige sprog-behandlings-benchmark, og dækker over 20 datasets, med det primære mål at give en rig billed af, hvordan LoReFT-rammeværket præsterer i forskellige scenarier. Desuden, når LoReFT-rammeværket implementeres i virkeligheden, skal udviklere beslutte, hvor mange interventioner at lære samt input-positionerne og lagene til at anvende hver enkelt på. For at fuldføre opgaven, justerer ReFT-rammeværket fire hyperparametre.

1. Antallet af præfiks-positioner at intervenere på.
2. Antallet af suffiks-positioner at intervenere på.
3. Hvilken sæt af lag at intervenere på.
4. Om at binde interventions-parametre på tværs af forskellige positioner i samme lag.

Ved at gøre dette, simplificerer ReFT-rammeværket hyperparametre-søge-rummet, og sikrer kun en fast ekstra inferens-omkostning, der ikke skalerer med prompt-længden.

Den ovenstående tabel sammenligner nøjagtigheden af LLaMA-7B og LLaMA-13B-rammeværkerne mod eksisterende PeFT-modeller på tværs af 8 fællesskabs-forståelses-datasets. Som det kan observeres, overgår LoReFT-modellen eksisterende PeFT-tilgange med en anständig margin, på trods af at have langt færre parametre, med en gennemsnitlig præstation af tre kørsler med distinkte parameter-frø for LoReFT-modellen. Param(%)-værdien beregnes ved at dividere antallet af trænbar parametre med antallet af samlede parametre i basis-stor-modellen.

Den ovenstående tabel sammenfatter nøjagtigheds-sammenligningen af LLaMA-7B og LLaMA-13B-rammeværkerne mod eksisterende PeFT-modeller på tværs af 4 forskellige aritmetiske forståelses-datasets, med rammeværket rapporterer en gennemsnitlig præstation af tre kørsler med distinkte tilfældige frø. Som det kan observeres, overgår LoReFT-rammeværket eksisterende PeFT-tilgange med en betydelig margin, på trods af at have langt færre parametre(%).

Den ovenstående tabel sammenfatter nøjagtigheds-sammenligningen af RoBERTa-base og RoBERTa-large-rammeværkerne mod eksisterende PeFT-modeller på tværs af GLUE-benchmark, med rammeværket rapporterer en gennemsnitlig præstation af fem kørsler med distinkte tilfældige frø. Som det kan observeres, overgår LoReFT-rammeværket eksisterende PeFT-tilgange med en betydelig margin, på trods af at have langt færre parametre(%).

Endelige Tanker

I denne artikel har vi talt om LoReFT, en kraftfuld alternativ til eksisterende PeFT-rammeværker, der opnår stærke præstationer på tværs af benchmark fra fire forskellige domæner, mens de tilbyder op til 50 gange den effektivitet, der tilbydes af tidligere tilstands-af-kunst-PeFT-modeller. Forudtrænede store modeller er ofte finjusteret til at blive brugt til nye domæner eller opgaver, og under finjusteringsprocessen kan en enkelt basis-model tilpasses til en bred vifte af opgaver, selv med kun små mængder af domænespecifik data tilgængelig for modellen. Men processen med at finjustere en hel model er ressourcekrævende og dyrt, især for sprogmodeller med et betydeligt højere antal parametre. Parameter-effektiv finjustering eller PeFT-metoder foreslår at tackle de høje omkostninger forbundet med finjustering af hele modellen ved at opdatere kun en lille del af de samlede vægte, en proces, der hjælper med at reducere træningstiden samt hukommelsesbrugen. Notably, LoReFT etablerer nye tilstands-af-kunst-præstationer på fællesskabs-forståelse, instruktions-følging og naturligt sprog-forståelse mod de stærkeste PeFT’er.