Parameter-efficiënte fijntuning of PeFT-methoden proberen grote taalmodellen aan te passen via updates van een kleine hoeveelheid gewichten. Echter, de meeste bestaande interpretatieonderzoek heeft aangetoond dat representaties semantisch rijke informatie bevatten, wat suggereert dat het mogelijk een betere en krachtigere alternatief is om deze representaties te bewerken. Vooraf getrainde grote modellen worden vaak fijngesteld om te worden gebruikt voor nieuwe domeinen of taken, en tijdens het fijnstellingproces kan één basismodel worden aangepast aan een breed scala aan taken, zelfs met slechts een kleine hoeveelheid in-domeindata beschikbaar voor het model. Echter, het proces van het fijnstellen van een hele model is bronnenverbruikend en duur, vooral voor taalmodellen met een aanzienlijk hoger aantal parameters.

Parameter-efficiënte fijntuning of PeFT-methoden stellen voor om de hoge kosten verbonden aan het fijnstellen van het hele model aan te pakken door alleen een kleine hoeveelheid van de totale gewichten bij te werken, een proces dat helpt bij het verminderen van de trainingsduur en het geheugengebruik. Wat nog belangrijker is, is dat parameter-efficiënte fijntuning of PeFT-methoden hebben aangetoond dat ze soortgelijke prestaties kunnen bereiken als fijntuning in verschillende praktische situaties. Adapters, een veelvoorkomende familie van parameter-efficiënte fijntuningmethoden, leren een bewerking die kan worden toegevoegd aan een extra set gewichten die samenwerken met de bevroren basismodel, en recente adapters zoals LoRA verminderen het aantal trainable parameters in de geleerde gewichtsupdates door lage-rangapproximaties te gebruiken in plaats van volledige gewichtsmatrices bij het trainen van de adapters.

Met eerder onderzoek dat aantoont dat het bewerken van representaties een beter alternatief kan zijn voor parameter-efficiënte fijntuningmethoden, zullen we in dit artikel praten over Representatie Fijntuning of ReFT-methoden die werken op een bevroren model en leren taakspecifieke interventies op verborgen representaties. Dit artikel heeft als doel het ReFT- of Representatie Fijntuningkader in detail te behandelen, en we onderzoeken de mechanismen, de methodologie, de architectuur van het kader en de vergelijking met state-of-the-artkaders. Laten we beginnen.

ReFT: Representatie Fijntuning voor Taalmodellen

In een poging om vooraf getrainde taalmodellen aan te passen aan nieuwe domeinen en taken, stellen huidige kaders deze vooraf getrainde taalmodellen vaak fijngesteld als met het fijnstellingproces geïmplementeerd, kan één basismodel worden aangepast aan een breed scala aan taken, zelfs met slechts een kleine hoeveelheid in-domeindata beschikbaar voor het model. Hoewel het fijnstellingproces de algehele prestatie verhoogt, is het een duur proces, vooral als het taalmodel een aanzienlijk hoog aantal parameters heeft. Om dit probleem aan te pakken en de verbonden kosten te verminderen, werken PeFT- of parameter-efficiënte fijntuningkaders alleen een kleine fractie van de totale gewichten bij, een proces dat niet alleen de trainingsduur vermindert, maar ook het geheugengebruik, waardoor de PeFT-kaders soortgelijke prestaties kunnen bereiken als volledige fijntuningbenaderingen in praktische situaties. Adapters, een veelvoorkomende familie van PeFT’s, werken door een bewerking te leren die kan worden toegevoegd aan een extra set gewichten samen met een subset van gewichten die samenwerken met de bevroren basismodel. Recent adapters zoals LoRA en QLoRA hebben aangetoond dat het mogelijk is om volledige precisie-adapters te trainen op een model met gereduceerde precisie zonder de prestaties te beïnvloeden. Adapters zijn meestal efficiënter en effectiever in vergelijking met andere methoden die nieuwe modelcomponenten introduceren.

Een belangrijke highlight van huidige state-of-the-art parameter-efficiënte fijntuningkaders is dat ze in plaats van representaties te bewerken, gewichten bewerken. Echter, kaders die te maken hebben met interpretatie hebben aangetoond dat representaties rijke semantische informatie bevatten, wat suggereert dat het bewerken van representaties een betere en krachtigere benadering kan zijn in vergelijking met gewichtsupdates. Deze veronderstelling dat het bewerken van representaties de betere benadering is, vormt de basis van het ReFT- of Representatie Fijntuningkader dat interventies traint in plaats van modelgewichten aan te passen, waardoor het model een kleine fractie van alle representaties kan manipuleren om modelgedrag te sturen om downstreamtaken op te lossen tijdens inferentie. ReFT- of Representatie Fijntuningmethoden zijn drop-in vervangingen voor gewichtsgebaseerde PeFT- of parameter-efficiënte fijntuningkaders. De ReFT-benadering haalt inspiratie uit recente modellen die werken met grote modelinterpretatie die interventies toepast op representaties om trouwe causale mechanismen te vinden en het gedrag van het model te sturen tijdens inferentie, en kan dus worden gezien als een generalisatie van de representatie-bewerkingsmodellen. Gebouwd op hetzelfde, is LoReFT of Low-Rank Subspace ReFT een sterke en effectieve instantie van ReFT en is een parameterisatie van ReFT die interventies toepast op verborgen representaties in de lineaire ruimte die wordt gespanned door een lage-rangprojectiematrix en bouwt rechtstreeks op het DAS- of Distributed Alignment Search-kader.

Verder, in tegenstelling tot volledige fijntuning, traint het PeFT- of parameter-efficiënte fijntuningkader alleen een kleine fractie van de parameters van het model en weet het model aan te passen aan downstreamtaken. Het parameter-efficiënte fijntuningkader kan worden onderverdeeld in drie hoofdcategorieën:

• Adapter-gebaseerde methoden: Adapter-gebaseerde methoden trainen extra modules zoals volledig verbonden lagen op een vooraf getraind model met bevroren gewichten. Serie-adapters voegen componenten toe tussen de multilayer perceptron of MLP en LM of grote modelaandachtlagen, terwijl parallelle adapters modules toevoegen naast bestaande componenten. Omdat adapters nieuwe componenten toevoegen die niet gemakkelijk kunnen worden opgenomen in bestaande modelgewichten, vormen ze een extra last tijdens inferentie.

• LoRA: LoRA en zijn recente varianten benaderen additieve gewichten tijdens het trainen door lage-rangmatrices te gebruiken en ze vereisen geen extra overheadkosten tijdens inferentie, omdat de gewichtsupdates kunnen worden samengevoegd met het model, en dat is de reden waarom ze worden beschouwd als de sterkste PeFT-kaders.

• Prompt-gebaseerde methoden: Prompt-gebaseerde methoden voegen zachte tokens toe die willekeurig worden geïnitialiseerd in de invoer en trainen hun insluitingen terwijl de gewichten van het taalmodel bevroren blijven. De prestaties die door deze methoden worden aangeboden, zijn vaak niet bevredigend in vergelijking met andere PeFT-benaderingen en ze dragen ook een aanzienlijke inferentie-overheadkost.

In plaats van gewichten bij te werken, leert het ReFT-kader interventies om een kleine fractie van de totale representaties te bewerken. Bovendien hebben recente werken aan representatie-engineering en activatie-sturing aangetoond dat het toevoegen van vaste stuurvectoren aan de residu-stroom een zekere mate van controle over vooraf getrainde grote modelgeneraties kan bieden zonder bronnenintensieve fijntuning te vereisen. Andere kaders hebben aangetoond dat het bewerken van representaties met een geleerde schaling en translatiebewerking kan proberen om de prestaties van LoRA-adapters te evenaren op een breed scala aan taken met minder geleerde parameters. Bovendien heeft het succes van deze kaders op een breed scala aan taken aangetoond dat de representaties die worden geïntroduceerd door vooraf getrainde taalmodellen rijke semantiek bevatten, hoewel de prestaties van deze modellen suboptimaal zijn, waardoor PeFT’s blijven als de state-of-the-artbenadering zonder extra inferentie-last.

ReFT: Methodologie en Architectuur

Om het proces van stijlbehoud eenvoudig te houden, gaat het ReFT-kader ervan uit dat een transformatie-gebaseerd groot model het doelmodel is dat in staat is om contextualiseerde representaties van een reeks tokens te produceren. Voor een gegeven reeks met n invoertokens, embedt het ReFT-kader deze invoertokens eerst in een lijst met representaties, waarna de m lagen de lijst met verborgen representaties successievelijk berekenen als een functie van de vorige lijst met verborgen representaties. Elke verborgen representatie is een vector en het taalmodel gebruikt de laatste verborgen representaties om voorspellingen te produceren. Het ReFT-kader houdt rekening met zowel gemaskeerde taalmodellen als autoregressieve taalmodellen. Nu, volgens de lineaire representatiehypothese, worden concepten in neurale netwerken gecodeerd in de lineaire deelruimtes van representaties. Recent onderzoek heeft deze bewering waar geacht in neurale netwerkmodellen getraind op natuurlijke taal en andere invoer distributies.

Bovendien, in interpretatieonderzoek, gebruikt het causale abstractiekader wisselinterventies om de rol van neurale netwerkcomponenten causaal te vestigen bij het implementeren van specifiek gedrag. De logica achter wisselinterventie is dat als men een representatie vastzet op wat het zou zijn voor een contrafeitelijke invoer en deze interventie consistent het uitvoer van het model beïnvloedt op een manier die de claims van het ReFT-kader over de component die verantwoordelijk is voor het produceren van die representatie ondersteunt, dan speelt de component een causale rol in het gedrag. Hoewel er een paar methoden zijn, is de wisselinterventie de ideale benadering om te testen of een concept is gecodeerd in een lineaire deelruimte van een representatie, zoals beweerd door de lineaire representatiehypothese. Bovendien is de DAS-methode eerder gebruikt om lineaire representaties te vinden in taalmodellen van entiteitsattributen, sentiment, linguïstische kenmerken en wiskundige redenering. Echter, verschillende experimenten hebben aangetoond dat de DAS-methode zeer expressief is en dat het de mogelijkheid heeft om causaal effectieve deelruimtes te vinden, zelfs wanneer het transformatie-taalmodel willekeurig is geïnitialiseerd en dus nog geen taakspecifieke representaties heeft geleerd, wat leidt tot de discussie of DAS effectief en verantwoordelijk genoeg is voor interpretatie taken.

De expressiviteit die wordt geboden door DAS suggereert dat de benadering een ideale tool kan zijn om het gedrag van het taalmodel te controleren, evenals zijn werk op controleerbare generatie en verantwoordelijke bewerking. Daarom, om taalmodellen aan te passen aan downstreamtaken, gebruikt het ReFT-kader de wisselinterventiebewerking om een nieuwe parameter-efficiënte methode te maken. Bovendien is de ReFT-methode een verzameling van interventies en het kader verplicht dat voor elke twee interventies die werken op dezelfde laag, de interventieposities disjunct moeten zijn, met de parameters van alle interventiefuncties onafhankelijk blijvend. Als resultaat is ReFT een generiek kader dat interventies op verborgen representaties omvat tijdens de modelvooruitgang.

ReFT: Experimenten en Resultaten

Om de prestaties te evalueren tegen bestaande PeFT-kaders, voert het ReFT-kader experimenten uit op vier diverse natuurlijke taalverwerkingbenchmarks en dekt het meer dan 20 datasets, met als hoofddoel om een rijk beeld te geven van hoe het LoReFT-kader presteert in verschillende scenario’s. Bovendien, wanneer het LoReFT-kader in het echte leven wordt geïmplementeerd, moeten ontwikkelaars beslissen over hoeveel interventies ze moeten leren, evenals de invoerposities en lagen om elk van hen op toe te passen. Om deze taak te voltooien, stemt het ReFT-kader vier hyperparameters af.

1. Het aantal prefixposities om in te grijpen.
2. Het aantal suffixposities om in te grijpen.
3. Welke set lagen om in te grijpen.
4. Of de interventieparameters moeten worden gekoppeld over verschillende posities in dezelfde laag.

Door dit te doen, vereenvoudigt het ReFT-kader de hyperparameterszoekruimte en zorgt het ervoor dat alleen een vaste extra inferentiekost wordt toegevoegd die niet schaalt met de lengte van de prompt.

De bovenstaande tabel vergelijkt de nauwkeurigheid van de LLaMA-7B en LLaMA-13B-kaders met bestaande PeFT-modellen op 8 datasets voor gezond verstand. Zoals te zien is, presteert het LoReFT-model beter dan bestaande PeFT-benaderingen met een aanzienlijke marge, ondanks het feit dat het veel minder parameters heeft, met de gemiddelde prestatie van drie runs met verschillende parametersamenstellingen voor het LoReFT-model. De param(%) wordt berekend door het aantal trainable parameters te delen door het aantal totale parameters van het basisgrote model.

De bovenstaande tabel vat de nauwkeurigheidsvergelijking samen van de LLaMA-7B en LLaMA-13B-kaders met bestaande PeFT-modellen op 4 verschillende datasets voor rekenkundige redenering, met het kader dat de gemiddelde prestatie van drie runs met verschillende willekeurige parametersamenstellingen rapporteert. Zoals te zien is, presteert het LoReFT-kader beter dan bestaande PeFT-kaders met een aanzienlijke marge, ondanks het feit dat het veel minder parameters(%) heeft.

De bovenstaande tabel vat de nauwkeurigheidsvergelijking samen van de RoBERTa-base en RoBERTa-large-kaders met bestaande PeFT-modellen op de GLUE-benchmark, met het kader dat de gemiddelde prestatie van vijf runs met verschillende willekeurige parametersamenstellingen rapporteert. Zoals te zien is, presteert het LoReFT-kader beter dan bestaande PeFT-kaders met een aanzienlijke marge, ondanks het feit dat het veel minder parameters(%) heeft.

Slotgedachten

In dit artikel hebben we gesproken over LoReFT, een krachtig alternatief voor bestaande PeFT-kaders dat sterke prestaties bereikt op benchmarks uit vier verschillende domeinen, terwijl het tot 50 keer efficiënter is dan eerdere state-of-the-art PeFT-modellen. Vooraf getrainde grote modellen worden vaak fijngesteld om te worden gebruikt voor nieuwe domeinen of taken, en tijdens het fijnstellingproces kan één basismodel worden aangepast aan een breed scala aan taken, zelfs met slechts een kleine hoeveelheid in-domeindata beschikbaar voor het model. Echter, het proces van het fijnstellen van een hele model is bronnenverbruikend en duur, vooral voor taalmodellen met een aanzienlijk hoger aantal parameters. Parameter-efficiënte fijntuning of PeFT-methoden stellen voor om de hoge kosten verbonden aan het fijnstellen van het hele model aan te pakken door alleen een kleine hoeveelheid van de totale gewichten bij te werken, een proces dat helpt bij het verminderen van de trainingsduur en het geheugengebruik. Notabel is dat LoReFT nieuwe state-of-the-artprestaties bereikt op gezond verstand, instructievolging en natuurlijke taalbegrip tegen de sterkste PeFT’s.