I metodi di fine-tuning efficienti nei parametri, o PeFT, cercano di adattare i grandi modelli linguistici attraverso aggiornamenti di un piccolo numero di pesi. Tuttavia, la maggior parte dei lavori esistenti sull’interpretazione ha dimostrato che le rappresentazioni codificano informazioni semantiche ricche, suggerendo che potrebbe essere un’alternativa migliore e più potente modificare queste rappresentazioni. I modelli pre-addestrati vengono spesso fine-tunati per essere utilizzati in nuovi domini o attività, e durante il processo di fine-tuning, un singolo modello di base può essere adattato a una vasta gamma di attività anche con piccole quantità di dati di dominio disponibili per il modello. Tuttavia, il processo di fine-tuning di un intero modello è dispendioso in termini di risorse e costoso, specialmente per i modelli linguistici con un numero significativamente più alto di parametri.

I metodi di fine-tuning efficienti nei parametri, o PeFT, propongono di affrontare i costi elevati associati al fine-tuning dell’intero modello aggiornando solo una piccola frazione dei pesi totali disponibili, un processo che aiuta a ridurre il tempo di addestramento e l’utilizzo della memoria. Ciò che è più importante è che i metodi di fine-tuning efficienti nei parametri hanno dimostrato prestazioni simili al fine-tuning in diversi contesti pratici. Gli adattatori, una famiglia comune di metodi PeFT, apprendono un edit che può essere aggiunto a un set aggiuntivo di pesi che operano insieme al modello di base con pesi congelati, con adattatori recenti come LoRA che riducono il numero di parametri trainabili negli aggiornamenti dei pesi utilizzando approssimazioni di basso rango invece di matrici di pesi complete durante l’addestramento degli adattatori.

Con lavori precedenti che dimostrano che la modifica delle rappresentazioni potrebbe essere un’alternativa migliore ai metodi PeFT, in questo articolo parleremo dei metodi di fine-tuning delle rappresentazioni, o ReFT, che operano su un modello congelato e apprendono interventi specifici dell’attività sulle rappresentazioni nascoste. Questo articolo si propone di coprire il framework ReFT in profondità e esploriamo il meccanismo, la metodologia, l’architettura del framework insieme al suo confronto con i framework di stato dell’arte. Quindi, iniziamo.

ReFT: Representation Fine-tuning per Modelli Linguistici

Nel tentativo di adottare modelli linguistici pre-addestrati per nuovi domini e attività, gli attuali framework di fine-tuning frequentemente questi modelli pre-addestrati, poiché con il processo di fine-tuning implementato, un singolo modello di base può essere adattato a una varietà di attività anche quando si lavora con piccole quantità di dati di dominio. Sebbene il processo di fine-tuning aumenti le prestazioni generali, è un processo costoso, specialmente se il modello linguistico ha un numero significativamente più alto di parametri. Per affrontare questo problema e ridurre i costi associati, i framework di fine-tuning efficienti nei parametri, o PeFT, aggiornano solo una piccola frazione dei pesi totali, un processo che riduce non solo il tempo di addestramento, ma anche l’utilizzo della memoria, consentendo ai framework PeFT di raggiungere prestazioni simili ai metodi di fine-tuning completo in scenari pratici. Gli adattatori, una famiglia comune di PeFT, funzionano apprendendo un edit che può essere aggiunto a un set aggiuntivo di pesi insieme a un subset di pesi che operano in unisono con il modello di base con pesi congelati. Gli adattatori recenti come LoRA e QLoRA hanno dimostrato che è possibile addestrare adattatori a precisione completa su modelli ridotti senza influire sulle prestazioni. Gli adattatori sono generalmente più efficienti ed efficaci rispetto ad altri metodi che introducono nuovi componenti del modello.

Un punto di forza importante dei framework PeFT di stato dell’arte attuale è che, invece di modificare le rappresentazioni, modificano i pesi. Tuttavia, i framework che trattano l’interpretazione hanno dimostrato che le rappresentazioni codificano informazioni semantiche ricche, suggerendo che la modifica delle rappresentazioni potrebbe essere un approccio migliore e più potente rispetto agli aggiornamenti dei pesi. Questa ipotesi che la modifica delle rappresentazioni sia un approccio migliore è ciò che forma la base del framework ReFT, che addestra interventi invece di adattare i pesi del modello, consentendo al modello di manipolare una piccola frazione di tutte le rappresentazioni nel tentativo di guidare il comportamento del modello per risolvere attività downstream durante l’inferenza. I metodi ReFT sono sostituti diretti per i framework di fine-tuning efficienti nei parametri basati sui pesi. L’approccio ReFT trae ispirazione da modelli recenti che lavorano con la interpretazione di grandi modelli, che intervengono sulle rappresentazioni per trovare meccanismi causali fedeli e guidano il comportamento del modello durante l’inferenza, e quindi può essere visto come una generalizzazione dei modelli di editing delle rappresentazioni. Basandosi su questo, LoReFT, o ReFT a sottospazio di basso rango, è un’istanza forte ed efficace di ReFT, e rappresenta una parametrizzazione di ReFT che interviene sulle rappresentazioni nascoste nello spazio lineare generato da una matrice di proiezione di basso rango, e si basa direttamente sul framework DAS, o Ricerca di Allineamento Distribuito.

Proseguendo, a differenza del fine-tuning completo, il framework PeFT addestra solo una piccola frazione dei parametri del modello e riesce ad adattare il modello alle attività downstream. Il framework PeFT può essere classificato in tre categorie principali:

• Metodi basati su adattatori: I metodi basati su adattatori addestrano moduli aggiuntivi come layer fully-connected sopra il modello pre-addestrato con pesi congelati. Gli adattatori in serie inseriscono componenti tra il multilayer perceptron o MLP e le layer di attenzione del modello linguistico, mentre gli adattatori paralleli aggiungono moduli accanto ai componenti esistenti. Poiché gli adattatori aggiungono nuovi componenti che non possono essere facilmente piegati nei pesi del modello esistente, rappresentano un onere aggiuntivo durante l’inferenza.

• LoRA: LoRA, insieme alle sue varianti recenti, approssima i pesi additivi durante l’addestramento utilizzando matrici di basso rango, e non richiedono sovraccarichi aggiuntivi durante l’inferenza poiché gli aggiornamenti dei pesi possono essere fusi nel modello, ed è il motivo per cui sono considerati i framework PeFT più forti attuali.

• Metodi basati su prompt: I metodi basati su prompt aggiungono token morbidi inizializzati casualmente all’input e addestrano le loro rappresentazioni mantenendo i pesi del modello linguistico congelati. Le prestazioni offerte da questi metodi sono spesso non soddisfacenti rispetto ad altri approcci PeFT, e comportano anche un costo di sovraccarico significativo durante l’inferenza.

Invece di aggiornare i pesi, il framework ReFT apprende interventi per modificare una piccola frazione delle rappresentazioni totali. Inoltre, lavori recenti sull’ingegneria delle rappresentazioni e sulla guida delle attivazioni hanno dimostrato che aggiungere vettori di guida fissi al flusso residuale può facilitare un certo grado di controllo sulle generazioni di modelli linguistici pre-addestrati senza richiedere un addestramento intensivo in termini di risorse. Altri framework hanno dimostrato che la modifica delle rappresentazioni con un’operazione di scalatura e traduzione appresa può tentare di eguagliare ma non superare le prestazioni offerte dagli adattatori LoRA su una vasta gamma di attività con meno parametri appresi. Inoltre, il successo di questi framework su una gamma di attività ha dimostrato che le rappresentazioni introdotte dai modelli linguistici pre-addestrati portano informazioni semantiche ricche, sebbene le prestazioni di questi modelli siano subottimali, portando i PeFT a continuare come l’approccio di stato dell’arte senza oneri aggiuntivi di inferenza.

ReFT: Metodologia e Architettura

Per mantenere il processo di preservazione dello stile semplice, il framework ReFT presume un modello di grandi dimensioni basato su trasformatori come modello target in grado di produrre rappresentazioni contestualizzate di una sequenza di token. Per una sequenza data con n token di input, il framework ReFT incorpora prima i token di input in un elenco di rappresentazioni, seguito dalle m layer che calcolano l’elenco di rappresentazioni nascoste in modo successivo come funzione dell’elenco precedente di rappresentazioni nascoste. Ogni rappresentazione nascosta è un vettore, e il modello linguistico utilizza le rappresentazioni nascoste finali per produrre le previsioni. Il framework ReFT considera sia i modelli linguistici mascherati che i modelli linguistici autoregressivi. Ora, secondo l’ipotesi di rappresentazione lineare, nelle reti neurali, i concetti sono codificati all’interno dei sottospazi lineari delle rappresentazioni. Modelli recenti hanno trovato questa affermazione vera nei modelli di rete neurale addestrati su linguaggio naturale e altre distribuzioni di input.

Inoltre, negli studi sull’interpretazione, il framework di astrazione causale utilizza interventi di scambio per stabilire il ruolo dei componenti della rete neurale in modo causale quando si implementano comportamenti specifici. La logica dietro l’intervento di scambio è che se si fissa una rappresentazione a ciò che sarebbe stato per un input controfattuale e questo intervento influenza costantemente l’output del modello nel modo in cui le affermazioni fatte dal framework ReFT sul componente responsabile della produzione di quella rappresentazione, allora il componente gioca un ruolo causale nel comportamento. Sebbene ci siano diversi metodi, l’intervento di scambio distribuito è l’approccio ideale per testare se un concetto è codificato in un sottospazio lineare di una rappresentazione, come affermato dall’ipotesi di rappresentazione lineare. Inoltre, il metodo DAS è stato utilizzato in precedenza per trovare rappresentazioni lineari nei modelli linguistici di attributi di entità, sentiment, caratteristiche linguistiche e ragionamento matematico. Tuttavia, diversi esperimenti hanno indicato che il metodo DAS è altamente espressivo e possiede la capacità di trovare sottospazi efficaci anche quando il modello linguistico trasformatore è stato inizializzato casualmente, e quindi non ha ancora appreso rappresentazioni specifiche dell’attività, portando al dibattito se il DAS sia efficace e responsabile abbastanza per le attività di interpretazione.

L’espressività offerta dal DAS suggerisce che l’approccio potrebbe essere uno strumento ideale per controllare il comportamento del modello linguistico, insieme al suo lavoro sulla generazione controllabile e sulla modifica responsabile. Pertanto, per adattare i modelli linguistici alle attività downstream, il framework ReFT utilizza l’operazione di intervento di scambio distribuito per creare un nuovo metodo efficiente nei parametri. Inoltre, il metodo ReFT è un insieme di interventi, e il framework impone che per due interventi che operano sulla stessa layer, le posizioni dell’intervento debbano essere disgiunte, con i parametri di tutte le funzioni di intervento che rimangono indipendenti. Di conseguenza, il ReFT è un framework generico che comprende interventi sulle rappresentazioni nascoste durante il passo forward del modello.

ReFT: Esperimenti e Risultati

Per valutare le sue prestazioni rispetto ai framework PeFT esistenti, il framework ReFT condotto esperimenti su quattro benchmark di elaborazione del linguaggio naturale diversi, coprendo oltre 20 set di dati, con l’obiettivo principale di fornire un’immagine ricca di come il framework LoReFT si esegue in diversi scenari. Inoltre, quando il framework LoReFT viene implementato nella vita reale, gli sviluppatori devono decidere quanti interventi apprendere, insieme alle posizioni di input e alle layer su cui applicare ciascuno. Per completare il compito, il framework ReFT regola quattro iperparametri.

1. Il numero di posizioni di prefisso su cui intervenire.
2. Il numero di posizioni di suffisso su cui intervenire.
3. Quali insiemi di layer su cui intervenire.
4. Se legare o meno i parametri di intervento attraverso diverse posizioni nella stessa layer.

Facendo ciò, il framework ReFT semplifica lo spazio di ricerca degli iperparametri e assicura un costo di inferenza aggiuntivo fisso che non scala con la lunghezza del prompt.

La tabella sopra confronta l’accuratezza dei framework LLaMA-7B e LLaMA-13B rispetto ai modelli PeFT esistenti su 8 set di dati di ragionamento sul senso comune. Come si può osservare, il modello LoReFT supera i metodi PeFT esistenti di un margine decente, nonostante abbia molti meno parametri, con la prestazione media di tre esecuzioni segnalate con semi di parametri distinti per il modello LoReFT. Il param(%) è calcolato dividendo il numero di parametri trainabili per il numero totale di parametri del modello di base.

La tabella sopra riassume il confronto dell’accuratezza dei framework LLaMA-7B e LLaMA-13B rispetto ai modelli PeFT esistenti su 4 set di dati di ragionamento aritmetico diversi, con il framework che segnala la prestazione media di tre esecuzioni con semi casuali distinti. Come si può osservare, nonostante abbia molti meno parametri(%), il framework LoReFT supera i metodi PeFT esistenti di un margine considerevole.

La tabella sopra riassume il confronto dell’accuratezza dei framework RoBERTa-base e RoBERTa-large rispetto ai modelli PeFT esistenti sul benchmark GLUE, con il framework che segnala la prestazione media di cinque esecuzioni con semi casuali distinti. Come si può osservare, nonostante abbia molti meno parametri(%), il framework LoReFT supera i metodi PeFT esistenti di un margine considerevole.

Pensieri Finali

In questo articolo, abbiamo parlato di LoReFT, un’alternativa potente ai framework PeFT esistenti che raggiunge prestazioni forti sui benchmark di quattro domini diversi, offrendo fino a 50 volte l’efficienza offerta dai modelli PeFT di stato dell’arte precedenti. I modelli pre-addestrati vengono spesso fine-tunati per essere utilizzati in nuovi domini o attività, e durante il processo di fine-tuning, un singolo modello di base può essere adattato a una vasta gamma di attività anche con piccole quantità di dati di dominio disponibili per il modello. Tuttavia, il processo di fine-tuning di un intero modello è dispendioso in termini di risorse e costoso, specialmente per i modelli linguistici con un numero significativamente più alto di parametri. I metodi di fine-tuning efficienti nei parametri, o PeFT, propongono di affrontare i costi elevati associati al fine-tuning dell’intero modello aggiornando solo una piccola frazione dei pesi totali disponibili, un processo che aiuta a ridurre il tempo di addestramento e l’utilizzo della memoria. Notabilmente, LoReFT stabilisce nuove prestazioni di stato dell’arte nel ragionamento sul senso comune, nell’esecuzione delle istruzioni e nella comprensione del linguaggio naturale contro i PeFT più forti.