Parameter-effiziente Feinabstimmung oder PeFT-Methoden zielen darauf ab, große Sprachmodelle durch Updates von nur einer kleinen Anzahl von Gewichten anzupassen. Allerdings hat die Mehrheit der bestehenden Interpretierbarkeitsarbeiten gezeigt, dass Repräsentationen semantisch reiche Informationen encodieren, was darauf hindeutet, dass es möglicherweise eine bessere und leistungsfähigere Alternative wäre, diese Repräsentationen zu bearbeiten. Vorgefertigte große Modelle werden oft feinabgestimmt, um für neue Domänen oder Aufgaben verwendet zu werden, und während des Feinabstimmungsprozesses kann ein einzelnes Basismodell an eine Vielzahl von Aufgaben angepasst werden, selbst wenn nur kleine Mengen an In-Domain-Daten für das Modell verfügbar sind. Allerdings ist der Prozess des Feinabstimmens eines gesamten Modells ressourcenintensiv und teuer, insbesondere für Sprachmodelle mit einer wesentlich höheren Anzahl an Parametern.

Parameter-effiziente Feinabstimmung oder PeFT-Methoden schlagen vor, die hohen Kosten, die mit dem Feinabstimmens des gesamten Modells verbunden sind, zu reduzieren, indem nur eine kleine Anzahl der verfügbaren Gewichte aktualisiert wird, was dazu beiträgt, die Trainingszeit sowie den Speicherbedarf zu reduzieren. Was noch wichtiger ist, ist, dass Parameter-effiziente Feinabstimmung oder PeFT-Methoden in mehreren praktischen Szenarien ähnliche Leistungen wie das Feinabstimmens des gesamten Modells gezeigt haben. Adapter, eine häufige Familie von Parameter-effizienten Feinabstimmung oder PeFT-Methoden, lernen eine Bearbeitung, die zu einer zusätzlichen Menge von Gewichten hinzugefügt werden kann, die zusammen mit dem festgefrorenen Basismodell operiert, wobei neuere Adapter wie LoRA die Anzahl der trainierbaren Parameter in den gelernten Gewichtsaktualisierungen durch die Verwendung von niedrigrangigen Approximationen anstelle von vollständigen Gewichtsmatrizen reduzieren, wenn die Adapter trainiert werden.

Mit vorherigen Arbeiten, die gezeigt haben, dass das Bearbeiten von Repräsentationen möglicherweise eine bessere Alternative zu Parameter-effizienter Feinabstimmung oder PeFT-Methoden ist, werden wir in diesem Artikel über Repräsentations-Feinabstimmung oder ReFT-Methoden sprechen, die auf einem festgefrorenen Modell operieren und lernbasierte Eingriffe auf versteckten Repräsentationen erlernen. Dieser Artikel zielt darauf ab, den ReFT- oder Repräsentations-Feinabstimmungs-Rahmenwerk im Detail abzudecken, und wir erkunden den Mechanismus, die Methodik, die Architektur des Rahmenwerks sowie seinen Vergleich mit dem aktuellen Stand der Technik. Also los geht’s.

ReFT: Repräsentations-Feinabstimmung für Sprachmodelle

In einem Versuch, vorgefertigte Sprachmodelle an neue Domänen und Aufgaben anzupassen, feinabstimmen aktuelle Rahmenwerke diese vorgefertigten Sprachmodelle häufig, da mit dem Feinabstimmungsprozess ein einzelnes Basismodell an eine Vielzahl von Aufgaben angepasst werden kann, selbst wenn nur kleine Mengen an In-Domain-Daten für das Modell verfügbar sind. Obwohl der Feinabstimmungsprozess die Gesamtleistung verbessert, ist es ein teurer Prozess, insbesondere wenn das Sprachmodell eine wesentlich höhere Anzahl an Parametern hat. Um dieses Problem zu lösen und die damit verbundenen Kosten zu reduzieren, aktualisieren PeFT- oder Parameter-effiziente Feinabstimmungs-Rahmenwerke nur eine kleine Anzahl der verfügbaren Gewichte, was dazu beiträgt, die Trainingszeit sowie den Speicherbedarf zu reduzieren, und ermöglicht es den PeFT-Rahmenwerken, ähnliche Leistungen wie die Feinabstimmung des gesamten Modells in praktischen Szenarien zu erzielen. Adapter, eine häufige Familie von PeFTs, funktionieren, indem sie eine Bearbeitung lernen, die zu einer zusätzlichen Menge von Gewichten hinzugefügt werden kann, die zusammen mit dem festgefrorenen Basismodell operiert. Neuere Adapter-Rahmenwerke wie LoRA und QLoRA haben gezeigt, dass es möglich ist, vollpräzise Adapter auf reduzierten Präzisionsmodellen ohne Leistungsverlust zu trainieren. Adapter sind in der Regel effizienter und effektiver im Vergleich zu anderen Methoden, die neue Modellkomponenten einführen.

Ein wichtiger Aspekt der aktuellen State-of-the-Art-Parameter-effizienten Feinabstimmungs-Rahmenwerke ist, dass sie anstelle von Repräsentationen Gewichte modifizieren. Allerdings haben Rahmenwerke, die sich mit Interpretierbarkeit befassen, gezeigt, dass Repräsentationen reiche semantische Informationen encodieren, was darauf hindeutet, dass das Bearbeiten von Repräsentationen möglicherweise eine bessere und leistungsfähigere Alternative zu Gewichtsaktualisierungen ist. Diese Annahme, dass das Bearbeiten von Repräsentationen die bessere Alternative ist, bildet die Grundlage des ReFT- oder Repräsentations-Feinabstimmungs-Rahmenwerks, das anstelle von Gewichtsaktualisierungen Eingriffe trainiert, um das Modell zu manipulieren, und ermöglicht es dem Modell, eine kleine Anzahl aller Repräsentationen zu steuern, um das Modellverhalten bei der Inferenz zu steuern. ReFT- oder Repräsentations-Feinabstimmungs-Methoden sind drop-in-Ersatz für gewichtsbasierte PeFT- oder Parameter-effiziente Feinabstimmungs-Rahmenwerke. Der ReFT-Ansatz zieht Inspiration aus neueren Modellen, die mit großer Modell-Interpretierbarkeit arbeiten, um Repräsentationen zu intervenieren und treue kausale Mechanismen zu finden, und steuert das Modellverhalten bei der Inferenz, und kann daher als Verallgemeinerung der Repräsentations-Editierungs-Modelle angesehen werden. Basierend auf diesem Ansatz ist LoReFT oder Low-Rank-Subspace-ReFT eine starke und effektive Instanz von ReFT, und ist eine Parametrisierung von ReFT, die auf versteckten Repräsentationen in dem linearen Raum eingreift, der durch eine niedrigrangige Projektionsmatrix gespannt wird, und baut direkt auf dem DAS- oder Distributed-Alignment-Search-Rahmenwerk auf.

Weiterhin, im Gegensatz zur vollständigen Feinabstimmung, trainiert das PeFT- oder Parameter-effiziente Feinabstimmungs-Rahmenwerk nur eine kleine Anzahl der Parameter des Modells und schafft es, das Modell an nachgelagerte Aufgaben anzupassen. Das Parameter-effiziente Feinabstimmungs-Rahmenwerk kann in drei Hauptkategorien unterteilt werden:

• Adapter-basierte Methoden: Adapter-basierte Methoden trainieren zusätzliche Module wie vollständig verbundene Schichten auf dem vorgefertigten Modell mit festgefrorenen Gewichten. Serielle Adapter fügen Komponenten zwischen dem Multilayer-Perceptron oder MLP und LM oder Large-Model-Attention-Schichten ein, während parallele Adapter Module neben bestehenden Komponenten hinzufügen. Da Adapter neue Komponenten hinzufügen, die nicht leicht in bestehende Modellgewichte eingefügt werden können, stellen sie eine zusätzliche Belastung während der Inferenz dar.

• LoRA: LoRA und seine neueren Varianten approximieren additive Gewichte während des Trainings durch die Verwendung von niedrigrangigen Matrizen, und sie erfordern keine zusätzlichen Overheads während der Inferenz, da die Gewichtsaktualisierungen in das Modell eingefügt werden können, und es ist der Grund, warum sie als die aktuellen stärksten PeFT-Rahmenwerke angesehen werden.

• Prompt-basierte Methoden: Prompt-basierte Methoden fügen weiche Token hinzu, die zufällig initialisiert werden, in die Eingabe, und trainieren ihre Einbettungen, während die Gewichte des Sprachmodells festgefroren bleiben. Die Leistung, die diese Methoden bieten, ist oft nicht zufriedenstellend im Vergleich zu anderen PeFT-Ansätzen, und sie tragen auch einen signifikanten Inferenz-Overhead-Kosten.

Anstelle von Gewichtsaktualisierungen lernt das ReFT-Rahmenwerk Eingriffe, um eine kleine Anzahl aller Repräsentationen zu modifizieren. Darüber hinaus haben neuere Arbeiten auf Repräsentations-Engineering und Aktivierungssteuerung gezeigt, dass das Hinzufügen von festen Steuervektoren zum Residualstrom eine gewisse Kontrolle über die Generierung von vorgefertigten großen Modellen ohne ressourcenintensive Feinabstimmung ermöglichen kann. Andere Rahmenwerke haben gezeigt, dass das Bearbeiten von Repräsentationen mit einer gelernten Skalierung und Translation eine gewisse Leistung bieten kann, die der von LoRA-Adaptern auf einer Vielzahl von Aufgaben mit weniger gelernten Parametern entspricht. Darüber hinaus hat der Erfolg dieser Rahmenwerke auf einer Vielzahl von Aufgaben gezeigt, dass die von vorgefertigten Sprachmodellen eingeführten Repräsentationen reiche Semantik tragen, obwohl die Leistung dieser Modelle suboptimal ist, was dazu führt, dass PeFTs weiterhin den aktuellen Stand der Technik darstellen, ohne zusätzliche Inferenz-Belastung.

ReFT: Methodik und Architektur

Um den Stil-Erhaltungsprozess einfach zu halten, geht das ReFT-Rahmenwerk davon aus, dass das Zielmodell ein transformer-basiertes großes Modell ist, das in der Lage ist, kontextualisierte Repräsentationen von Token-Sequenzen zu produzieren. Für eine gegebene Sequenz mit n Eingabe-Token embeddet das ReFT-Rahmenwerk diese Eingabe-Token in eine Liste von Repräsentationen, und die m Schichten berechnen die Liste von versteckten Repräsentationen sukzessive als Funktion der vorherigen Liste von versteckten Repräsentationen. Jede versteckte Repräsentation ist ein Vektor, und das Sprachmodell verwendet die endgültigen versteckten Repräsentationen, um die Vorhersagen zu produzieren. Das ReFT-Rahmenwerk berücksichtigt sowohl maskierte Sprachmodelle als auch autoregressive Sprachmodelle. Nun, gemäß der linearen Repräsentations-Hypothese, werden in neuronalen Netzen Konzepte innerhalb linearer Unterräume von Repräsentationen encodiert. Neuere Modelle haben diese Behauptung in neuronalen Netzen, die auf natürliche Sprache und andere Eingabe-Verteilungen trainiert wurden, als wahr befunden.

Darüber hinaus haben in Interpretierbarkeits-Studien die kausale Abstraktions-Rahmenwerkwechsel-Interventionen verwendet, um die Rolle von neuronalen Netzwerk-Komponenten kausal zu etablieren, wenn sie bestimmte Verhaltensweisen implementieren. Die Logik hinter der Wechsel-Intervention ist, dass, wenn man eine Repräsentation auf das festlegt, was sie für eine kontrafaktische Eingabe gewesen wäre, und diese Intervention die Ausgabe des Modells konsistent in der Weise beeinflusst, dass die Behauptungen, die das ReFT-Rahmenwerk über die Komponente macht, die für die Produktion dieser Repräsentation verantwortlich ist, dann spielt die Komponente eine kausale Rolle bei dem Verhalten. Obwohl es einige Methoden gibt, ist die verteilte Wechsel-Intervention die ideale Methode, um zu testen, ob ein Konzept in einem linearen Unterraum einer Repräsentation encodiert ist, wie von der linearen Repräsentations-Hypothese behauptet. Darüber hinaus wurde die DAS-Methode zuvor verwendet, um lineare Repräsentationen in Sprachmodellen von Entitäts-Attributen, Sentiment, linguistischen Merkmalen und mathematischem Denken zu finden. Allerdings haben mehrere Experimente gezeigt, dass die DAS-Methode hochausdrucksstark ist und die Fähigkeit besitzt, kausale effektive Unterräume zu finden, selbst wenn das Transformer-Sprachmodell zufällig initialisiert wurde und noch keine Aufgaben-spezifischen Repräsentationen gelernt hat, was zu der Debatte führt, ob DAS effektiv und verantwortungsvoll genug für Interpretierbarkeits-Aufgaben ist.

Die Ausdrucksstärke, die DAS bietet, deutet darauf hin, dass der Ansatz ein ideales Werkzeug sein könnte, um das Verhalten des Sprachmodells zu kontrollieren, sowie seine Arbeit auf kontrollierter Generierung und verantwortungsvoller Bearbeitung. Daher verwendet das ReFT-Rahmenwerk die verteilte Wechsel-Interventions-Operation, um eine neue parameter-effiziente Methode zu erstellen. Darüber hinaus ist die ReFT-Methode eine Menge von Eingriffen, und das Rahmenwerk erzwingt, dass für zwei Eingriffe, die auf der gleichen Schicht operieren, die Eingriffs-Positionen disjunkt sein müssen, wobei die Parameter aller Eingriffs-Funktionen unabhängig bleiben. Als Ergebnis ist ReFT ein generisches Rahmenwerk, das Eingriffe auf versteckten Repräsentationen während des Modell-Vorwärts-Passes umfasst.

ReFT: Experimente und Ergebnisse

Um seine Leistung gegenüber bestehenden PeFT-Rahmenwerken zu bewerten, führt das ReFT-Rahmenwerk Experimente auf vier verschiedenen natürlichen Sprachverarbeitungs-Benchmarks durch und deckt über 20 Datensätze ab, wobei das primäre Ziel darin besteht, ein umfassendes Bild davon zu liefern, wie das LoReFT-Rahmenwerk in verschiedenen Szenarien performt. Darüber hinaus müssen, wenn das LoReFT-Rahmenwerk in der Praxis implementiert wird, Entwickler entscheiden, wie viele Eingriffe zu lernen sind, sowie die Eingabe-Positionen und Schichten, auf denen jeder davon angewendet wird. Um diese Aufgabe zu erfüllen, stellt das ReFT-Rahmenwerk vier Hyperparameter ein.

1. Die Anzahl der Präfix-Positionen, auf denen eingegriffen wird.
2. Die Anzahl der Suffix-Positionen, auf denen eingegriffen wird.
3. Welche Menge von Schichten, auf denen eingegriffen wird.
4. Ob die Eingriffs-Parameter über verschiedene Positionen in der gleichen Schicht gebunden werden sollen oder nicht.

Dadurch vereinfacht das ReFT-Rahmenwerk den Hyperparameter-Suchraum und stellt sicher, dass nur eine feste zusätzliche Inferenz-Kosten entstehen, die nicht mit der Länge des Prompts skaliert.

Der obige Tabelle vergleicht die Genauigkeit des LLaMA-7B- und LLaMA-13B-Rahmenwerks mit bestehenden PeFT-Modellen auf 8 Common-Sense-Reasoning-Datensätzen. Wie zu sehen ist, übertrifft das LoReFT-Modell bestehende PeFT-Ansätze um einen anständigen Betrag, obwohl es viel weniger Parameter hat, wobei die durchschnittliche Leistung von drei Läufen mit unterschiedlichen Parameter-Samen für das LoReFT-Modell berichtet wird. Der Param(%) wird berechnet, indem die Anzahl der trainierbaren Parameter durch die Anzahl der Gesamt-Parameter des Basis-Modells geteilt wird.

Der obige Tabelle fasst den Genauigkeits-Vergleich des LLaMA-7B- und LLaMA-13B-Rahmenwerks mit bestehenden PeFT-Modellen auf 4 verschiedenen arithmetischen Reasoning-Datensätzen zusammen, wobei das Rahmenwerk die durchschnittliche Leistung von drei Läufen mit unterschiedlichen zufälligen Samen berichtet. Wie zu sehen ist, übertrifft das LoReFT-Rahmenwerk bestehende PeFT-Rahmenwerke um einen beträchtlichen Betrag, obwohl es viel weniger Parameter hat.

Der obige Tabelle fasst den Genauigkeits-Vergleich des RoBERTa-Base- und RoBERTa-Large-Rahmenwerks mit bestehenden PeFT-Modellen auf dem GLUE-Benchmark zusammen, wobei das Rahmenwerk die durchschnittliche Leistung von fünf Läufen mit unterschiedlichen zufälligen Samen berichtet. Wie zu sehen ist, übertrifft das LoReFT-Rahmenwerk bestehende PeFT-Rahmenwerke um einen beträchtlichen Betrag, obwohl es viel weniger Parameter hat.

Final Thoughts

In diesem Artikel haben wir über LoReFT gesprochen, eine leistungsfähige Alternative zu bestehenden PeFT-Rahmenwerken, die starke Leistungen auf Benchmarks aus vier verschiedenen Domänen erzielt, während sie bis zu 50-mal die Effizienz von vorherigen State-of-the-Art-PeFT-Modellen bietet. Vorgefertigte große Modelle werden oft feinabgestimmt, um für neue Domänen oder Aufgaben verwendet zu werden, und während des Feinabstimmungsprozesses kann ein einzelnes Basis-Modell an eine Vielzahl von Aufgaben angepasst werden, selbst wenn nur kleine Mengen an In-Domain-Daten für das Modell verfügbar sind. Allerdings ist der Prozess des Feinabstimmens eines gesamten Modells ressourcenintensiv und teuer, insbesondere für Sprachmodelle mit einer wesentlich höheren Anzahl an Parametern. Parameter-effiziente Feinabstimmung oder PeFT-Methoden schlagen vor, die hohen Kosten, die mit dem Feinabstimmens des gesamten Modells verbunden sind, zu reduzieren, indem nur eine kleine Anzahl der verfügbaren Gewichte aktualisiert wird, was dazu beiträgt, die Trainingszeit sowie den Speicherbedarf zu reduzieren. Notably, LoReFT etabliert neue State-of-the-Art-Leistungen auf Common-Sense-Reasoning, Instruction-Following und natürlicher Sprachverständnis gegen die stärksten PeFTs, indem es nur eine kleine Menge der Gesamt-Gewichte aktualisiert, was hilft, die Trainingszeit sowie den Speicherbedarf zu reduzieren.