Der Schaden durch Feinabstimmung eines KI-Modells kann leicht behoben werden, zeigt eine Studie

Neue Forschungsergebnisse aus den USA deuten darauf hin, dass die Feinabstimmung eines KI-Grundmodells auf eigene Daten nicht unbedingt die Funktionalität des ursprünglichen Modells verringern oder beeinträchtigen muss – und dass eine relativ einfache Lösung nicht nur die Fähigkeiten des ursprünglichen Modells wiederherstellen, sondern auch die Qualität der Ausgabe, die man zu erhalten versucht, tatsächlich verbessern kann.

Leistungssteigerungen bei diversen Modellen mit der neuen post-trainingskalibrierung der Autoren. Weitere Details später im Artikel. Quelle: http://export.arxiv.org/pdf/2409.16223

Die Auswirkungen davon sind erheblich, nicht nur für die Tech-Giganten, deren Aufmerksamkeit auf die finanziellen Vorteile der Vermietung von generativen Systemen ‘as-a-Service’ konzentriert ist, sondern auch für die wachsende Zahl von ‘Cord-Cutter’-Hobbyisten, die offene Modelle herunterladen und anpassen, um personalisierte KI-Schreib- und Bild/Video-Generierungssysteme zu einem günstigeren Preis und mit weniger Einschränkungen zu erhalten.

Die Autoren der Studie scheuen sich nicht, ihre Begeisterung für das Potenzial ihrer Methode zu zeigen, die offensichtlich erhebliche Fortschritte gegenüber der Einreichung von 2023 Holistic Transfer: Towards Non-Disruptive Fine-Tuning with Partial Target Data (koautoriert mit vielen der Mitwirkenden an dem neuen Papier) macht.

Sie erklären:

‘Die [Ergebnisse] sind ermutigend und haben tiefgreifende Auswirkungen! Sie implizieren, dass eine einfache post-prozessuale Kalibrierung potenziell die fehlerhafte Genauigkeit des feinabgestimmten Modells auf den abwesenden Klassen ansprechen kann, die Fähigkeiten des vorab trainierten Modells wiederherstellt, während sie die verbesserte Merkmalqualität über alle Klassen aufdeckt.’

Wir werden uns bald mit der neuen Arbeit auseinandersetzen. Zunächst sehen wir uns an, welches Problem sie zu lösen versucht.

Warum es wichtig ist

Die erste Welle der weit verbreiteten Feinabstimmung erfolgte im Anschluss an die Veröffentlichung des Stable-Diffusion-Text-Bild-Modells von Stability.ai im August 2002. Die frühen Modelle, die auf einem Teil des hyperskaligen LAION-Datensatzes trainiert wurden, standen für jeden zum Download zur Verfügung.

Jedoch mussten Benutzer, die spezifische Inhalte (wie ihre eigene Identität, Kunststile oder die Darstellung von Celebrities) in die außergewöhnlichen generativen Eigenschaften von Stable Diffusion einfügen wollten, auf Techniken wie DreamBooth zurückgreifen – eine Extrapolation einer Google-Forschungsmethode, die es dem Benutzer ermöglichte, neue Daten in das frei verfügbare Modell einzutrainieren, indem er es feinabstimmte.

Beispiele für den Benutzerprozess der offiziellen DreamBooth-Implementierung von Google aus dem Jahr 2022. Der Benutzer kuratiert eine kleine Auswahl an Bildern und wählt einen einzigartigen Namen (den Stable Diffusion in seinen Trainingsdaten nicht hat) in Text-Prompts vom feinabgestimmten Modell. Quelle: https://dreambooth.github.io/

Auf diese Weise war es möglich, eine Kopie des Modells zu erhalten, das sehr gut darin war, eine bestimmte Person oder einen benutzerdefinierten Kunststil darzustellen, aber das jetzt ‘kompromittiert’ für den allgemeinen Gebrauch war.

Dies bedeutete, dass man, wenn man Stable Diffusion so feinabstimmen wollte, dass es drei verschiedene Personen genau darstellen konnte, unvermeidlich drei verschiedene Modelle erstellen musste, jedes etwa 2-4 GB groß oder mehr.

Jeder Versuch, diese Modelle ein zweites Mal zu feinabstimmen, würde nicht nur die allgemeine Leistung des Modells weiter verschlechtern, sondern auch die Ausgabe aus der vorherigen Feinabstimmungssitzung negativ beeinflussen.

In jedem Fall würden Celebrity-DreamBooth-Modelle bald im Internet verbreitet sein, hauptsächlich auf dem civit.ai-Domain. Schließlich würden weniger belastende Methoden wie Low-Rank-Adaptation (LoRA) die Feinabstimmung in Popularität überbieten (obwohl es fraglich bleibt, ob LoRA-Ausgaben so effektiv sind wie eine vollständige Feinabstimmung, und NVIDIA hat inzwischen open-source einen offensichtlich effektiveren Ansatz namens DoRA veröffentlicht).

Eine LoRA fällt unter die Kategorie Parameter-Effiziente Feinabstimmung (PEFT), die nur einen Teil der trainierten Parameter des Modells beeinflusst.

Einige Benutzer wollten die grundlegende Natur des offengelegten Stable-Diffusion-Checkpoints ändern, indem sie diese auf Tausenden von Bildern feinabstimmten.

Dies produzierte effektiv ein alternatives Grundmodell, das für jeden Bereich, den der Benutzer trainieren wollte (wie einen bestimmten Kunststil), spezialisiert war. Für diesen Zweck waren ‘leichtgewichtige’ Methoden wie LoRA wahrscheinlich weniger effektiv, da die Gewichte des Modells eine starke Voreingenommenheit gegenüber den neuen Trainingsdaten benötigten.

Lokaler Chat

Mit dem jüngsten Anstieg des Interesses an Großen Sprachmodellen (LLM), haben Benutzer, die die wachsenden Ausgaben (und damit verbundenen Kosten) von API-getriebenen Diensten wie ChatGPT vermeiden wollen, zunehmend begonnen, effektive offene Modelle herunterzuladen und zu feinabstimmen, wie z.B. Llama 3, unter vielen anderen.

Auch hier können LoRAs anstelle einer vollständigen Feinabstimmung verwendet werden. Wir haben zuvor argumentiert, dass Feinabstimmung eine überlegene Methode zur Erzeugung von LLMs ist, die an die spezifischen Bedürfnisse des Benutzers angepasst sind. Obwohl Feinabstimmung höhere Hardwareanforderungen haben und länger dauern kann, bietet sie eine tiefere Verallgemeinerung der neuen Daten, die der Benutzer aufnehmen möchte.

Das Problem mit der Feinabstimmung ist, dass es ein destruktiver Prozess ist, der nicht inkremental auf zusätzliche Daten trainiert werden kann, wie wir oben erwähnt haben.

Die Merkmale und Voreingenommenheiten, die in das Modell injiziert werden, scheinen die ursprüngliche Balance der Gewichte im Datensatz zu stören, was bedeutet, dass das Modell entweder übermäßig wahrscheinlich die vom Benutzer beigesteuerten Daten widerspiegelt oder zumindest schlechter abschneidet als das ursprüngliche Grundmodell (bei Aufgaben, die nicht mit den neuen Daten zusammenhängen).

Man kann dies bis zu einem gewissen Grad beheben, indem man bestimmte Teile des Modells während des Trainings einfriert; aber dies kann zu einer verringerten allgemeinen Funktionalität führen, da der eingefrorene Teil der Architektur möglicherweise nicht gut auf die neu feinabgestimmten Daten im latenten Raum des Modells verallgemeinert.

Es wäre daher großartig, wenn es eine einfachere Möglichkeit gäbe, die ursprünglichen Fähigkeiten eines feinabgestimmten Modells zu erhalten, während man gleichzeitig die Fähigkeit des Modells beibehält, Ausgaben auf der Grundlage der Feinabstimmungsdaten zu erzeugen.

Eine solche Entwicklung wäre vorteilhaft für die gesamte Bandbreite potenzieller Benutzer, von Hobbyisten und Early Adoptern, die lokale LLMs und andere Arten von generativen Modellen verwenden, bis hin zu FAANG-Ebene (wo ein sehr teures KI-Modell iterativ und nicht-destruktiv verbessert werden könnte, ohne die multi-millionenschwere Ausgabe der erneuten Ausbildung mit den zusätzlichen Daten).

Post-Prozess-Kalibrierung

Dies bringt uns zurück zum neuen Papier, das Feinabstimmung ist in Ordnung, wenn kalibriert heißt und von 11 Forschern der Ohio State University, der University of Wisconsin Madison und des Rensselaer Polytechnic Institute stammt.

Die Forscher versuchten herauszufinden, was genau in einem Grundmodell beschädigt wird, wenn es feinabgestimmt wird. Sie kamen zu dem Schluss, dass der einzige große Unterschied zwischen dem ‘vorher’ und ‘nachher’-Modell darin besteht, dass die Logit-Skalen über die Feinabstimmungsklassen und die ursprünglichen Klassen im Modell einen großen Unterschied aufweisen.

Logit-Links predict die Wahrscheinlichkeit des Erfolgs in einem logischen Regressionsprozess, indem sie die geschätzten Werte (die sehr präzise sein können) in eine Null oder eine Eins umwandeln.

Die Autoren fanden nicht nur heraus, dass dieser Defizit fast beiläufig durch eine Kalibrierungstechnik reversibel ist, sondern dass diese post facto-Lösung tatsächlich die Qualität der Ausgabe für die Feinabstimmungsdaten verbessert. Daher erhält man mit dieser Technik nicht nur die ursprünglichen Fähigkeiten des Grundmodells, sondern auch eine bessere Integration der eigenen Feinabstimmungsdaten.

(Obwohl das Papier diese Perspektive nicht untersucht, impliziert diese Technik, dass ein Modell mehrmals feinabgestimmt werden und dennoch effektiv bleiben könnte)

Bei der Diskussion ihrer Ergebnisse zur Untersuchung des Modellschadens nach der Feinabstimmung erklären die Autoren:

‘Zu unserer Überraschung stellen wir fest, dass das feinabgestimmte Modell weder die Beziehung zwischen den anderen Klassen vergisst noch die Fähigkeiten zur Erkennung dieser Klassen verschlechtert.

‘Stattdessen produziert das feinabgestimmte Modell oft diskriminativere Merkmale für diese anderen Klassen, auch wenn sie während der Feinabstimmung fehlten!

‘[Was] wirklich die Genauigkeit beeinträchtigt, ist die diskrepante Logit-Skala zwischen den Feinabstimmungsklassen und den anderen [Klassen], was nahelegt, dass eine einfache post-prozessuale Kalibrierung die Fähigkeiten des vorab trainierten Modells wiederherstellen und gleichzeitig die Merkmalsverbesserung über alle Klassen aufdecken könnte.’

Die Autoren haben die Ergebnisse ihrer Tests für diese Theorie in einem GitHub-Repository reproduzierbar gemacht.

Sie fanden heraus, dass bei der Untersuchung der einzige Teil der Architektur des Grundmodells, der durch die Feinabstimmung beschädigt wird, der binäre Klassifizierer ist, der Klassen, die abwesend im ursprünglichen Modell sind, als Feinabstimmungsklassen falsch klassifiziert.

Das Papier besagt*:

‘[Indem] ein Kalibrierungs-Bias-Faktor zu allen Logits der abwesenden Klassen hinzugefügt wird [4, 40 ], kann das feinabgestimmte Modell erfolgreich die abwesende Klassen-Genauigkeit wiederherstellen und eine anständige Gesamtleistung in der nachgelagerten [Domäne] erzielen.

‘Die resultierende Leistung schlägt sogar die starke Referenz [Holistic Transfer – das Papier, auf dem dieses Papier aufbaut ] in vielen der Benchmarks, einschließlich ImageNet und seinen Varianten [ImageNet, ImageNet-R(endition), ImageNet-S(ketch) ], Office-Home und VTAB, ohne komplizierte Trainings- und Hyperparameter-Einstellungen.’

Ergebnisse aus dem Papier: Ein feinabgestimmtes Modell, auf dem eine post-prozessuale Kalibrierung durchgeführt wurde, kann, so erklären die Autoren, die State-of-the-Art-Ansätze für das Problem übertreffen.

Die Autoren klassifizieren die verbesserte Leistung eines post-kalibrierten feinabgestimmten Modells als ‘unerwartete harmlose Verhaltensweisen’ und beobachten, dass, wenn ein grundlegender Stochastic-Gradient-Abstieg (SGD)-Optimizer verwendet wird, ein besseres Ergebnis erzielt wird als mit den aktuellen Optimizern wie Adam.

‘Trotzdem,’ merken sie an, ‘mit kleinen genug Lernraten und Gewichtsabfall zeigt sich das harmlose Verhalten und hält.’

Geringfügige Reparaturen

Um die Logit-Unterschiede zu beheben, die durch die Feinabstimmung entstehen, haben die Autoren eine Technik aus dem Zero-Shot-Lernen übernommen, indem sie einen konstanten Faktor zu den Logits aller abwesenden Klassen hinzufügten. Dies ergibt eine neue Klassifizierungsregel.

Die Autoren merken an, dass dieser Prozess die vernachlässigten abwesenden Klassen ‘befördert’ und ihre Vorhersagequalität auf die gleiche Ebene wie die feinabgestimmten Klassen bringt, wodurch die ursprüngliche Leistung wiederhergestellt und die Leistung der ‘hinzugefügten’ Daten bei der Inferenzzeit verbessert wird.

In Tests wurde die post-Kalibrierungstechnik auf eine Vielzahl von feinabgestimmten Modellen angewendet. Der ‘Oracle’ in der Tabelle bezieht sich auf einen feinabgestimmten Klassifizierer, der auch die fehlenden Klassendaten berücksichtigt.

Sie bemerken weiter, dass die post-prozessuale Kalibrierung ‘potenziell auf jedes Modell anwendbar’ ist und dass Methoden, die versuchen, die Integrität des Grundmodells durch das Einfrieren von Schichten (wie dem Klassifizierer und dem Backbone) aufrechtzuerhalten, im Vergleich zu ihrem eigenen Ansatz schlecht abschneiden.

Schlussfolgerung

Die Ergebnisse dieser Zusammenarbeit scheinen erheblich zu sein. Das Trainieren eines KI-Modells auf einem hyperskaligen Datensatz ist ein enormer Einsatz, vergleichbar mit dem Start eines Passagierflugzeugs. Obwohl das Training unterbrochen und der Schaden durch das Speichern der aktuellen Gewichte periodisch (zum erheblichen Speicheraufwand) gemildert werden kann, um Unterbrechungen des Trainings zu ermöglichen, gibt es relativ wenig, was man tun kann, um das Ergebnis nach dem Start zu ändern.

Was beeindruckend an der Arbeit ist, ist, dass die Forscher offensichtlich ein grundlegendes Prinzip im allgemeinen KI-Modell-Training entdeckt haben und dass ihre Lösung überraschend elegant ist.

Die wirtschaftlichen Auswirkungen der Möglichkeit, die Genauigkeit des Grundmodells nach der Feinabstimmung beizubehalten, sind ebenfalls erheblich. Bisher war die gängigste Methode, um die Mängel von millionenschweren Modellen zu beheben, die Filterung der Ausgabe bei der Inferenzzeit oder die Kontrolle der Inferenz, um jede Achillesferse im Modell zu vermeiden.

Zusätzlich könnte eine solche Technik theoretisch erhebliche Verbesserungen der Fähigkeiten feinabgestimmter generativer Modelle auf Verbraucherebene bringen, mit dem Bonus einer Steigerung der Ausgabqualität.

* Meine Umwandlung der inline-Zitate der Autoren in Hyperlinks.

Erstveröffentlicht am Dienstag, 1. Oktober 2024