Richtung LoRAs, die Modellversionen überstehen können

Seit meiner jüngsten Berichterstattung über das Wachstum von Hobbyist-Hunyuan-Video-LoRAs (kleine, trainierte Dateien, die benutzerdefinierte Persönlichkeiten in Text-zu-Video- und Bild-zu-Video-Grundmodellen mit mehreren Milliarden Parametern einfügen können), ist die Anzahl der verfügbaren LoRAs in der Civit-Community um 185% gestiegen.

Trotz der Tatsache, dass es keine besonders einfachen oder wenig aufwändigen Möglichkeiten gibt, um ein Hunyuan-Video-LoRA zu erstellen, wächst das Verzeichnis von Celebrity- und Themen-LoRAs bei Civit täglich. Quelle: https://civitai.com/

Die gleiche Community, die versucht, zu lernen, wie man diese “Add-on-Persönlichkeiten” für Hunyuan-Video (HV) erstellt, ist auch ulcerating für die versprochene Veröffentlichung einer Bild-zu-Video (I2V)-Funktion in Hunyuan-Video.

Im Hinblick auf die offene Quellcode-Mensch-Bildsynthese ist dies ein großes Thema; in Kombination mit dem Wachstum von Hunyuan-LoRAs könnte es Benutzern ermöglichen, Fotos von Menschen in Videos umzuwandeln, ohne dass ihre Identität während der Videoentwicklung verloren geht – was derzeit der Fall in allen aktuellen Bild-zu-Video-Generatoren, einschließlich Kling, Kaiber und dem viel gefeierten RunwayML, ist:

Bitte klicken Sie, um abzuspielen. Eine Bild-zu-Video-Generierung von RunwayMLs State-of-the-Art-Gen-3-Turbo-Modell. Allerdings kann es, wie bei allen ähnlichen und weniger rivalisierenden Modellen, die konsistente Identität nicht aufrechterhalten, wenn das Subjekt sich von der Kamera abwendet, und die deutlichen Merkmale des Startbildes werden zu einer “generischen Diffusionsfrau”. Quelle: https://app.runwayml.com/

Indem man ein benutzerdefiniertes LoRA für die betreffende Persönlichkeit entwickelt, könnte man in einem HV-I2V-Workflow ein reales Foto von ihr als Startpunkt verwenden. Dies ist ein viel besserer “Samen” als die Eingabe einer zufälligen Zahl in den latenten Raum des Modells und die Akzeptanz des resultierenden semantischen Szenarios. Man könnte dann das LoRA oder mehrere LoRAs verwenden, um die Konsistenz der Identität, Haarstile, Kleidung und andere wichtige Aspekte einer Generierung aufrechtzuerhalten.

Potentiell könnte die Verfügbarkeit einer solchen Kombination einen der bedeutendsten Wendepunkte in der generativen KI seit der Einführung von Stable Diffusion darstellen, wobei die enorme generative Kraft an Open-Source-Enthusiasten übergeben wird, ohne die Regulierung (oder “Gatekeeping”, wenn man so will) durch die Inhaltszensoren in den aktuellen populären Gen-Video-Systemen.

Während ich schreibe, ist Hunyuan-Bild-zu-Video ein unabgehaktes “To-Do” im Hunyuan-Video-GitHub-Repo, wobei die Hobbyist-Community (anekdotisch) einen Discord-Kommentar von einem Hunyuan-Entwickler meldet, der angeblich sagte, dass die Veröffentlichung dieser Funktionalität aufgrund des Modells “zu unzensiert” auf ein späteres Datum im ersten Quartal verschoben wurde.

Die offizielle Feature-Veröffentlichungs-Checkliste für Hunyuan-Video. Quelle: https://github.com/Tencent/HunyuanVideo?tab=readme-ov-file#-open-source-plan

Genau oder nicht, die Repo-Entwickler haben im Wesentlichen alle anderen Punkte auf der Hunyuan-Checkliste erfüllt, und daher scheint es, dass Hunyuan-I2V schließlich erscheinen wird, ob zensiert, unzensiert oder in irgendeiner Weise “entsperrbar”.

Aber wie wir oben sehen können, ist die I2V-Veröffentlichung offensichtlich ein separates Modell – was es ziemlich unwahrscheinlich macht, dass irgendeines der aktuellen aufblühenden LoRAs bei Civit und anderswo mit ihm funktionieren wird.

In diesem (inzwischen) vorhersehbaren Szenario werden LoRA-Trainingsframeworks wie Musubi-Tuner und OneTrainer entweder zurückgesetzt oder auf den neuesten Stand gebracht, um das neue Modell zu unterstützen. Inzwischen werden ein oder zwei der technisch versiertesten (und unternehmerischsten) YouTube-AI-Luminari ihre Lösungen über Patreon “lösen”, bis die Szene aufholt.

Upgrade-Ermüdung

Fast niemand erlebt Upgrade-Ermüdung so sehr wie ein LoRA- oder Feinabstimmung-Enthusiast, da der schnelle und wettbewerbsorientierte Wandel in der generativen KI Model-Foundries wie Stability.ai, Tencent und Black Forest Labs dazu bringt, größere und (manchmal) bessere Modelle mit der maximal möglichen Frequenz zu produzieren.

Da diese neuen und verbesserten Modelle mindestens andere Vorurteile und Gewichte haben und häufiger ein anderes Maß und/oder eine andere Architektur haben, bedeutet dies, dass die Feinabstimmungsgemeinschaft ihre Datensätze erneut herausnehmen und den anstrengenden Trainingsprozess für die neue Version wiederholen muss.

Deswegen gibt es bei Civit eine Vielzahl von Stable-Diffusion-LoRA-Versionstypen:

Der Upgrade-Pfad, visualisiert in Suchfilter-Optionen bei civit.ai

Da keines dieser leichten LoRA-Modelle mit höheren oder niedrigeren Modellversionen interoperabel ist und viele von ihnen von beliebten großen Skalierungen und Feinabstimmungen abhängig sind, die an ein älteres Modell gebunden sind, neigt ein erheblicher Teil der Gemeinschaft dazu, bei einer “Legacy”-Version zu bleiben, ähnlich wie die Kundenloyalität zu Windows XP Jahre nach dem offiziellen Ende der Unterstützung anhielt.

Anpassung an den Wandel

Dieses Thema kommt uns in den Sinn, weil ein neues Papier von Qualcomm AI Research behauptet, eine Methode entwickelt zu haben, mit der bestehende LoRAs auf ein neu veröffentlichtes Modellversion “upgegradet” werden können.

Beispiel für die Konvertierung von LoRAs zwischen Modellversionen. Quelle: https://arxiv.org/pdf/2501.16559

Dies bedeutet nicht, dass der neue Ansatz, LoRA-X genannt, frei zwischen allen Modellen desselben Typs (d. h. Text-zu-Bild-Modellen oder Large Language Models [LLMs]) konvertieren kann; aber die Autoren haben eine effektive Transliteration eines LoRAs von Stable Diffusion v1.5 > SDXL und eine Konvertierung eines LoRAs für das textbasierte TinyLlama-3T-Modell in TinyLlama 2.5T demonstriert.

LoRA-X überträgt LoRA-Parameter zwischen verschiedenen Basismodellen, indem es den Adapter innerhalb des Subraums des Quellmodells aufrechterhält; aber nur in Teilen des Modells, die über Modellversionen hinweg ausreichend ähnlich sind.

Links, ein Schema für die Art und Weise, wie das LoRA-X-Quellmodell einen Adapter feinabstimmmt, der dann an das Zielmodell angepasst wird, indem es seine eigene interne Struktur verwendet. Rechts, Bilder, die von Zielmodellen SD Eff-v1.0 und SSD-1B erzeugt werden, nachdem Adapter von SD-v1.5 und SDXL ohne zusätzliches Training angewendet wurden.

Während dies eine praktische Lösung für Szenarien bietet, in denen eine Neuschulung unerwünscht oder unmöglich ist (wie bei einer Lizenzänderung der ursprünglichen Trainingsdaten), ist die Methode auf ähnliche Modellarchitekturen beschränkt, unter anderem.

Obwohl dies ein seltener Ausflug in ein unterschriebenes Feld ist, werden wir dieses Papier nicht ausführlich untersuchen, weil LoRA-X zahlreiche Mängel aufweist, wie sie von seinen Kritikern und Beratern bei Open Review hervorgehoben werden.

Die Methode basiert auf Subraum-Ähnlichkeit und beschränkt ihre Anwendung auf eng verwandte Modelle, und die Autoren haben eingestanden, dass LoRA-X nicht leicht zwischen wesentlich unterschiedlichen Architekturen übertragen werden kann.

Andere PEFT-Ansätze

Die Möglichkeit, LoRAs portabler über Versionen hinweg zu machen, ist ein kleiner, aber interessanter Forschungsstrang in der Literatur, und der Hauptbeitrag, den LoRA-X zu diesem Vorhaben leistet, ist seine Behauptung, dass es keine Schulung erfordert. Dies ist nicht streng genommen wahr, wenn man das Papier liest, aber es erfordert die geringste Schulung aller vorherigen Methoden.

LoRA-X ist ein weiterer Eintrag in der Reihe der Parameter-Efficient-Fine-Tuning (PEFT)-Methoden, die die Herausforderung angehen, große vorgefertigte Modelle an spezifische Aufgaben ohne umfangreiche Neuschulung anzupassen. Dieser konzeptionelle Ansatz zielt darauf ab, eine minimale Anzahl von Parametern zu modifizieren, während die Leistung aufrechterhalten wird.

Bemerkenswert sind:

X-Adapter

Das X-Adapter-Framework überträgt feinabgestimmte Adapter zwischen Modellen mit einer bestimmten Menge an Neuschulung. Das System zielt darauf ab, vorgefertigte Plug-and-Play-Module (wie ControlNet und LoRA) von einem Basis-Diffusionsmodell (d. h. Stable Diffusion v1.5) auf ein aktualisiertes Diffusionsmodell wie SDXL ohne Neuschulung zu übertragen – und wirkt effektiv als “Universal-Upgrader” für Plug-ins.

Dies wird erreicht, indem ein zusätzliches Netzwerk trainiert wird, das das aktualisierte Modell steuert, unter Verwendung einer gefrorenen Kopie des Basismodells, um Plug-in-Stecker zu erhalten:

Schema für X-Adapter. Quelle: https://arxiv.org/pdf/2312.02238

X-Adapter wurde ursprünglich entwickelt und getestet, um Adapter von SD1.5 auf SDXL zu übertragen, während LoRA-X eine breitere Vielfalt von Transliterationen anbietet.

DoRA (Weight-Decomposed Low-Rank Adaptation)

DoRA ist eine verbesserte Feinabstimmungsmethode, die LoRA durch eine Gewichtszerlegungsstrategie verbessert, die der vollständigen Feinabstimmung näher kommt:

DoRA ändert nicht nur die grundlegenden Parameter der Gewichte, wie Größe und Richtung. Quelle: https://arxiv.org/pdf/2402.09353

DoRA konzentriert sich auf die Verbesserung des Feinabstimmungsprozesses selbst, indem es die Gewichte des Modells in Größe und Richtung zerlegt (siehe Bild oben). Stattdessen konzentriert sich LoRA-X auf die Übertragung bestehender feinabgestimmter Parameter zwischen verschiedenen Basismodellen.

Jedoch nutzt der LoRA-X-Ansatz die “Projektions”-Techniken, die für DORA entwickelt wurden, und behauptet in Tests gegen dieses ältere System eine verbesserte DINO-Bewertung.

FouRA (Fourier Low Rank Adaptation)

Veröffentlicht im Juni 2024, kommt die FouRA-Methode wie LoRA-X von Qualcomm AI Research und teilt einige der Testanregungen und -themen.

Beispiele für Verteilungskollaps in LoRA, aus dem 2024er FouRA-Papier, unter Verwendung des Realistic Vision 3.0-Modells, das mit LoRA und FouRA für “Blue Fire”- und “Origami”-Stil-Adapter über vier Samen trainiert wurde. LoRA-Bilder zeigen Verteilungskollaps und verringerte Vielfalt, während FouRA vielfältigere Ausgaben erzeugt. Quelle: https://arxiv.org/pdf/2406.08798

FouRA konzentriert sich auf die Verbesserung der Vielfalt und Qualität der erzeugten Bilder, indem es LoRA im Frequenzbereich mit einem Fourier-Transformationsansatz anpasst.

Hier, wiederum, konnte LoRA-X bessere Ergebnisse als der Fourier-basierte Ansatz von FouRA erzielen.

Obwohl beide Frameworks in die PEFT-Kategorie fallen, haben sie sehr unterschiedliche Anwendungsfälle und Ansätze; in diesem Fall ist FouRA möglicherweise “die Zahlen aufmachend” für eine Testrunde mit begrenzten gleichartigen Rivalen für die Autoren des neuen Papiers.

SVDiff

SVDiff hat andere Ziele als LoRA-X, aber wird stark im neuen Papier genutzt. SVDiff ist darauf ausgelegt, die Effizienz der Feinabstimmung von Diffusionsmodellen zu verbessern und ändert direkt Werte in den Gewichtsmatrizen des Modells, während die singulären Vektoren unverändert bleiben. SVDiff verwendet abgeschnittene SVD, ändert nur die größten Werte, um die Gewichte des Modells anzupassen.

Dieser Ansatz verwendet eine Datenverstärkungstechnik namens Cut-Mix-Unmix:

Mehrfach-Subjekt-Generierung funktioniert als Konzept-Isolierungssystem in SVDiff. Quelle: https://arxiv.org/pdf/2303.11305

Cut-Mix-Unmix ist darauf ausgelegt, dem Diffusionsmodell zu helfen, mehrere unterschiedliche Konzepte zu lernen, ohne sie zu vermischen. Die grundlegende Idee besteht darin, Bilder von verschiedenen Subjekten zu einem einzigen Bild zu kombinieren. Dann wird das Modell mit Anregungen trainiert, die die getrennten Elemente im Bild explizit beschreiben. Dies zwingt das Modell, unterschiedliche Konzepte zu erkennen und zu erhalten, anstatt sie zu vermischen.

Während des Trainings hilft ein zusätzlicher Regularisierungsterm dabei, eine Interferenz zwischen Subjekten zu verhindern. Die Theorie der Autoren besagt, dass dies eine verbesserte Mehrfach-Subjekt-Generierung ermöglicht, bei der jedes Element visuell unterschiedlich bleibt, anstatt zu verschmelzen.

SVDiff, ausgeschlossen aus der LoRA-X-Testrunde, zielt darauf ab, einen kompakten Parameterraum zu schaffen. LoRA-X konzentriert sich hingegen auf die Übertragbarkeit von LoRA-Parametern zwischen verschiedenen Basismodellen, indem es innerhalb des Subraums des ursprünglichen Modells operiert.

Schlussfolgerung

Die hier diskutierten Methoden sind nicht die einzigen Bewohner von PEFT. Andere umfassen QLoRA und QA-LoRA; Prefix-Tuning; Prompt-Tuning; und Adapter-Tuning, um nur einige zu nennen.

Das “upgradefähige LoRA” ist vielleicht eine alchemistische Verfolgung; sicherlich gibt es nichts, was in naher Zukunft die LoRA-Modelle daran hindern wird, ihre alten Datensätze erneut herauszunehmen, um die neuesten und besten Gewichte zu erhalten. Wenn es ein mögliches Prototyp-Standard für Gewichtsrevisionen gibt, das in der Lage ist, Änderungen in der Architektur und die Aufblähung von Parametern zwischen Modellversionen zu überstehen, ist es in der Literatur noch nicht aufgetaucht und wird weiterhin aus den Daten auf pro-Modell-Basis extrahiert werden müssen.

Erstveröffentlicht am Donnerstag, den 30. Januar 2025