Der Kampf um Zero-Shot-Anpassung in generativer KI

Wenn Sie sich in ein beliebtes Bild- oder Video-Generierungstool einfügen möchten, aber noch nicht berühmt genug sind, um vom Grundmodell erkannt zu werden, müssen Sie ein Low-Rank-Adaptations (LoRA)-Modell mit einer Sammlung Ihrer eigenen Fotos trainieren. Sobald erstellt, ermöglicht dieses personalisierte LoRA-Modell dem generativen Modell, Ihre Identität in zukünftigen Ausgaben zu berücksichtigen.

Dies wird im Bereich der Bild- und Videosynthese allgemein als Anpassung bezeichnet. Es entstand einige Monate nach dem Erscheinen von Stable Diffusion im Sommer 2022, als Google Research das DreamBooth-Projekt vorstellte, das hochauflösende Anpassungsmodelle in einem Closed-Source-Schema bereitstellte, das bald von Enthusiasten adaptiert und der Community zur Verfügung gestellt wurde.

LoRA-Modelle folgten schnell und boten einfacheres Training und deutlich geringere Dateigrößen bei minimalen oder keinen Qualitätsverlusten, was sie schnell zum dominanten Anpassungsszenario für Stable Diffusion und seine Nachfolger machte, später auch für Modelle wie Flux und jetzt auch für neue generative Video-Modelle wie Hunyuan Video und Wan 2.1.

Wiederholen und Anpassen

Das Problem ist, wie wir bereits festgestellt haben, dass bei jedem neuen Modell eine neue Generation von LoRAs trainiert werden muss, was für LoRA-Produzenten erhebliche Reibungen darstellt, die möglicherweise eine Reihe von benutzerdefinierten Modellen trainieren, nur um festzustellen, dass ein Modell-Update oder ein populäres neueres Modell bedeutet, dass sie von vorne beginnen müssen.

Daher sind Zero-Shot-Anpassungsansätze in der Literatur zu einem starken Strang geworden. In diesem Szenario müssen Sie anstelle von Datenkuratierung und Training Ihres eigenen Submodells einfach ein oder mehrere Fotos des zu injizierenden Subjekts bereitstellen, und das System interpretiert diese Eingabequellen in eine gemischte Ausgabe.

Unten sehen wir, dass neben Gesichtsersetzung ein System dieser Art (hier mit PuLID) auch ID-Werte in Style-Transfer einbeziehen kann:

Beispiele für Gesichts-ID-Übertragung mit dem PuLID-System. Quelle: https://github.com/ToTheBeginning/PuLID?tab=readme-ov-file

Während die Ersetzung eines arbeitsintensiven und fragilen Systems wie LoRA durch einen generischen Adapter eine großartige (und beliebte) Idee ist, ist es auch herausfordernd; die extreme Aufmerksamkeit für Details und Abdeckung, die im LoRA-Trainingsprozess erzielt wird, ist sehr schwierig zu imitieren in einem Ein-Schuss-IP-Adapter-ähnlichen Modell, das LoRAs Detail- und Flexibilitätsniveau ohne den Vorteil der Analyse einer umfassenden Menge von Identitätsbildern erreichen muss.

HyperLoRA

Mit diesem im Hinterkopf gibt es einen interessanten neuen Paper von ByteDance, der ein System vorschlägt, das tatsächliche LoRA-Code on-the-fly generiert, was derzeit unter Zero-Shot-Lösungen einzigartig ist:

Links, Eingabebilder. Rechts davon, eine flexible Reihe von Ausgaben basierend auf den Quellbildern, effektiv Deepfakes von den Schauspielern Anthony Hopkins und Anne Hathaway erzeugend. Quelle: https://arxiv.org/pdf/2503.16944

Der Paper besagt:

‘Adapter-basierte Techniken wie IP-Adapter frieren die Parameter des Grundmodells ein und verwenden eine Plug-in-Architektur, um Zero-Shot-Schätzung zu ermöglichen, aber sie zeigen oft einen Mangel an Natürlichkeit und Authentizität, die in Porträtsynthese-Aufgaben nicht zu vernachlässigen sind.

‘[Wir] stellen eine parameter-effiziente adaptive Generierungsmethode vor, genannt HyperLoRA, die ein adaptives Plug-in-Netzwerk verwendet, um LoRA-Gewichte zu generieren, die die überlegene Leistung von LoRA mit der Zero-Shot-Fähigkeit des Adapter-Schemas verbindet.

‘Durch unsere sorgfältig konzipierte Netzwerkstruktur und Trainingsstrategie erreichen wir Zero-Shot-Personalisierung von Porträts (unterstützt sowohl Einzel- als auch Mehrfachbild-Eingaben) mit hoher Photorealität, Fidelität und Editierbarkeit.’

Am nützlichsten ist, dass das System, wie trainiert, mit bestehendem ControlNet verwendet werden kann, was eine hohe Spezifität in der Generierung ermöglicht:

Timothy Chalomet macht einen unerwartet fröhlichen Auftritt in ‘The Shining’ (1980), basierend auf drei Eingabebildern in HyperLoRA, mit einer ControlNet-Maske, die die Ausgabe definiert (in Verbindung mit einem Text-Prompt).

Was die Frage angeht, ob das neue System jemals für Endbenutzer verfügbar gemacht wird, hat ByteDance eine vernünftige Bilanz in dieser Hinsicht, da es das sehr leistungsstarke LatentSync-Lip-Sync-Framework veröffentlicht hat und kürzlich auch das InfiniteYou-Framework veröffentlicht hat.

Negativ ist, dass der Paper keine Absicht zur Veröffentlichung angibt, und die Trainingsressourcen, die zur Nachbildung der Arbeit benötigt werden, so exorbitant sind, dass es für die Enthusiasten-Community eine Herausforderung darstellen würde (wie es bei DreamBooth der Fall war).

Der neue Paper trägt den Titel HyperLoRA: Parameter-Effiziente Adaptive Generierung für Porträtsynthese und stammt von sieben Forschern aus ByteDance und ByteDances speziellem Intelligent Creation-Department.

Methode

Die neue Methode nutzt das Stable-Diffusion-Latent-Diffusionsmodell (LDM) SDXL als Grundmodell, obwohl die Prinzipien auf Diffusionsmodelle im Allgemeinen anwendbar scheinen (allerdings könnten die Trainingsanforderungen – siehe unten – es schwierig machen, sie auf generative Video-Modelle anzuwenden).

Der Trainingsprozess für HyperLoRA ist in drei Stufen unterteilt, die jeweils darauf ausgelegt sind, bestimmte Informationen in den gelernten Gewichten zu isolieren und zu bewahren. Das Ziel dieses ringförmigen Verfahrens ist es, identitätsrelevante Merkmale vor irrelevanten Elementen wie Kleidung oder Hintergrund zu schützen und gleichzeitig eine schnelle und stabile Konvergenz zu erreichen.

Konzeptuelles Schema für HyperLoRA. Das Modell ist in ‘Hyper-ID-LoRA’ für Identitätsmerkmale und ‘Hyper-Basis-LoRA’ für Hintergrund und Kleidung unterteilt. Diese Trennung reduziert Merkmalslecks.

Die erste Stufe konzentriert sich ausschließlich auf das Lernen eines ‘Basis-LoRA’ (unten links im Schema-Bild oben), das identitätsirrelevante Details erfasst.

Um diese Trennung durchzusetzen, haben die Forscher das Gesicht in den Trainingsbildern absichtlich verschwommen, sodass das Modell sich auf Dinge wie Hintergrund, Beleuchtung und Pose konzentrieren konnte – aber nicht auf Identität. Diese ‘Warm-up’-Stufe dient als Filter, der vor der Identitäts-spezifischen Lernphase low-level-Ablenkungen entfernt.

In der zweiten Stufe wird ein ‘ID-LoRA’ (oben links im Schema-Bild oben) eingeführt. Hier werden Gesichts-Identitätsmerkmale mithilfe zweier paralleler Pfade kodiert: ein CLIP-Vision-Transformer (CLIP-ViT) für strukturelle Merkmale und der InsightFace-AntelopeV2-Encoder für abstraktere Identitätsrepräsentationen.

Übergangsansatz

CLIP-Merkmale helfen dem Modell, schnell zu konvergieren, aber riskieren Überanpassung, während Antelope-Einbettungen stabiler sind, aber langsamer zu trainieren. Daher beginnt das System damit, sich stärker auf CLIP zu verlassen, und integriert allmählich Antelope, um Instabilität zu vermeiden.

In der finalen Stufe werden die CLIP-gesteuerten Aufmerksamkeitsschichten vollständig eingefroren. Nur die AntelopeV2-verbundenen Aufmerksamkeitsmodule setzen das Training fort, was dem Modell ermöglicht, Identitätsbewahrung zu verfeinern, ohne die Fidelität oder Allgemeingültigkeit der zuvor gelernten Komponenten zu beeinträchtigen.

Dieser phasenweise Aufbau ist im Wesentlichen ein Versuch der Entflechtung. Identitäts- und Nicht-Identitätsmerkmale werden zunächst getrennt und dann unabhängig verfeinert. Es ist eine methodische Reaktion auf die üblichen Fehlmodi der Personalisierung: Identitätsdrift, geringe Editierbarkeit und Überanpassung an zufällige Merkmale.

Während Sie Warten

Nachdem CLIP-ViT und AntelopeV2 sowohl strukturelle als auch identitäts-spezifische Merkmale aus einem gegebenen Porträt extrahiert haben, werden die erhaltenen Merkmale durch einen Perceiver-Resampler (abgeleitet vom oben erwähnten IP-Adapter-Projekt) geleitet – ein transformer-basiertes Modul, das die Merkmale auf eine kompakten Satz von Koeffizienten kartiert.

Zwei separate Resampler werden verwendet: einer für die Generierung von Basis-LoRA-Gewichten (die Hintergrund und nicht-Identitäts-Elemente kodieren) und ein anderer für ID-LoRA-Gewichte (die sich auf Gesichts-Identität konzentrieren).

Schema für die HyperLoRA-Netzwerkstruktur.

Die Ausgangskoeffizienten werden dann linear mit einer Menge von gelernten LoRA-Basis-Matrizen kombiniert, um vollständige LoRA-Gewichte zu erzeugen, ohne dass eine Feinabstimmung des Grundmodells erforderlich ist.

Dieser Ansatz ermöglicht es dem System, personalisierte Gewichte ganz auf die Schnelle zu generieren, indem es nur Bild-Encoder und leichte Projektion verwendet, während es gleichzeitig LoRAs Fähigkeit nutzt, das Verhalten des Grundmodells direkt zu modifizieren.

Daten und Tests

Um HyperLoRA zu trainieren, verwendeten die Forscher eine Teilmenge von 4,4 Millionen Gesichtsbildern aus dem LAION-2B-Datensatz (jetzt am besten bekannt als Datenquelle für die ursprünglichen 2022 Stable-Diffusion-Modelle).

InsightFace wurde verwendet, um Nicht-Porträt-Gesichter und Mehrfachbilder auszufiltern. Die Bilder wurden dann mit dem BLIP-2-Beschriftungssystem annotiert.

In Bezug auf Datenvergrößerung wurden die Bilder zufällig um das Gesicht herum beschnitten, aber immer auf die Gesichtsregion fokussiert.

Die jeweiligen LoRA-Ränge mussten sich an das im Trainingssetup verfügbare Speicher anpassen. Daher wurde der LoRA-Rang für ID-LoRA auf 8 und der Rang für Basis-LoRA auf 4 gesetzt, während achtstufige Gradientenakkumulation verwendet wurde, um eine größere Batch-Größe zu simulieren, als tatsächlich auf der Hardware möglich war.

Die Forscher trainierten die Basis-LoRA-, ID-LoRA- (CLIP) und ID-LoRA- (Identitäts-Einbettung) Module sequentiell für 20.000, 15.000 und 55.000 Iterationen. Während des ID-LoRA-Trainings wurden drei Bedingungen mit Wahrscheinlichkeiten von 0,9, 0,05 und 0,05 ausprobiert.

Das System wurde mit PyTorch und Diffusers implementiert, und der gesamte Trainingsprozess dauerte etwa zehn Tage auf 16 NVIDIA-A100-GPUs*.

ComfyUI-Tests

Die Autoren bauten Workflows in der ComfyUI-Synthese-Plattform, um HyperLoRA mit drei Rivalen-Methoden zu vergleichen: InstantID; das oben erwähnte IP-Adapter im Rahmen des IP-Adapter-FaceID-Portrait-Frameworks; und das oben erwähnte PuLID. Konsistente Samen, Prompts und Stichprobenmethoden wurden über alle Frameworks hinweg verwendet.

Die Autoren bemerken, dass Adapter-basierte (im Gegensatz zu LoRA-basierten) Methoden im Allgemeinen niedrigere Klassifizierungs-freie Führung (CFG) Skalen erfordern, während LoRA (einschließlich HyperLoRA) in dieser Hinsicht nachgiebiger ist.

Um einen fairen Vergleich zu ermöglichen, verwendeten die Forscher die Open-Source-SDXL-Feinabstimmungs-Checkpoint-Variante LEOSAMs Hello World über die Tests hinweg. Für quantitative Tests wurde das Unsplash-50-Bild-Datensatz verwendet.

Metriken

Für einen Fidelitäts-Benchmark maßen die Autoren die Gesichtsähnlichkeit mithilfe von Kosinus-Abständen zwischen CLIP-Bild-Einbettungen (CLIP-I) und separaten Identitäts-Einbettungen (ID-Sim), die über CurricularFace extrahiert wurden, einem Modell, das während des Trainings nicht verwendet wurde.

Jedes Verfahren generierte vier hochauflösende Porträts pro Identität im Test-Set, mit Ergebnissen, die dann gemittelt wurden.

Die Editierbarkeit wurde in beiden Fällen bewertet, indem CLIP-I-Scores zwischen Ausgaben mit und ohne Identitäts-Module verglichen wurden (um zu sehen, wie sehr die Identitäts-Beschränkungen das Bild veränderten); und indem CLIP-Bild-Text-Abstimmung (CLIP-T) über zehn Prompt-Variationen hinweg gemessen wurde, die Hairstile, Zubehör, Kleidung und Hintergründe abdeckten.

Die Autoren schlossen das Arc2Face-Grundmodell in die Vergleiche ein – ein Basismodell, das auf festen Beschriftungen und beschnittenen Gesichtsregionen trainiert wurde.

Bei HyperLoRA wurden zwei Varianten getestet: eine, die nur das ID-LoRA-Modul verwendete, und eine andere, die sowohl ID- als auch Basis-LoRA verwendete, wobei Letztere mit 0,4 gewichtet wurde. Während Basis-LoRA die Fidelität verbesserte, begrenzte es die Editierbarkeit leicht.

Ergebnisse für den ersten quantitativen Vergleich.

Von den quantitativen Tests bemerken die Autoren:

‘Basis-LoRA hilft, die Fidelität zu verbessern, aber begrenzt die Editierbarkeit. Obwohl unser Design die Bildmerkmale in verschiedene LoRAs aufteilt, ist es schwer, eine gegenseitige Beeinträchtigung zu vermeiden. Daher können wir das Gewicht von Basis-LoRA anpassen, um es an verschiedene Anwendungsszenarien anzupassen.

‘Unser HyperLoRA (Voll und ID) erreichen die beste und zweitbeste Gesichtsfidelität, während InstantID eine Überlegenheit in Gesichts-ID-Ähnlichkeit zeigt, aber eine geringere Gesichtsfidelität.

‘Beide Metriken sollten zusammen betrachtet werden, um die Fidelität zu bewerten, da die Gesichts-ID-Ähnlichkeit abstrakter und die Gesichtsfidelität mehr Details widerspiegelt.’

In qualitativen Tests treten die verschiedenen Kompromisse, die in der grundlegenden Aussage enthalten sind, in den Vordergrund (bitte beachten Sie, dass wir nicht genug Platz haben, um alle Bilder für qualitative Ergebnisse zu reproduzieren, und verweisen den Leser auf den Quellen-Paper für mehr Bilder in besserer Auflösung):

Qualitativer Vergleich. Von oben nach unten, die verwendeten Prompts: ‘weißes Hemd’ und ‘Wolfs-Ohren’ (siehe Paper für weitere Beispiele).

Hier bemerken die Autoren:

‘Die Haut von Porträts, die von IP-Adapter und InstantID generiert wurden, hat eine offensichtliche künstlich erzeugte Textur, die ein bisschen übergesättigt ist und weit von Photorealismus entfernt ist.

‘Es ist ein häufiger Nachteil von Adapter-basierten Methoden. PuLID verbessert dieses Problem, indem es die Störung des Grundmodells schwächt, und übertrifft IP-Adapter und InstantID, aber leidet immer noch unter Verwischung und Mangel an Details.

‘Im Gegensatz dazu modifiziert LoRA direkt die Gewichte des Grundmodells, anstatt externe Aufmerksamkeitsmodule einzuführen, und generiert normalerweise hoch detaillierte und photorealistische Bilder.’

Die Autoren behaupten, dass HyperLoRA, da es die Grundmodell-Gewichte direkt modifiziert, anstatt auf externe Aufmerksamkeitsmodule zu vertrauen, die nicht-lineare Kapazität traditioneller LoRA-basierter Methoden beibehält, was möglicherweise einen Vorteil in Fidelität und eine verbesserte Erfassung von feinen Details wie Pupillenfarbe bietet.

In qualitativen Vergleichen behauptet der Paper, dass HyperLoRAs Layouts kohärenter und besser mit Prompts ausgerichtet waren und denen von PuLID ähnelten, während sie deutlich stärker waren als InstantID oder IP-Adapter (die gelegentlich Schwierigkeiten hatten, Prompts zu befolgen oder unnatürliche Kompositionen produzierten).

Weitere Beispiele für ControlNet-Generationen mit HyperLoRA.

Schlussfolgerung

Der ständige Strom verschiedener Ein-Schuss-Anpassungssysteme in den letzten 18 Monaten hat inzwischen eine Qualität der Verzweiflung angenommen. Nur wenige der Angebote haben einen bemerkenswerten Fortschritt im Stand der Technik erzielt; und diejenigen, die ihn ein wenig vorangebracht haben, haben oft exorbitante Trainingsanforderungen und/oder extrem komplexe oder ressourcenintensive Inferenzanforderungen.

Während HyperLoRAs eigenes Trainingsregime so atemberaubend ist wie viele der jüngsten ähnlichen Einträge, endet man zumindest mit einem Modell, das ad-hoc-Anpassung aus der Box heraus handhaben kann.

Aus dem ergänzenden Material des Papiers geht hervor, dass die Inferenzgeschwindigkeit von HyperLoRA besser ist als die von IP-Adapter, aber schlechter als die der beiden anderen früheren Methoden – und dass diese Zahlen auf einem NVIDIA-V100-GPU basieren, der keine typische Consumer-Hardware ist (obwohl neuere ‘domestische’ NVIDIA-GPUs dies Maximum von 32 GB VRAM erreichen oder übertreffen können).

Die Inferenzgeschwindigkeiten der konkurrierenden Methoden in Millisekunden.

Es ist fair zu sagen, dass Zero-Shot-Anpassung immer noch ein ungelöstes Problem aus praktischer Sicht darstellt, da HyperLoRAs erhebliche Hardware-Anforderungen möglicherweise im Widerspruch zu seiner Fähigkeit stehen, ein wirklich langfristiges Ein-Grundmodell zu produzieren.

* Entweder 640 GB oder 1280 GB VRAM, je nachdem, welches Modell verwendet wurde (dies wird nicht angegeben)

Erstveröffentlichung Montag, 24. März 2025