In den letzten Jahren haben feinabgestimmte Diffusionsmodelle bemerkenswerte Fortschritte in einer Vielzahl von Bildpersonalisierungs- und Anpassungsaufgaben erzielt. Allerdings stehen aktuelle feinabgestimmte Diffusionsmodelle trotz ihres Potenzials vor einer Reihe komplexer Herausforderungen bei der Erzeugung und Generierung von stil-konsistenten Bildern, und es gibt möglicherweise drei Gründe dafür. Erstens bleibt das Konzept von Stil weitgehend undefiniert und unbestimmt und umfasst eine Kombination von Elementen, einschließlich Atmosphäre, Struktur, Design, Material, Farbe und vielem mehr. Zweitens sind invertierende Methoden anfällig für Stilverschlechterung, was zu häufigem Verlust feinkörniger Details führt. Schließlich erfordern adapterbasierte Ansätze häufiges Gewichts-Feinabstimmen für jedes Referenzbild, um eine Balance zwischen Textsteuerbarkeit und Stilintensität zu gewährleisten.

Darüber hinaus ist das primäre Ziel der meisten Stil-Transfer-Ansätze oder Stil-Bild-Generierung die Verwendung des Referenzbildes und die Anwendung seines spezifischen Stils aus einer gegebenen Teilmenge oder Referenzbild auf ein Ziel-Inhaltsbild. Allerdings macht die Vielzahl von Attributen des Stils die Aufgabe für Forscher schwierig, stilisierte Datensätze zu sammeln, den Stil richtig darzustellen und den Erfolg des Transfers zu bewerten. Zuvor haben Modelle und Frameworks, die mit feinabgestimmten Diffusionsprozessen arbeiten, die Datensätze von Bildern feinabgestimmt, die einen gemeinsamen Stil teilen, ein Prozess, der sowohl zeitaufwändig als auch begrenzt in der Allgemeingültigkeit in realen Aufgaben ist, da es schwierig ist, eine Teilmenge von Bildern zu sammeln, die denselben oder fast identischen Stil teilen.

In diesem Artikel werden wir über InstantStyle sprechen, ein Framework, das entwickelt wurde, um die Probleme zu lösen, mit denen die aktuellen feinabgestimmten Diffusionsmodelle für Bildgenerierung und Anpassung konfrontiert sind. Wir werden über die zwei Schlüsselstrategien sprechen, die vom InstantStyle-Framework implementiert werden:

1. Ein einfacher, aber effektiver Ansatz, um Stil und Inhalt von Referenzbildern im Merkmalsraum zu entkoppeln, basierend auf der Annahme, dass Merkmale innerhalb desselben Merkmalsraums entweder addiert oder subtrahiert werden können.
2. Verhinderung von Stil-Lecks durch Einspritzung der Referenzbild-Merkmale ausschließlich in die stil-spezifischen Blöcke und Vermeidung der Notwendigkeit, umständliche Gewichte für Feinabstimmung zu verwenden, die oft mehr parameter-intensiven Designs charakterisieren.

Dieser Artikel zielt darauf ab, das InstantStyle-Framework in der Tiefe abzudecken und wir werden die Mechanismen, Methodik, Architektur des Frameworks sowie seinen Vergleich mit State-of-the-Art-Frameworks erkunden. Wir werden auch über die bemerkenswerten visuellen Stil-Resultate sprechen, die das InstantStyle-Framework demonstriert, und wie es eine optimale Balance zwischen der Steuerbarkeit von Text-Elementen und der Intensität des Stils schafft. Also los geht’s.

InstantStyle: Stil-Erhaltung in der Text-zu-Bild-Generierung

Diffusions-basierte Text-zu-Bild-Generierungs-Frameworks haben bemerkenswerte Erfolge in einer Vielzahl von Anpassungs- und Personalisierungsaufgaben erzielt, insbesondere in konsistenten Bildgenerierungsaufgaben, einschließlich Objekt-Anpassung, Bild-Erhaltung und Stil-Transfer. Allerdings bleibt der Stil-Transfer trotz der jüngsten Erfolge und Leistungssteigerungen eine Herausforderung für Forscher, da der Stil undefiniert und unbestimmt ist und oft eine Vielzahl von Elementen umfasst, einschließlich Atmosphäre, Struktur, Design, Material, Farbe und vielem mehr. Mit anderen Worten, das primäre Ziel der stilisierten Bildgenerierung oder des Stil-Transfers ist die Anwendung des spezifischen Stils aus einem gegebenen Referenzbild oder einer Referenz-Teilmenge von Bildern auf ein Ziel-Inhaltsbild. Allerdings macht die Vielzahl von Attributen des Stils die Aufgabe für Forscher schwierig, stilisierte Datensätze zu sammeln, den Stil richtig darzustellen und den Erfolg des Transfers zu bewerten. Zuvor haben Modelle und Frameworks, die mit feinabgestimmten Diffusionsprozessen arbeiten, die Datensätze von Bildern feinabgestimmt, die einen gemeinsamen Stil teilen, ein Prozess, der sowohl zeitaufwändig als auch begrenzt in der Allgemeingültigkeit in realen Aufgaben ist, da es schwierig ist, eine Teilmenge von Bildern zu sammeln, die denselben oder fast identischen Stil teilen.

Mit den Herausforderungen, die der aktuellen Ansatz gegenübersteht, haben Forscher Interesse an der Entwicklung von Feinabstimmungsansätzen für Stil-Transfer oder stilisierte Bildgenerierung entwickelt, und diese Frameworks können in zwei verschiedene Gruppen unterteilt werden:

• Adapter-freie Ansätze: Adapter-freie Ansätze und Frameworks nutzen die Kraft der Selbst-Aufmerksamkeit innerhalb des Diffusionsprozesses, und durch die Implementierung einer gemeinsamen Aufmerksamkeitsoperation können diese Modelle wesentliche Merkmale wie Schlüssel und Werte aus einem gegebenen Referenz-Stil-Bild direkt extrahieren.

• Adapter-basierte Ansätze: Adapter-basierte Ansätze und Frameworks andererseits integrieren ein leichtes Modell, das detaillierte Bild-Darstellungen aus den Referenz-Stil-Bildern extrahiert. Das Framework integriert diese Darstellungen dann geschickt in den Diffusionsprozess mithilfe von Kreuz-Aufmerksamkeitsmechanismen. Das primäre Ziel des Integrationsprozesses ist es, den Generierungsprozess zu leiten und sicherzustellen, dass das resultierende Bild mit den gewünschten stilistischen Nuancen des Referenzbildes übereinstimmt.

Allerdings stehen auch tuning-freie Methoden vor einigen Herausforderungen. Erstens erfordert der adapter-freie Ansatz den Austausch von Schlüssel- und Wert-Matrizen innerhalb der Selbst-Aufmerksamkeits-Schichten und prä-kodiert die Schlüssel- und Wert-Matrizen, die aus den Referenz-Stil-Bildern abgeleitet werden. Wenn diese Ansätze auf natürliche Bilder angewendet werden, erfordert der adapter-freie Ansatz die Inversion des Bildes zurück zum latenten Rauschen mithilfe von Techniken wie DDIM oder Denoising-Diffusion-Implizit-Modell-Inversion. Allerdings kann die Verwendung von DDIM oder anderen Inversionsansätzen zu einem Verlust feinkörniger Details wie Farbe und Textur führen, wodurch die Stil-Informationen in den generierten Bildern verringert werden. Darüber hinaus ist der zusätzliche Schritt, der durch diese Ansätze eingeführt wird, ein zeitaufwändiger Prozess und kann in praktischen Anwendungen erhebliche Nachteile aufweisen. Andererseits liegt die primäre Herausforderung für adapter-basierte Methoden in der Balance zwischen Kontext-Leckage und Stil-Intensität. Kontext-Leckage tritt auf, wenn eine Erhöhung der Stil-Intensität zu einem Auftreten von nicht-stilistischen Elementen aus dem Referenzbild im generierten Ausgang führt, wobei der primäre Schwierigkeitspunkt darin besteht, Stile von Inhalten innerhalb des Referenzbildes effektiv zu trennen. Um dieses Problem zu lösen, konstruieren einige Frameworks gepaarte Datensätze, die dasselbe Objekt in verschiedenen Stilen darstellen, was die Extraktion von Inhalt-Darstellungen und entkoppelten Stilen erleichtert. Allerdings ist die Aufgabe der Erstellung großer, gepaarter Datensätze aufgrund der inhärenten, unbestimmten Repräsentation von Stil in Bezug auf die Vielfalt der Stile, die sie erfassen kann, begrenzt und ein ressourcen-intensiver Prozess.

Um diese Einschränkungen zu überwinden, wird das InstantStyle-Framework eingeführt, das ein neuartiges, tuning-freies Mechanismus auf der Grundlage bestehender adapter-basierter Methoden ist, mit der Fähigkeit, nahtlos mit anderen, aufmerksamkeits-basierten Injektionsmethoden zu integrieren und die Entkopplung von Inhalt und Stil effektiv zu erreichen. Darüber hinaus führt das InstantStyle-Framework nicht nur eine, sondern zwei effektive Wege zur Entkopplung von Stil und Inhalt ein, um eine bessere Stil-Migration ohne die Notwendigkeit, zusätzliche Methoden zur Entkopplung oder die Erstellung von gepaarten Datensätzen zu verwenden, zu erreichen.

Darüber hinaus haben vorherige adapter-basierte Frameworks in CLIP-basierten Methoden als Bild-Merkmal-Extraktor breite Anwendung gefunden, und einige Frameworks haben die Möglichkeit erforscht, die Merkmal-Entkopplung innerhalb des Merkmal-Raums zu implementieren, und im Vergleich zur Unbestimmtheit des Stils ist es einfacher, den Inhalt mit Text zu beschreiben. Da Bilder und Texte in CLIP-basierten Methoden einen gemeinsamen Merkmal-Raum teilen, kann eine einfache Subtraktions-Operation der Kontext-Text-Merkmale und Bild-Merkmale die Inhalt-Leckage erheblich reduzieren. Darüber hinaus gibt es in den meisten Diffusions-Modellen eine bestimmte Schicht in ihrer Architektur, die die Stil-Informationen injiziert und die Entkopplung von Inhalt und Stil durch die Injektion von Bild-Merkmalen nur in bestimmte Stil-Blöcke erreicht. Durch die Implementierung dieser beiden einfachen Strategien kann das InstantStyle-Framework die Inhalt-Leckage-Probleme, die die meisten bestehenden Frameworks aufweisen, lösen, während es die Stärke des Stils beibehält.

Zusammenfassend verwendet das InstantStyle-Framework zwei einfache, aber effektive Mechanismen, um eine effektive Entkopplung von Inhalt und Stil von Referenzbildern zu erreichen. Das Instant-Style-Framework ist ein modell-unabhängiger und tuning-freier Ansatz, der bemerkenswerte Leistungen in Stil-Transfer-Aufgaben mit großem Potenzial für nachgelagerte Aufgaben demonstriert.

Instant-Style: Methodik und Architektur

Wie durch vorherige Ansätze demonstriert, gibt es eine Balance in der Injektion von Stil-Bedingungen in tuning-freien Diffusions-Modellen. Wenn die Intensität der Bild-Bedingung zu hoch ist, kann dies zu Inhalt-Leckage führen, während eine zu niedrige Intensität der Bild-Bedingung dazu führen kann, dass der Stil nicht deutlich genug erscheint. Ein wichtiger Grund für diese Beobachtung ist, dass in einem Bild Stil und Inhalt miteinander verknüpft sind und aufgrund der inhärenten, unbestimmten Stil-Attribute schwierig zu entkoppeln sind. Als Ergebnis werden oft sorgfältige Gewichte für jedes Referenzbild abgestimmt, um eine Balance zwischen Text-Steuerbarkeit und Stil-Intensität zu gewährleisten. Darüber hinaus wird für ein gegebenes Eingabe-Referenzbild und seine entsprechende Text-Beschreibung in den invertierenden Methoden die Inversions-Annäherung wie DDIM über das Bild angewendet, um die invertierte Diffusions-Trajektorie zu erhalten, ein Prozess, der die Inversions-Gleichung approximiert, um ein Bild in eine latente Rausch-Darstellung umzuwandeln. Aufbauend auf diesem und beginnend von der invertierten Diffusions-Trajektorie zusammen mit einem neuen Satz von Prompts, generieren diese Methoden neues Inhalt mit seinem Stil, der mit dem Eingabe-Referenzbild übereinstimmt. Allerdings, wie in der folgenden Abbildung gezeigt, ist die DDIM-Inversions-Annäherung für reale Bilder oft instabil, da sie auf lokalen Linearisierungs-Annahmen basiert, was zu einer Ausbreitung von Fehlern und einem Verlust von Inhalt und falscher Bild-Rekonstruktion führt.

Kommend zur Methodik, anstelle von komplexen Strategien zur Entkopplung von Inhalt und Stil aus Bildern, nimmt das Instant-Style-Framework den einfachsten Ansatz, um ähnliche Leistungen zu erzielen. Im Vergleich zu den unbestimmten Stil-Attributen kann der Inhalt durch natürlichen Text dargestellt werden, was es dem Instant-Style-Framework ermöglicht, den Text-Encoder von CLIP zu verwenden, um die Merkmale des Inhalt-Textes als Kontext-Darstellungen zu extrahieren. Gleichzeitig implementiert das Instant-Style-Framework den CLIP-Bild-Encoder, um die Merkmale des Referenzbildes zu extrahieren. Durch die Nutzung der Charakterisierung von CLIP-Global-Merkmalen und die anschließende Subtraktion der Inhalt-Text-Merkmale von den Bild-Merkmalen kann das Instant-Style-Framework den Stil und den Inhalt explizit entkoppeln. Obwohl es eine einfache Strategie ist, hilft sie dem Instant-Style-Framework, die Inhalt-Leckage auf ein Minimum zu reduzieren.

Darüber hinaus ist jede Schicht in einem tiefen Netzwerk für die Erfassung unterschiedlicher semantischer Informationen verantwortlich, und die wichtigste Beobachtung aus vorherigen Modellen ist, dass es zwei Aufmerksamkeits-Schichten gibt, die für die Handhabung von Stil verantwortlich sind. Insbesondere sind es die Blöcke.0.Aufmerksamkeiten.1 und die down-Blöcke.2.Aufmerksamkeiten.1-Schichten, die für die Erfassung von Stil wie Farbe, Material, Atmosphäre und die räumliche Layout-Schicht für die Erfassung von Struktur und Komposition verantwortlich sind. Das Instant-Style-Framework verwendet diese Schichten implizit, um Stil-Informationen zu extrahieren und verhindert Inhalt-Leckage, ohne die Stil-Stärke zu verlieren. Die Strategie ist einfach, aber effektiv, da das Modell die Stil-Blöcke gefunden hat, die die Bild-Merkmale in diese Blöcke injizieren können, um einen nahtlosen Stil-Transfer zu erreichen. Darüber hinaus reduziert das Modell die Anzahl der Parameter des Adapters erheblich, wodurch die Text-Steuerbarkeit des Frameworks verbessert wird, und der Mechanismus ist auch auf andere, aufmerksamkeits-basierte Feature-Injektions-Modelle für Bearbeitung und andere Aufgaben anwendbar.

Instant-Style: Experimente und Ergebnisse

Das Instant-Style-Framework wird auf dem Stable-Diffusion-XL-Framework implementiert und verwendet den allgemein anerkannten, vorge-trainierten IR-Adapter als seinen Exemplar, um seine Methodik zu validieren, und stummt alle Blöcke außer den Stil-Blöcken für Bild-Merkmale. Das Instant-Style-Modell trainiert auch den IR-Adapter auf 4 Millionen großen, text-bild-paarigen Datensätzen von Grund auf und aktualisiert anstelle von allen Blöcken nur die Stil-Blöcke.

Um seine Generalisierungs-Fähigkeiten und Robustheit zu testen, führt das Instant-Style-Framework zahlreiche Stil-Transfer-Experimente mit verschiedenen Stilen über unterschiedliche Inhalte durch, und die Ergebnisse können in den folgenden Abbildungen beobachtet werden. Gegeben ein einzelnes Stil-Referenzbild zusammen mit variierenden Prompts, liefert das Instant-Style-Framework hochwertige, konsistente Stil-Bild-Generierung.

Darüber hinaus kann das Modell, da es Bild-Informationen nur in den Stil-Blöcken injiziert, das Problem der Inhalt-Leckage erheblich verringern und benötigt daher keine Gewichts-Feinabstimmung.

Weiterhin adoptiert das Instant-Style-Framework die ControlNet-Architektur, um eine bild-basierte Stilisierung mit räumlicher Steuerung zu erreichen, und die Ergebnisse werden in der folgenden Abbildung demonstriert.

Im Vergleich zu vorherigen State-of-the-Art-Methoden, einschließlich StyleAlign, B-LoRA, Swapping-Self-Attention und IP-Adapter, demonstriert das Instant-Style-Framework die besten visuellen Effekte.

Final Thoughts

In diesem Artikel haben wir über Instant-Style gesprochen, ein allgemeines Framework, das zwei einfache, aber effektive Strategien anwendet, um eine effektive Entkopplung von Inhalt und Stil von Referenzbildern zu erreichen. Das InstantStyle-Framework ist entwickelt worden, um die Probleme zu lösen, mit denen die aktuellen feinabgestimmten Diffusionsmodelle für Bildgenerierung und Anpassung konfrontiert sind. Das Instant-Style-Framework implementiert zwei wichtige Strategien: Ein einfacher, aber effektiver Ansatz, um Stil und Inhalt von Referenzbildern im Merkmalsraum zu entkoppeln, basierend auf der Annahme, dass Merkmale innerhalb desselben Merkmalsraums entweder addiert oder subtrahiert werden können. Zweitens verhindert es Stil-Lecks, indem es die Referenzbild-Merkmale ausschließlich in die stil-spezifischen Blöcke injiziert und die Notwendigkeit, umständliche Gewichte für Feinabstimmung zu verwenden, vermeidet, die oft mehr parameter-intensiven Designs charakterisieren.