In den letzten Jahren haben auf Tuning basierende Diffusionsmodelle bei einem breiten Spektrum von Bildpersonalisierungs- und Anpassungsaufgaben bemerkenswerte Fortschritte gemacht. Doch trotz ihres Potenzials stehen aktuelle, auf Tuning basierende Diffusionsmodelle weiterhin vor einer Vielzahl komplexer Herausforderungen bei der Produktion und Generierung stilkonsistenter Bilder, und dafür könnte es drei Gründe geben. Erstens ist der Stilbegriff noch weitgehend undefiniert und unbestimmt und umfasst eine Kombination von Elementen wie Atmosphäre, Struktur, Design, Material, Farbe und vielem mehr. Auf der zweiten Inversion basierende Methoden sind anfällig für eine Verschlechterung des Stils, was häufig zum Verlust feinkörniger Details führt. Schließlich erfordern adapterbasierte Ansätze eine häufige Gewichtsanpassung für jedes Referenzbild, um ein Gleichgewicht zwischen Textkontrollierbarkeit und Stilintensität aufrechtzuerhalten. 

Darüber hinaus besteht das Hauptziel der meisten Stilübertragungsansätze oder Stilbildgenerierung darin, das Referenzbild zu verwenden und seinen spezifischen Stil aus einer bestimmten Teilmenge oder einem Referenzbild auf ein Zielinhaltsbild anzuwenden. Es ist jedoch die große Anzahl von Stilattributen, die es den Forschern erschwert, stilisierte Datensätze zu sammeln, den Stil korrekt darzustellen und den Erfolg der Übertragung zu bewerten. Bisher haben Modelle und Frameworks, die sich mit der Feinabstimmung eines Diffusionsprozesses befassten, den Datensatz von Bildern verfeinert, die einen gemeinsamen Stil haben. Dieser Prozess war sowohl zeitaufwändig als auch aufgrund seiner Schwierigkeit nur begrenzt auf reale Aufgaben übertragbar um eine Teilmenge von Bildern zu sammeln, die denselben oder nahezu identischen Stil haben. 

In diesem Artikel werden wir über InstantStyle sprechen, ein Framework, das mit dem Ziel entwickelt wurde, die Probleme anzugehen, mit denen die aktuellen Tuning-basierten Diffusionsmodelle für die Bilderzeugung und -anpassung konfrontiert sind. Wir werden über die beiden Schlüsselstrategien sprechen, die vom InstantStyle-Framework implementiert werden: 

1. Ein einfacher, aber effektiver Ansatz zur Entkopplung von Stil und Inhalt von Referenzbildern innerhalb des Merkmalsraums, der auf der Annahme vorhergesagt wird, dass Merkmale innerhalb desselben Merkmalsraums entweder addiert oder voneinander subtrahiert werden können. 
2. Verhindern Sie Stillecks, indem Sie die Referenzbildmerkmale ausschließlich in die stilspezifischen Blöcke einfügen und bewusst auf die Notwendigkeit verzichten, umständliche Gewichte für die Feinabstimmung zu verwenden, die häufig für Designs mit mehr Parametern kennzeichnend sind. 

Ziel dieses Artikels ist es, das InstantStyle-Framework eingehend zu behandeln, und wir untersuchen den Mechanismus, die Methodik, die Architektur des Frameworks sowie seinen Vergleich mit modernen Frameworks. Wir werden auch darüber sprechen, wie das InstantStyle-Framework bemerkenswerte visuelle Stilisierungsergebnisse liefert und ein optimales Gleichgewicht zwischen der Steuerbarkeit von Textelementen und der Intensität des Stils schafft. Also lasst uns anfangen. 

InstantStyle: Stilerhaltung bei der Text-zu-Bild-Generierung

Diffusionsbasierte Text-zu-Bild-generative KI-Frameworks haben bei einer Vielzahl von Anpassungs- und Personalisierungsaufgaben spürbare und bemerkenswerte Erfolge erzielt, insbesondere bei konsistenten Bildgenerierungsaufgaben, einschließlich Objektanpassung, Bildkonservierung und Stilübertragung. Doch trotz der jüngsten Erfolge und Leistungssteigerungen bleibt der Stiltransfer aufgrund der unbestimmten und undefinierten Natur des Stils, der oft eine Vielzahl von Elementen wie Atmosphäre, Struktur, Design, Material, Farbe und vielem mehr umfasst, eine herausfordernde Aufgabe für Forscher. Vor diesem Hintergrund besteht das Hauptziel der Generierung stilisierter Bilder oder der Stilübertragung darin, den spezifischen Stil eines bestimmten Referenzbilds oder einer Referenzteilmenge von Bildern anzuwenden zum Zielinhaltsbild. Allerdings erschwert die große Anzahl an Stilattributen den Forschern die Aufgabe, stilisierte Datensätze zu sammeln, den Stil korrekt darzustellen und den Erfolg der Übertragung zu bewerten. Bisher haben Modelle und Frameworks, die sich mit der Feinabstimmung eines Diffusionsprozesses befassten, den Datensatz von Bildern verfeinert, die einen gemeinsamen Stil haben. Dieser Prozess war sowohl zeitaufwändig als auch aufgrund seiner Schwierigkeit nur begrenzt auf reale Aufgaben übertragbar um eine Teilmenge von Bildern zu sammeln, die denselben oder nahezu identischen Stil haben. 

Angesichts der Herausforderungen, mit denen der aktuelle Ansatz konfrontiert ist, haben sich Forscher für die Entwicklung von Feinabstimmungsansätzen für den Stiltransfer interessiert stilisierte Bilderzeugung, und diese Frameworks können in zwei verschiedene Gruppen unterteilt werden: 

• Adapterfreie Ansätze: Adapterfreie Ansätze und Frameworks nutzen die Kraft der Selbstaufmerksamkeit im Diffusionsprozess. Durch die Implementierung einer gemeinsamen Aufmerksamkeitsoperation sind diese Modelle in der Lage, wesentliche Merkmale, einschließlich Schlüssel und Werte, direkt aus Bildern eines bestimmten Referenzstils zu extrahieren. 

• Adapterbasierte Ansätze: Adapterbasierte Ansätze und Frameworks hingegen beinhalten ein leichtgewichtiges Modell, das darauf ausgelegt ist, detaillierte Bilddarstellungen aus den Bildern im Referenzstil zu extrahieren. Das Framework integriert diese Darstellungen dann geschickt in den Diffusionsprozess und nutzt dabei Kreuzaufmerksamkeitsmechanismen. Das Hauptziel des Integrationsprozesses besteht darin, den Generierungsprozess zu steuern und sicherzustellen, dass das resultierende Bild mit den gewünschten stilistischen Nuancen des Referenzbilds übereinstimmt. 

Doch trotz der Versprechen stoßen Tuning-freie Methoden oft auf einige Herausforderungen. Erstens erfordert der Ansatz ohne Adapter einen Austausch von Schlüsseln und Werten innerhalb der Selbstaufmerksamkeitsebenen und fängt die aus den Referenzstilbildern abgeleiteten Schlüssel- und Wertematrizen vorab ein. Bei der Implementierung auf natürliche Bilder erfordert der Ansatz ohne Adapter die Umkehrung des Bildes zurück zum latenten Rauschen mithilfe von Techniken wie DDIM oder Inversion von Denoising Diffusion Implicit Models. Die Verwendung von DDIM oder anderen Inversionsansätzen kann jedoch zum Verlust feinkörniger Details wie Farbe und Textur führen und somit die Stilinformationen in den generierten Bildern verringern. Darüber hinaus ist der durch diese Ansätze eingeführte zusätzliche Schritt ein zeitaufwändiger Prozess und kann bei praktischen Anwendungen erhebliche Nachteile mit sich bringen. Andererseits besteht die größte Herausforderung für adaptorbasierte Methoden darin, das richtige Gleichgewicht zwischen Kontextverlust und Stilintensität zu finden. Inhaltslecks treten auf, wenn eine Erhöhung der Stilintensität dazu führt, dass Nicht-Stilelemente aus dem Referenzbild in der generierten Ausgabe erscheinen, wobei die Hauptschwierigkeit darin besteht, Stile effektiv vom Inhalt innerhalb des Referenzbilds zu trennen. Um dieses Problem zu lösen, erstellen einige Frameworks gepaarte Datensätze, die dasselbe Objekt in unterschiedlichen Stilen darstellen, was die Extraktion der Inhaltsdarstellung und die Entflechtung von Stilen erleichtert. Aufgrund der inhärent unbestimmten Darstellung von Stilen ist die Erstellung großer gepaarter Datensätze jedoch hinsichtlich der Vielfalt der Stile, die erfasst werden können, begrenzt und außerdem ein ressourcenintensiver Prozess. 

Um diese Einschränkungen zu beseitigen, wird das InstantStyle-Framework eingeführt, ein neuartiger, abstimmungsfreier Mechanismus, der auf vorhandenen adaptorbasierten Methoden basiert und die Fähigkeit bietet, sich nahtlos in andere aufmerksamkeitsbasierte Injektionsmethoden zu integrieren und eine effektive Entkopplung von Inhalt und Stil zu erreichen. Darüber hinaus führt das InstantStyle-Framework nicht nur eine, sondern zwei effektive Möglichkeiten ein, um die Entkopplung von Stil und Inhalt abzuschließen und so eine bessere Stilmigration zu erreichen, ohne dass zusätzliche Methoden zur Entkopplung oder zum Aufbau gepaarter Datensätze eingeführt werden müssen. 

Darüber hinaus wurden frühere, auf Adaptern basierende Frameworks häufig in CLIP-basierten Methoden als Bildmerkmalsextraktor verwendet. Einige Frameworks haben die Möglichkeit untersucht, eine Merkmalsentkopplung innerhalb des Merkmalsraums zu implementieren, und im Vergleich zur Unbestimmtheit des Stils ist dies einfacher Beschreiben Sie den Inhalt mit Text. Da Bilder und Texte in CLIP-basierten Methoden einen gemeinsamen Merkmalsraum teilen, kann eine einfache Subtraktionsoperation von Kontexttextmerkmalen und Bildmerkmalen den Inhaltsverlust erheblich reduzieren. Darüber hinaus in der Mehrheit von Diffusionsmodellegibt es eine bestimmte Ebene in seiner Architektur, die die Stilinformationen einfügt und die Entkopplung von Inhalt und Stil erreicht, indem Bildfunktionen nur in bestimmte Stilblöcke eingefügt werden. Durch die Implementierung dieser beiden einfachen Strategien ist das InstantStyle-Framework in der Lage, Content-Leak-Probleme zu lösen, die bei den meisten vorhandenen Frameworks auftreten, und gleichzeitig die Stärke des Stils beizubehalten. 

Zusammenfassend lässt sich sagen, dass das InstantStyle-Framework zwei einfache, unkomplizierte und dennoch effektive Mechanismen verwendet, um eine effektive Entflechtung von Inhalt und Stil aus Referenzbildern zu erreichen. Das Instant-Style-Framework ist ein modellunabhängiger und optimierungsfreier Ansatz, der eine bemerkenswerte Leistung bei Stilübertragungsaufgaben mit einem enormen Potenzial für nachgelagerte Aufgaben zeigt. 

Instant-Style: Methodik und Architektur

Wie frühere Ansätze gezeigt haben, besteht bei abstimmungsfreien Diffusionsmodellen ein Gleichgewicht bei der Injektion von Stilbedingungen. Wenn die Intensität des Bildzustands zu hoch ist, kann es zu Inhaltslecks kommen. Wenn die Intensität des Bildzustands jedoch zu niedrig ist, erscheint der Stil möglicherweise nicht offensichtlich genug. Ein Hauptgrund für diese Beobachtung ist, dass in einem Bild Stil und Inhalt miteinander verknüpft sind und es aufgrund der inhärenten unbestimmten Stilattribute schwierig ist, Stil und Absicht zu entkoppeln. Aus diesem Grund werden die Gewichtungen häufig für jedes Referenzbild sorgfältig angepasst, um die Steuerbarkeit des Textes und die Stärke des Stils in Einklang zu bringen. Darüber hinaus werden für ein gegebenes Eingabereferenzbild und die entsprechende Textbeschreibung in den inversionsbasierten Methoden Inversionsansätze wie DDIM über das Bild angewendet, um die invertierte Diffusionsbahn zu erhalten, ein Prozess, der die Inversionsgleichung annähert, um ein Bild in ein latentes Bild umzuwandeln Rauschdarstellung. Darauf aufbauend und ausgehend von der umgekehrten Diffusionsbahn zusammen mit einer neuen Reihe von Eingabeaufforderungen generieren diese Methoden neue Inhalte, deren Stil mit der Eingabe übereinstimmt. Wie in der folgenden Abbildung dargestellt, ist der DDIM-Inversionsansatz für reale Bilder jedoch oft instabil, da er auf lokalen Linearisierungsannahmen beruht, was zur Ausbreitung von Fehlern führt und zu Inhaltsverlust und falscher Bildrekonstruktion führt. 

Was die Methodik betrifft: Anstatt komplexe Strategien anzuwenden, um Inhalt und Stil von Bildern zu trennen, verfolgt das Instant-Style-Framework den einfachsten Ansatz, um eine ähnliche Leistung zu erzielen. Im Vergleich zu den unterbestimmten Stilattributen kann der Inhalt durch natürlichen Text dargestellt werden, sodass das Instant-Style-Framework den Text-Encoder von CLIP verwenden kann, um die Merkmale des Inhaltstexts als Kontextdarstellungen zu extrahieren. Gleichzeitig implementiert das Instant-Style-Framework den CLIP-Bild-Encoder, um die Merkmale des Referenzbilds zu extrahieren. Das Instant-Style-Framework nutzt die Charakterisierung globaler CLIP-Funktionen und subtrahiert anschließend die Inhaltstextfunktionen von den Bildfunktionen und ist so in der Lage, Stil und Inhalt explizit zu entkoppeln. Obwohl es sich um eine einfache Strategie handelt, trägt sie dazu bei, dass das Instant-Style-Framework sehr effektiv dabei ist, den Verlust von Inhalten auf ein Minimum zu beschränken. 

Darüber hinaus ist jede Schicht innerhalb eines tiefen Netzwerks für die Erfassung unterschiedlicher semantischer Informationen verantwortlich, und die wichtigste Beobachtung aus früheren Modellen besteht darin, dass es zwei Aufmerksamkeitsschichten gibt, die für den Umgang mit Stil verantwortlich sind. up Konkret sind es die Ebenen „blocks.0.attentions.1“ und „down block.2.attentions.1“, die für die Erfassung von Stilen wie Farbe, Material, Atmosphäre verantwortlich sind, und die Ebene „Raumlayout“ erfasst jeweils Struktur und Komposition. Das Instant-Style-Framework verwendet diese Ebenen implizit, um Stilinformationen zu extrahieren und verhindert Inhaltslecks, ohne die Stilstärke zu verlieren. Die Strategie ist einfach, aber effektiv, da das Modell Stilblöcke lokalisiert hat, die die Bildmerkmale in diese Blöcke einfügen können, um eine nahtlose Stilübertragung zu erreichen. Da das Modell außerdem die Anzahl der Parameter des Adapters erheblich reduziert, wird die Textsteuerungsfähigkeit des Frameworks verbessert, und der Mechanismus ist auch auf andere aufmerksamkeitsbasierte Feature-Injection-Modelle für Bearbeitungs- und andere Aufgaben anwendbar. 

Instant-Style: Experimente und Ergebnisse

Das Instant-Style-Framework ist auf dem Stable Diffusion XL-Framework implementiert und verwendet den allgemein verwendeten vortrainierten IR-Adapter als Beispiel zur Validierung seiner Methodik und schaltet alle Blöcke außer den Stilblöcken für Bildfunktionen stumm. Das Instant-Style-Modell trainiert den IR-Adapter außerdem von Grund auf auf 4 Millionen großen gepaarten Text-Bild-Datensätzen und aktualisiert nicht alle Blöcke, sondern nur die Stilblöcke. 

Um seine Generalisierungsfähigkeiten und Robustheit zu verbessern, führt das Instant-Style-Framework zahlreiche Stilübertragungsexperimente mit verschiedenen Stilen über verschiedene Inhalte hinweg durch. Die Ergebnisse können in den folgenden Bildern beobachtet werden. Mit einem Referenzbild mit einem einzigen Stil und unterschiedlichen Eingabeaufforderungen liefert das Instant-Style-Framework einen hochwertigen, konsistenten Stil Bilderzeugung. 

Da das Modell außerdem Bildinformationen nur in die Stilblöcke einfügt, kann es das Problem des Inhaltsverlusts erheblich verringern und erfordert daher keine Gewichtsoptimierung. 

Im weiteren Verlauf übernimmt das Instant-Style-Framework auch die ControlNet-Architektur, um eine bildbasierte Stilisierung mit räumlicher Kontrolle zu erreichen. Die Ergebnisse werden im folgenden Bild veranschaulicht. 

Im Vergleich zu früheren hochmodernen Methoden wie StyleAlign, B-LoRA, Swapping Self Attention und IP-Adapter zeigt das Instant-Style-Framework die besten visuellen Effekte. 

Abschließende Überlegungen

In diesem Artikel haben wir über Instant-Style gesprochen, ein allgemeines Framework, das zwei einfache, aber effektive Strategien verwendet, um eine effektive Trennung von Inhalt und Stil von Referenzbildern zu erreichen. Das InstantStyle-Framework wurde mit dem Ziel entwickelt, die Probleme anzugehen, mit denen die aktuellen optimierungsbasierten Diffusionsmodelle für die Bilderzeugung und -anpassung konfrontiert sind. Das Instant-Style-Framework implementiert zwei wichtige Strategien: Ein einfacher, aber effektiver Ansatz zur Entkopplung von Stil und Inhalt von Referenzbildern innerhalb des Feature-Raums, der auf der Annahme vorhergesagt wird, dass Features innerhalb desselben Feature-Raums entweder addiert oder voneinander subtrahiert werden können. Zweitens, um Stillecks zu verhindern, indem die Referenzbildmerkmale ausschließlich in die stilspezifischen Blöcke eingefügt werden und bewusst auf die Notwendigkeit umständlicher Gewichtungen zur Feinabstimmung verzichtet wird, die oft für Designs mit mehr Parametern kennzeichnend sind.