HD-Painter: Hochauflösung-Text-gesteuertes Bild-Inpainting mit Diffusionsmodellen

Diffusionsmodelle haben zweifellos die AI- und ML-Industrie revolutioniert, mit Anwendungen in Echtzeit, die ein integraler Bestandteil unseres täglichen Lebens geworden sind. Nachdem Text-Bild-Modelle ihre bemerkenswerten Fähigkeiten gezeigt haben, sind diffusionsbasierte Bildmanipulationstechniken wie kontrollierte Generierung, spezialisierte und personalisierte Bildsynthese, objektorientierte Bildbearbeitung, prompt-konditionierte Variationen und Bearbeitung zu heißen Forschungsthemen geworden, aufgrund ihrer Anwendungen in der Computer-Vision-Industrie.

Obwohl sie beeindruckende Fähigkeiten und außergewöhnliche Ergebnisse haben, haben Text-Bild-Rahmenwerke, insbesondere Text-Bild-Inpainting-Rahmenwerke, noch potenzielle Bereiche für die Entwicklung. Dazu gehören die Fähigkeit, globale Szenen zu verstehen, insbesondere wenn das Bild bei hohen Diffusionszeitpunkten geräuscht wird. Um dieses Problem anzugehen, haben Forscher HD-Painter vorgestellt, ein vollständig trainingsfreies Rahmenwerk, das prompt-Anweisungen genau befolgt und auf hochauflösendes Bild-Inpainting skaliert. Das HD-Painter-Rahmenwerk verwendet eine Prompt-Aware-Introverted-Attention-Schicht (PAIntA), die prompt-Informationen verwendet, um die Selbst-Aufmerksamkeitsscores zu verbessern, was zu einer besseren Text-Alignment-Generierung führt.

Um die Kohärenz des Prompts weiter zu verbessern, führt das HD-Painter-Modell einen Reweighting-Attention-Score-Guidance-Ansatz (RASG) ein. Dieser Ansatz integriert eine post-hoc-Sampling-Strategie in die allgemeine Form des DDIM-Komponenten nahtlos, um latenten Verschiebungen außerhalb der Verteilung zu verhindern. Darüber hinaus verfügt das HD-Painter-Rahmenwerk über eine spezielle Super-Auflösungstechnik, die für Inpainting angepasst ist, was es ermöglicht, auf größere Skalen zu skalieren und fehlende Regionen im Bild mit einer Auflösung von bis zu 2K zu vervollständigen.

HD-Painter: Text-gesteuertes Bild-Inpainting

Text-Bild-Diffusionsmodelle sind in den letzten Monaten ein bedeutendes Thema in der AI- und ML-Industrie gewesen, mit Modellen, die beeindruckende Echtzeitfähigkeiten in verschiedenen praktischen Anwendungen gezeigt haben. Vorgebildete Text-Bild-Generierungsmodelle wie DALL-E, Imagen und Stable Diffusion haben ihre Eignung für Bildvervollständigung gezeigt, indem sie die geräuschte (generierte) unbekannte Region mit der diffusen bekannten Region während des Rückwärts-Diffusionsprozesses verbinden. Obwohl diese Modelle visuell ansprechende und harmonisierte Ausgaben produzieren, haben bestehende Modelle Schwierigkeiten, die globale Szene zu verstehen, insbesondere unter dem hohen Diffusionszeitpunkt des Rauschens. Durch die Modifizierung vorgebildeter Text-Bild-Diffusionsmodelle, um zusätzliche Kontextinformationen zu integrieren, können sie für text-gesteuerte Bildvervollständigung fein abgestimmt werden.

Darüber hinaus sind text-gesteuertes Inpainting und text-gesteuerte Bildvervollständigung wichtige Forschungsbereiche, da text-gesteuerte Inpainting-Modelle Inhalte in bestimmten Regionen eines Eingabebildes basierend auf textuellen Prompts generieren können, was zu potenziellen Anwendungen wie Retusche spezifischer Bildregionen, Änderung von Subjektattributen wie Farben oder Kleidung und Hinzufügen oder Ersetzen von Objekten führt. Zusammenfassend haben Text-Bild-Diffusionsmodelle kürzlich einen unvergleichlichen Erfolg erzielt, aufgrund ihrer außergewöhnlich realistischen und visuell ansprechenden Generierungsfähigkeiten.

Allerdings zeigen die meisten bestehenden Rahmenwerke in zwei Szenarien eine Prompt-Verachtung. Das erste ist Hintergrund-Dominanz, wenn das Modell die unbekannte Region vervollständigt, indem es den Prompt im Hintergrund ignoriert, während das zweite Szenario nahe-Objekt-Dominanz ist, wenn das Modell die bekannte Regionen-Objekte in die unbekannte Region propagiert, anstatt den Eingabe-Prompt zu verwenden. Es ist möglich, dass beide Probleme auf die Fähigkeit des Vanilla-Inpainting-Diffusions zurückzuführen sind, den textuellen Prompt genau zu interpretieren oder ihn mit dem Kontextinformationen aus der bekannten Region zu vermischen.

Um diese Hindernisse zu überwinden, führt das HD-Painter-Rahmenwerk die Prompt-Aware-Introverted-Attention-Schicht (PAIntA) ein, die prompt-Informationen verwendet, um die Selbst-Aufmerksamkeitsscores zu verbessern, was zu einer besseren Text-Alignment-Generierung führt. PAIntA verwendet die gegebene textuelle Bedingung, um die Selbst-Aufmerksamkeit zu erhöhen, mit dem Ziel, den Einfluss nicht-prompt-relevanter Informationen aus der Bildregion zu reduzieren und gleichzeitig den Beitrag der bekannten Pixel zu erhöhen, die mit dem Prompt übereinstimmen. Um die Text-Alignment der generierten Ergebnisse weiter zu verbessern, implementiert das HD-Painter-Rahmenwerk eine post-hoc-Guidance-Methode, die die Cross-Attention-Scores nutzt. Allerdings kann die Implementierung der Vanilla-post-hoc-Guidance-Methode zu einer Verschiebung der Verteilung der Diffusionslatenten führen, was die Qualität der generierten Ausgabe verschlechtern kann. Um dieses Hindernis zu überwinden, implementiert das HD-Painter-Rahmenwerk die Reweighting-Attention-Score-Guidance-Methode (RASG), die einen Gradienten-Gewichtungsmechanismus einführt, der die Erhaltung des Latenten-Domäns ermöglicht.

Indem das HD-Painter-Rahmenwerk sowohl die RASH- als auch die PAIntA-Komponenten in seiner Architektur verwendet, hat es einen signifikanten Vorteil gegenüber bestehenden, einschließlich state-of-the-art, Inpainting- und Text-Bild-Diffusionsmodellen, da es das bestehende Problem der Prompt-Verachtung löst. Darüber hinaus bieten sowohl die RASH- als auch die PAIntA-Komponenten eine Plug-and-Play-Funktionalität, die es ihnen ermöglicht, mit diffusionsbasierten Inpainting-Modellen kompatibel zu sein, um die oben genannten Herausforderungen zu meistern. Darüber hinaus kann das HD-Painter-Rahmenwerk durch die Implementierung einer zeit-iterativen Blendetechnologie und durch die Nutzung der Fähigkeiten von hochauflösenden Diffusionsmodellen effektiv für bis zu 2K-Auflösung-Inpainting arbeiten.

Zusammenfassend zielt das HD-Painter-Rahmenwerk darauf ab, folgende Beiträge im Bereich zu leisten:

1. Es zielt darauf ab, das Problem der Prompt-Verachtung von Hintergrund und nahe-Objekt-Dominanz, das von text-gesteuerten Bildinpainting-Rahmenwerken erlebt wird, durch die Implementierung der Prompt-Aware-Introverted-Attention-Schicht (PAIntA) in seiner Architektur zu lösen.
2. Es zielt darauf ab, die Text-Alignment der Ausgabe durch die Implementierung der Reweighting-Attention-Score-Guidance-Schicht (RASG) in seiner Architektur zu verbessern, die es dem HD-Painter-Rahmenwerk ermöglicht, post-hoc-gesteuertes Sampling durchzuführen, während es eine Verschiebung der Verteilung verhindert.
3. Es zielt darauf ab, einen effektiven trainingsfreien text-gesteuerten Bildvervollständigungsprozess zu entwerfen, der in der Lage ist, bestehende state-of-the-art-Rahmenwerke zu übertreffen, und der einfache, aber effektive Inpainting-spezifische Super-Resolution-Rahmenwerk verwendet, um text-gesteuertes Bildinpainting bis zu 2K-Auflösung durchzuführen.

HD-Painter: Methode und Architektur

Bevor wir uns die Architektur ansehen, ist es wichtig, die drei grundlegenden Konzepte zu verstehen, die die Grundlage des HD-Painter-Rahmenwerks bilden: Bild-Inpainting, post-hoc-Guidance in Diffusions-Rahmenwerken und Inpainting-spezifische Architektur-Blöcke.

Bild-Inpainting ist ein Ansatz, der darauf abzielt, fehlende Regionen innerhalb eines Bildes zu füllen, während die visuelle Attraktivität des generierten Bildes gewährleistet wird. Traditionelle Deep-Learning-Rahmenwerke haben Methoden implementiert, die bekannte Regionen verwendet haben, um tiefe Merkmale zu propagieren. Die Einführung von Diffusionsmodellen hat jedoch zur Evolution von Inpainting-Modellen geführt, insbesondere text-gesteuerten Bildinpainting-Rahmenwerken. Traditionell ersetzt ein vorgebildetes Text-Bild-Diffusionsmodell die unmaskierte Region des Latenten durch die geräuschte Version der bekannten Region während des Sampling-Prozesses. Obwohl dieser Ansatz funktioniert, verschlechtert er die Qualität der generierten Ausgabe erheblich, da das Rausch-Netzwerk nur die geräuschte Version der bekannten Region sieht. Um dieses Hindernis zu überwinden, haben einige Ansätze darauf abgezielt, vorgebildete Text-Bild-Modelle zu fein abzustimmen, um text-gesteuertes Bildinpainting zu erreichen. Durch die Implementierung dieses Ansatzes kann das Rahmenwerk ein zufälliges Maskenbild durch Konkatenation erzeugen, da das Modell in der Lage ist, die Rausch-Netzwerk auf die unmaskierte Region zu konditionieren.

Weiterhin haben traditionelle Deep-Learning-Modelle spezielle Design-Schichten für effizientes Inpainting implementiert, wobei einige Rahmenwerke in der Lage waren, Informationen effektiv zu extrahieren und visuell ansprechende Bilder zu erzeugen, indem sie spezielle Konvolutions-Schichten für die bekannten Regionen des Bildes einführten. Einige Rahmenwerke fügten sogar eine Kontext-Aufmerksamkeit-Schicht in ihre Architektur hinzu, um die unerwünschten schweren Rechenanforderungen der all-to-all-Selbst-Aufmerksamkeit für hochwertiges Inpainting zu reduzieren.

Schließlich sind post-hoc-Guidance-Methoden rückwärts-Diffusions-Sampling-Methoden, die die nächste Schritt-Latent-Vorhersage auf ein bestimmtes Funktions-Minimierungs-Objekt hinlenken. Post-hoc-Guidance-Methoden sind bei der Generierung von visuellem Inhalt, insbesondere in der Anwesenheit von zusätzlichen Einschränkungen, sehr nützlich. Allerdings haben post-hoc-Guidance-Methoden einen großen Nachteil: Sie können zu einer Verschlechterung der Bildqualität führen, da sie den Latent-Generierungsprozess durch einen Gradienten-Term verschieben.

Kommen wir zur Architektur des HD-Painters, formuliert das Rahmenwerk zunächst das text-gesteuerte Bildvervollständigungsproblem und führt dann zwei Diffusionsmodelle ein, nämlich Stable Inpainting und Stable Diffusion. Das HD-Painter-Modell führt dann die PAIntA- und die RASG-Blöcke ein und schließlich kommen wir zu der Inpainting-spezifischen Super-Auflösungstechnik.

Stable Diffusion und Stable Inpainting

Stable Diffusion ist ein Diffusionsmodell, das im Latenten-Raum eines Autoencoders arbeitet. Für Text-Bild-Synthese implementiert das Stable-Diffusion-Rahmenwerk einen textuellen Prompt, um den Prozess zu steuern. Die Steuerungsfunktion hat eine Struktur, die der UNet-Architektur ähnelt, und die Cross-Attention-Schichten konditionieren sie auf die textuellen Prompts. Darüber hinaus kann das Stable-Diffusion-Modell Bildinpainting mit einigen Modifizierungen und Feinabstimmungen durchführen. Um dies zu erreichen, werden die Merkmale des maskierten Bildes, das von dem Encoder generiert wird, mit der herunterskalierten binären Maske zu den Latenten konkatiniert. Der resultierende Tensor wird dann in die UNet-Architektur eingegeben, um die geschätzte Rauschung zu erhalten. Das Rahmenwerk initialisiert dann die neu hinzugefügten konvolutiven Filter mit Nullen, während der Rest der UNet mit vorgebildeten Checkpoints aus dem Stable-Diffusion-Modell initialisiert wird.

Die obige Abbildung zeigt die Übersicht des HD-Painter-Rahmenwerks, das aus zwei Stufen besteht. In der ersten Stufe implementiert das HD-Painter-Rahmenwerk text-gesteuertes Bildinpainting, während in der zweiten Stufe das Modell eine spezielle Super-Auflösung des Outputs inpaintet. Um die fehlenden Regionen zu füllen und konsistent mit dem Eingabe-Prompt zu bleiben, nimmt das Modell ein vorgebildetes Inpainting-Diffusionsmodell, ersetzt die Selbst-Aufmerksamkeitsschichten durch PAIntA-Schichten und implementiert den RASG-Mechanismus, um einen rückwärts-Diffusionsprozess durchzuführen. Das Modell decodiert dann das finale geschätzte Latent, was zu einem inpainteten Bild führt. HD-Painter implementiert dann das Super-Stable-Diffusion-Modell, um das ursprüngliche Bild in seiner ursprünglichen Größe zu inpainten und implementiert den Diffusions-Rückwärtsprozess des Stable-Diffusion-Rahmenwerks, der auf das niedrigauflösende Eingabebild konditioniert ist. Das Modell blendet die geräuschten Vorhersagen mit der ursprünglichen Bildcodierung nach jedem Schritt in der bekannten Region und leitet das nächste Latent ab. Schließlich decodiert das Modell das Latent und implementiert Poisson-Blending, um Kantenglieder zu vermeiden.

Prompt-Aware-Introverted-Attention oder PAIntA

Bestehende Inpainting-Modelle wie Stable Inpainting neigen dazu, mehr auf den visuellen Kontext um die Inpainting-Region zu achten und den Eingabe-Prompt zu ignorieren. Basierend auf der Benutzererfahrung kann dieses Problem in zwei Klassen eingeteilt werden: nahe-Objekt-Dominanz und Hintergrund-Dominanz. Das Problem der visuellen Kontext-Dominanz über den Eingabe-Prompt kann auf die nur-räumliche und prompt-freie Natur der Selbst-Aufmerksamkeitsschichten zurückzuführen sein. Um dieses Problem zu lösen, führt das HD-Painter-Rahmenwerk die Prompt-Aware-Introverted-Attention-Schicht (PAIntA) ein, die Cross-Attention-Matrizen und eine Inpainting-Maske verwendet, um die Ausgabe der Selbst-Aufmerksamkeitsschichten in der unbekannten Region zu steuern.

Die Prompt-Aware-Introverted-Attention-Komponente wendet zunächst Projektionsschichten an, um Schlüssel, Werte und Abfragen sowie die Ähnlichkeitsmatrix zu erhalten. Das Modell passt dann die Aufmerksamkeitsscore der bekannten Pixel an, um den starken Einfluss der bekannten Region auf die unbekannte Region zu mildern, und definiert eine neue Ähnlichkeitsmatrix, indem es den textuellen Prompt nutzt.

Reweighting-Attention-Score-Guidance oder RASG

Das HD-Painter-Rahmenwerk verwendet einen post-hoc-Sampling-Guidance-Ansatz, um die Generierungs-Alignment mit den textuellen Prompts weiter zu verbessern. Neben einem Ziel-Funktion-Ansatz zielt der post-hoc-Sampling-Guidance-Ansatz darauf ab, die offene-Vokabular-Segmentierungseigenschaften der Cross-Attention-Schichten zu nutzen. Allerdings kann dieser Ansatz der Vanilla-post-hoc-Guidance-Methode zu einer Verschiebung der Verteilung der Diffusionslatenten führen, was die Qualität der generierten Bildausgabe verschlechtern kann. Um dieses Hindernis zu überwinden, implementiert das HD-Painter-Rahmenwerk die Reweighting-Attention-Score-Guidance-Methode (RASG), die einen Gradienten-Gewichtungsmechanismus einführt, der die Erhaltung des Latenten-Domäns ermöglicht.

HD-Painter: Experimente und Ergebnisse

Um seine Leistung zu analysieren, wird das HD-Painter-Rahmenwerk mit aktuellen state-of-the-art-Modellen wie Stable Inpainting, GLIDE und BLD oder Blended Latent Diffusion über 10.000 zufällige Samples verglichen, wobei der Prompt als Label des ausgewählten Instanz-Masken ausgewählt wird.

Wie zu sehen ist, übertrifft das HD-Painter-Rahmenwerk bestehende Rahmenwerke in drei verschiedenen Metriken um einen signifikanten Betrag, insbesondere die Verbesserung von 1,5 Punkten auf der CLIP-Metrik und der Unterschied in der generierten Genauigkeit von etwa 10 % im Vergleich zu anderen state-of-the-art-Methoden.

Weiterhin zeigt die folgende Abbildung den qualitativen Vergleich des HD-Painter-Rahmenwerks mit anderen Inpainting-Rahmenwerken. Wie zu sehen ist, generieren andere Basismodelle entweder die fehlenden Regionen im Bild als Fortsetzung der bekannten Regionen-Objekte, wobei sie den Prompt ignorieren, oder sie generieren einen Hintergrund. Andererseits kann das HD-Painter-Rahmenwerk die Ziel-Objekte erfolgreich generieren, dank der Implementierung der PAIntA- und der RASG-Komponenten in seiner Architektur.

Final Thoughts

In diesem Artikel haben wir über HD-Painter gesprochen, einen trainingsfreien text-gesteuerten Hochauflösungs-Inpainting-Ansatz, der die Herausforderungen angeht, die von bestehenden Inpainting-Rahmenwerken erfahren werden, einschließlich Prompt-Verachtung und nahe-Objekt-Dominanz. Das HD-Painter-Rahmenwerk implementiert eine Prompt-Aware-Introverted-Attention-Schicht (PAIntA), die prompt-Informationen verwendet, um die Selbst-Aufmerksamkeitsscores zu verbessern, was zu einer besseren Text-Alignment-Generierung führt.

Um die Kohärenz des Prompts weiter zu verbessern, führt das HD-Painter-Modell einen Reweighting-Attention-Score-Guidance-Ansatz (RASG) ein, der eine post-hoc-Sampling-Strategie in die allgemeine Form des DDIM-Komponenten nahtlos integriert, um latenten Verschiebungen außerhalb der Verteilung zu verhindern. Darüber hinaus führt das HD-Painter-Rahmenwerk eine spezielle Super-Auflösungstechnik ein, die für Inpainting angepasst ist, was es ermöglicht, auf größere Skalen zu skalieren und fehlende Regionen im Bild mit einer Auflösung von bis zu 2K zu vervollständigen.