Visuelle Design-Tools und Vision-Sprachmodelle haben weitreichende Anwendungen in der Multimedia-Industrie. Trotz erheblicher Fortschritte in den letzten Jahren ist ein solides Verständnis dieser Tools für ihren Betrieb noch immer notwendig. Um die Zugänglichkeit und Kontrolle zu verbessern,采用 die Multimedia-Industrie zunehmend textgesteuerte oder anleitungsbasierte Bildbearbeitungstechniken. Diese Techniken verwenden natürliche Sprachbefehle anstelle traditioneller regionaler Masken oder ausführlicher Beschreibungen, was eine flexiblere und kontrolliertere Bildmanipulation ermöglicht. Allerdings liefern anleitungsbasierte Methoden oft kurze Anweisungen, die für bestehende Modelle schwierig zu erfassen und auszuführen sein können. Darüber hinaus sind Diffusionsmodelle, die für ihre Fähigkeit bekannt sind, realistische Bilder zu erstellen, in der Bildbearbeitungsbranche sehr gefragt.

Außerdem haben Multimodale Große Sprachmodelle (MLLMs) beeindruckende Leistungen in Aufgaben mit visueller Wahrnehmung und cross-modaler Verständigung gezeigt. MLLM-Gesteuerte Bildbearbeitung (MGIE) ist eine Studie, die von MLLMs inspiriert ist und ihre Fähigkeiten bewertet und analysiert, wie sie die Bearbeitung durch Text oder Anweisungen unterstützen. Dieser Ansatz beinhaltet das Lernen, explizite Anweisungen zu geben und ausdrucksstarke Anweisungen abzuleiten. Das MGIE-Bearbeitungsmodell versteht visuelle Informationen und führt Bearbeitungen durch End-to-End-Training aus. In diesem Artikel werden wir uns mit MGIE auseinandersetzen und seine Auswirkungen auf die globale Bildoptimierung, Photoshop-Änderungen und lokale Bearbeitung bewerten. Wir werden auch die Bedeutung von MGIE bei anleitungsbasierten Bildbearbeitungsaufgaben diskutieren, die auf ausdrucksstarken Anweisungen basieren. Lassen Sie uns unsere Erforschung beginnen.

MLLM-Gesteuerte Bildbearbeitung oder MGIE: Eine Einführung

Multimodale Große Sprachmodelle und Diffusionsmodelle sind zwei der am häufigsten verwendeten KI- und ML-Frameworks, die aufgrund ihrer bemerkenswerten generativen Fähigkeiten verwendet werden. Einerseits haben Sie Diffusionsmodelle, die für die Erstellung hochrealistischer und visuell ansprechender Bilder bekannt sind, während andererseits Multimodale Große Sprachmodelle für ihre außergewöhnliche Fähigkeit bekannt sind, eine Vielzahl von Inhalten, einschließlich Text, Sprache, Sprache und Bildern/Videos, zu generieren.

Diffusionsmodelle tauschen die latenten cross-modalen Karten aus, um visuelle Manipulationen durchzuführen, die die Änderung der Eingabezielposition widerspiegeln, und sie können auch eine gesteuerte Maske verwenden, um eine bestimmte Region des Bildes zu bearbeiten. Der Hauptgrund, warum Diffusionsmodelle für Multimedia-Anwendungen weit verbreitet sind, liegt jedoch darin, dass sie anstelle von ausführlichen Beschreibungen oder regionalen Masken anleitungsbasierte Bearbeitungsansätze verwenden, die es Benutzern ermöglichen, direkt durch Textanweisungen oder Befehle zu bearbeiten. Wenn wir weitermachen, benötigen Large Language Modelle keine Einführung, da sie erhebliche Fortschritte in einer Vielzahl von Sprachaufgaben wie Textzusammenfassung, Maschinenerstellung, Texterstellung und Beantwortung von Fragen gezeigt haben. LLMs werden normalerweise auf einer großen und vielfältigen Menge an Trainingsdaten trainiert, die sie mit visueller Kreativität und Wissen ausstatten und es ihnen ermöglichen, mehrere visuelle Sprachaufgaben durchzuführen. Aufbauend auf LLMs können MLLMs oder Multimodale Große Sprachmodelle Bilder als natürliche Eingaben verwenden und angemessene visuell bewusste Antworten liefern.

Mit anderen Worten, obwohl Diffusionsmodelle und MLLM-Frameworks für Bildbearbeitungsaufgaben weit verbreitet sind, gibt es einige Steuerungsprobleme mit textbasierten Anweisungen, die die Gesamtleistung beeinträchtigen und zur Entwicklung von MGIE oder MLLM-Gesteuerte Bildbearbeitung führen, einem KI-gesteuerten Framework, das aus einem Diffusionsmodell und einem MLLM-Modell besteht, wie in dem folgenden Bild gezeigt.

Innerhalb der MGIE-Architektur wird das Diffusionsmodell End-to-End trainiert, um Bildbearbeitungen mit latenter Vorstellung des beabsichtigten Ziels durchzuführen, während das MLLM-Modell lernt, präzise ausdrucksstarke Anweisungen vorherzusagen. Zusammen nutzen das Diffusionsmodell und das MLLM-Modell die inhärente visuelle Ableitung, um die Steuerungsprobleme zu lösen, und ermöglichen so eine realistische Bearbeitung von Bildern, wie im folgenden Bild gezeigt.

Das MGIE-Modell zieht seine Inspiration aus zwei bestehenden Ansätzen: Anleitungsbasierte Bildbearbeitung und Vision Large Language Modelle.

Anleitungsbasierte Bildbearbeitung kann die Zugänglichkeit und Kontrolle der visuellen Manipulation erheblich verbessern, indem sie menschlichen Befehlen folgt. Es gibt zwei Hauptframeworks, die für anleitungsbasierte Bildbearbeitung verwendet werden: GAN-Frameworks und Diffusionsmodelle. GAN oder Generative Adversarial Networks sind in der Lage, Bilder zu ändern, aber sie sind entweder auf bestimmte Domänen beschränkt oder produzieren unrealistische Ergebnisse. Andererseits können Diffusionsmodelle mit großem Maßstab trainiert werden, um die cross-modalen Aufmerksamkeitskarten für globale Karten zu steuern und so Bildbearbeitung und -transformation durchzuführen. Anleitungsbasierte Bearbeitung funktioniert, indem sie direkte Befehle als Eingabe erhält, oft nicht auf regionale Masken und ausführliche Beschreibungen beschränkt. Es gibt jedoch eine Wahrscheinlichkeit, dass die bereitgestellten Anweisungen entweder mehrdeutig oder nicht präzise genug sind, um Anweisungen für Bearbeitungsaufgaben zu folgen.

Vision Large Language Modelle sind für ihre textgenerierenden und generalisierenden Fähigkeiten in verschiedenen Aufgaben bekannt und haben oft ein robustes textuelles Verständnis und können auch ausführbare Programme oder Pseudocode produzieren. Diese Fähigkeit von Large Language Modelle ermöglicht es MLLMs, Bilder wahrzunehmen und angemessene Antworten unter Verwendung der visuellen Merkmalsausrichtung mit Anweisungstuning zu liefern, wobei aktuelle Modelle MLLMs verwenden, um Bilder in Bezug auf den Chat oder den Eingabetext zu generieren. Was MGIE jedoch von MLLMs oder VLLMs unterscheidet, ist die Tatsache, dass letztere Bilder aus dem Nichts erstellen können, während MGIE die Fähigkeiten von MLLMs nutzt, um die Bildbearbeitungsfähigkeiten mit abgeleiteten Anweisungen zu verbessern.

MGIE: Architektur und Methodik

Traditionell wurden Large Language Modelle für generative natürliche Sprachverarbeitungsaufgaben verwendet. Aber seit MLLMs populär wurden, wurden LLMs mit der Fähigkeit ausgestattet, vernünftige Antworten zu liefern, indem sie Bilder als Eingabe wahrnehmen. Konventionell wird ein Multimodales Großes Sprachmodell von einem vorge trainierten LLM initialisiert und enthält einen visuellen Encoder und einen Adapter, um die visuellen Merkmale zu extrahieren und die visuellen Merkmale in die Sprachmodality zu projizieren. Aufgrund dessen ist das MLLM-Modell in der Lage, visuelle Eingaben wahrzunehmen, obwohl die Ausgabe noch auf Text beschränkt ist.

Das vorgeschlagene MGIE-Modell zielt darauf ab, dieses Problem zu lösen und es einem MLLM zu ermöglichen, ein Eingabebild in ein Ausgabebild auf der Grundlage der bereitgestellten textuellen Anweisung zu bearbeiten. Um dies zu erreichen, beherbergt das MGIE-Modell ein MLLM und trainiert es, knappe und explizite ausdrucksstarke Textanweisungen abzuleiten. Darüber hinaus fügt das MGIE-Modell spezielle Bildtoken in seine Architektur ein, um die Lücke zwischen visueller und sprachlicher Modality zu überbrücken, und adoptiert den Edit-Head für die Transformation der Modalitäten. Diese Modalitäten dienen als latente visuelle Vorstellung von dem Multimodalen Großen Sprachmodell und leiten das Diffusionsmodell an, um die Bearbeitungsaufgaben durchzuführen. Das MGIE-Modell ist dann in der Lage, visuelle Wahrnehmungsaufgaben für vernünftige Bildbearbeitung durchzuführen.

Knappe ausdrucksstarke Anweisung

Traditionell können Multimodale Große Sprachmodelle visuell verwandte Antworten mit ihrer cross-modalen Wahrnehmung aufgrund von Anweisungstuning und Merkmalsausrichtung liefern. Um Bilder zu bearbeiten, verwendet das MGIE-Modell einen textuellen Prompt als primäre Spracheingabe mit dem Bild und leitet eine detaillierte Erklärung für den Bearbeitungsbefehl ab. Diese Erklärungen können jedoch oft zu lang oder repetitive Beschreibungen enthalten, die zu missverstandenen Absichten führen, was das MGIE-Modell zwingt, einen vorge trainierten Summarizer zu verwenden, um prägnante Erzählungen zu erhalten, die es dem MLLM ermöglichen, zusammengefasste Ausgaben zu generieren. Das Modell behandelt die knappe, aber explizite Anweisung als ausdrucksstarke Anweisung und wendet den Cross-Entropy-Verlust an, um das Multimodale Große Sprachmodell unter Verwendung von Lehrer-Enforcement zu trainieren.

Die Verwendung einer ausdrucksstarken Anweisung bietet im Vergleich zur Textanweisung eine konkretere Vorstellung, da sie die Lücke für vernünftige Bildbearbeitung überbrückt und die Effizienz des Modells weiter verbessert. Darüber hinaus leitet das MGIE-Modell während der Inferenzperiode knappe ausdrucksstarke Anweisungen ab, anstatt lange Erzählungen zu produzieren und auf externe Zusammenfassung zu vertrauen. Aufgrund dessen kann das MGIE-Modell die visuelle Vorstellung der Bearbeitungsabsichten erfassen, ist jedoch noch auf die sprachliche Modality beschränkt. Um diese Hürde zu überwinden, fügt das MGIE-Modell eine bestimmte Anzahl von visuellen Token nach der ausdrucksstarken Anweisung mit trainierbaren Wort-Embeddings hinzu, die es dem MLLM ermöglichen, sie unter Verwendung seines LM- oder Sprachmodell-Heads zu generieren.

Bildbearbeitung mit latenter Vorstellung

Im nächsten Schritt adoptiert das MGIE-Modell den Edit-Head, um die Bildanweisung in tatsächliche visuelle Anweisung umzuwandeln. Der Edit-Head ist ein sequenzielles Modell, das hilft, die sequenziellen visuellen Token von dem MLLM in die bedeutungsvollen latenten semantischen Anweisungen als Bearbeitungsanweisung umzuwandeln. Um spezifischer zu sein, kann die Transformation über die Wort-Embeddings als allgemeine Darstellung in der visuellen Modality interpretiert werden und verwendet ein instanzbewusstes visuelles Vorstellungsmodell für die Bearbeitungsabsichten. Darüber hinaus, um Bildbearbeitung mit visueller Vorstellung zu leiten, integriert das MGIE-Modell ein latentes Diffusionsmodell in seine Architektur, das einen variationalen Autoencoder und die Lärmminderung in dem latenten Raum umfasst. Das primäre Ziel des latenten Diffusionsmodells ist es, das latente Ziel zu generieren, indem es die latente Eingabe bewahrt und der Bearbeitungsanweisung folgt. Der Diffusionsprozess fügt Rauschen zum latenten Ziel über regelmäßige Zeitintervalle hinzu und das Rauschenniveau erhöht sich mit jedem Zeitschritt.

Lernen von MGIE

Die folgende Abbildung fasst den Algorithmus des Lernprozesses des vorgeschlagenen MGIE-Modells zusammen.

Wie zu sehen ist, lernt das MLLM, knappe ausdrucksstarke Anweisungen unter Verwendung des Anweisungsverlusts abzuleiten. Unter Verwendung der latenten Vorstellung von der Eingabe-Bildanweisung transformiert das Modell die Modality des Edit-Heads und leitet das latente Diffusionsmodell an, um das resultierende Bild zu synthetisieren, und wendet den Bearbeitungsverlust für die Diffusions-Schulung an. Schließlich friert das Modell die meisten Gewichte ein, was zu einer parameter-effizienten End-to-End-Schulung führt.

MGIE: Ergebnisse und Bewertung

Das MGIE-Modell verwendet die IPr2Pr-Datenbank als primäre Vorschuldaten und enthält über 1 Million CLIP-gesichterte Daten mit Anweisungen, die aus dem GPT-3-Modell extrahiert wurden, und einem Prompt-to-Prompt-Modell, um Bilder zu synthetisieren. Darüber hinaus behandelt das MGIE-Modell das InsPix2Pix-Modell, das auf dem CLIP-Text-Encoder mit einem Diffusionsmodell aufbaut, als Referenz für anleitungsbasierte Bildbearbeitungsaufgaben. Darüber hinaus berücksichtigt das MGIE-Modell auch ein LLM-gesteuertes Bildbearbeitungsmodell, das für ausdrucksstarke Anweisungen aus anweisungsbezogenen Eingaben ohne visuelle Wahrnehmung verwendet wird.

Quantitative Analyse

Die folgende Abbildung fasst die Bearbeitungsergebnisse in einer Zero-Shot-Einstellung zusammen, in der die Modelle nur auf der IPr2Pr-Datenbank trainiert wurden. Für GIER- und EVR-Daten, die Photoshop-Änderungen beinhalten, können die ausdrucksstarken Anweisungen konkrete Ziele anstelle von mehrdeutigen Befehlen offenbaren, was es den Bearbeitungsergebnissen ermöglicht, den Bearbeitungsabsichten besser zu entsprechen.

Obwohl sowohl das LGIE als auch das MGIE auf den gleichen Daten wie das InsPix2Pix-Modell trainiert wurden, können sie detaillierte Erklärungen durch Lernen mit dem großen Sprachmodell liefern, aber das LGIE ist noch auf eine einzige Modality beschränkt. Darüber hinaus kann das MGIE-Modell eine signifikante Leistungssteigerung bieten, da es Zugang zu Bildern hat und diese verwenden kann, um explizite Anweisungen abzuleiten.

Um die Leistung bei anleitungsbasierten Bildbearbeitungsaufgaben für bestimmte Zwecke zu bewerten, feinjustieren Entwickler mehrere Modelle auf jeder Datenbank, wie in der folgenden Tabelle zusammengefasst.

Wie zu sehen ist, zeigen die Modelle nach der Anpassung an die Photoshop-Änderungen für EVR und GIER eine Leistungssteigerung. Es ist jedoch zu beachten, dass die Feinjustierung auch ausdrucksstarke Anweisungen domänen-spezifischer macht, so dass das MGIE-Modell eine massive Leistungssteigerung erlebt, da es auch domänenbezogene Anweisungen lernt, was es dem Diffusionsmodell ermöglicht, konkrete bearbeitete Szenen aus dem feinjustierten großen Sprachmodell zu demonstrieren, was sowohl die lokale Modifikation als auch die lokale Optimierung begünstigt. Darüber hinaus liefert das MGIE-Modell aufgrund der visuell bewussten Anweisung, die mehr mit den beabsichtigten Bearbeitungszielen übereinstimmt, konsistent bessere Ergebnisse im Vergleich zu LGIE.

Die folgende Abbildung zeigt den CLIP-Score über die Eingabe- oder Grundwahrheitsbilder und die ausdrucksstarke Anweisung. Ein höherer CLIP-Score zeigt die Relevanz der Anweisungen mit der Bearbeitungsquelle an, und wie zu sehen ist, hat das MGIE einen höheren CLIP-Score im Vergleich zum LGIE-Modell über beide Eingabe- und Ausgabebilder.

Qualitative Ergebnisse

Die folgende Abbildung fasst die qualitative Analyse des MGIE-Modells perfekt zusammen.

Wie wir wissen, ist das LGIE-Modell auf eine einzige Modality beschränkt, da es nur eine sprachbasierte Erkenntnis hat und anfällig für die Ableitung falscher oder irrelevanter Erklärungen für die Bildbearbeitung ist. Das MGIE-Modell hingegen ist multimodal und kann mit Zugang zu Bildern die Bearbeitungsaufgaben durchführen und explizite visuelle Vorstellung liefern, die gut mit dem Ziel übereinstimmt.

Letzte Gedanken

In diesem Artikel haben wir über MGIE oder MLLM-Gesteuerte Bildbearbeitung gesprochen, eine MLLM-inspirierte Studie, die darauf abzielt, Multimodale Große Sprachmodelle zu bewerten und zu analysieren, wie sie die Bearbeitung durch Text oder Anweisungen unterstützen, während sie lernen, explizite Anweisungen durch die Ableitung ausdrucksstarker Anweisungen gleichzeitig abzuleiten. Das MGIE-Bearbeitungsmodell erfasst die visuellen Informationen und führt Bearbeitungen oder Manipulationen durch End-to-End-Training durch. Anstelle von mehrdeutigen und kurzen Anweisungen produziert das MGIE-Modell explizite visuell bewusste Anweisungen, die zu vernünftiger Bildbearbeitung führen.