Erhebliche Fortschritte in großen Sprachmodellen (LLMs) haben die Entwicklung von multimodalen großen Sprachmodellen (MLLMs) inspiriert. Frühe MLLM-Bemühungen, wie LLaVA, MiniGPT-4 und InstructBLIP, zeigen bemerkenswerte multimodale Verständnisfähigkeiten. Um LLMs in multimodale Bereiche zu integrieren, haben diese Studien die Projektion von Merkmalen aus einem vorab trainierten modalspezifischen Encoder, wie CLIP, in den Eingaberaum von LLMs erforscht, was multimodales Verständnis und Denken innerhalb des Transformer-Backbones ermöglicht. Obwohl es verschiedene Designentscheidungen für MLLMs gibt, wie z.B. Vision-Encoder, Feature-Alignment-Adapter und Datensätze, folgt die Ausbildung der meisten dieser Modelle dem autoregressiven Generierungsparadigma, das sich für die Textgenerierung in LLMs als effektiv erwiesen hat. Trotz ihrer starken multimodalen Verständnisfähigkeiten konzentrieren sich diese Modelle hauptsächlich auf visuelle Wahrnehmung und verfügen nicht über die Fähigkeit, multimodale Ausgaben jenseits von Text zu generieren.

Transformer-Modelle haben in der autoregressiven Modellierung in der natürlichen Sprachverarbeitung große Erfolge erzielt. Inspiriert durch diese Fortschritte haben vorherige Studien die gleiche autoregressive Modellierung direkt angewendet, um die Abhängigkeit von Bildpixeln für die Bild- und Videogenerierung zu erlernen. Zum Beispiel verwendet VideoPoet eine Decoder-Only-Transformer-Architektur, um hochwertige Videos aus multimodalen Eingaben zu synthesieren. Vor kurzem hat LlamaGen gezeigt, dass eine große Sprachmodell-Architektur wie Llama autoregressiv Bildtoken modellieren kann und dabei eine anständige Leistung in der klassenbedingten Bildgenerierung erzielt.

In diesem Artikel werden wir Show-O besprechen, einen vereinigten Transformer, der multimodales Verständnis und Generierung integriert. Im Gegensatz zu vollständig autoregressiven Modellen vereint Show-O autoregressive und diskrete Diffusionsmodellierung, um Eingaben und Ausgaben verschiedener und gemischter Modalitäten adaptiv zu handhaben. Das vereinigte Modell unterstützt flexibel eine breite Palette von Vision-Sprach-Aufgaben, einschließlich visueller Fragebeantwortung, Text-Bild-Generierung, textgesteuerter Ausfüllung/Extrapolation und gemischter Modellgenerierung. In verschiedenen Benchmarks zeigt Show-O eine vergleichbare oder bessere Leistung als bestehende Einzelmodelle mit einer äquivalenten oder größeren Anzahl von Parametern, was sein Potenzial als nächste Generation von Grundmodellen unterstreicht.

In diesem Rahmen wird das Modell mit der Vorhersage von Gaußschem Rauschen beauftragt, das zu den kontinuierlichen latenten Darstellungen hinzugefügt wird. Im Gegensatz dazu verwenden andere Modelle wie D3PM, Mask-predict, ARDM und MaskGIT einen diskreten Korruptionsprozess als Alternative zur Gauß-Diffusion. Insbesondere wird ein Bild als eine Folge von diskreten Tokenn darstellt, wobei jedem Token eine kategorische Bezeichnung zugeordnet ist. Die tokenweise Verteilung wird durch einen stochastischen Stichprobenprozess in eine einheitliche Verteilung umgewandelt. Während der Ausbildung wird ein Teil dieser Tokenn zufällig maskiert, und das Modell wird trainiert, die ursprünglichen Werte der maskierten Tokenn vorherzusagen. In dieser Arbeit verwendet Show-O diskrete Diffusionsmodellierung für visuelle Generierung.

SHOW-O: Vereinigung von Multimodalem Verständnis und Generierung

In den letzten Jahren sind erhebliche Fortschritte in den beiden Schlüsselsäulen der multimodalen Intelligenz aufgetreten: Verständnis und Generierung. Für multimodales Verständnis haben Multimodale Große Sprachmodelle (MLLMs) wie LLaVA bemerkenswerte Fähigkeiten in Vision-Sprach-Aufgaben wie visueller Fragebeantwortung (VQA) demonstriert. Für visuelle Generierung haben Lärm-Diffusions-Modellierung (DDPMs) traditionelle generative Paradigmen revolutioniert und eine beispiellose Leistung in Text-Bild- und Text-Video-Generierung erzielt.

Angesichts dieser Erfolge in einzelnen Bereichen ist es natürlich, das Potenzial der Verbindung zwischen ihnen zu erforschen. Aktuelle Arbeiten haben versucht, Expertenmodelle aus diesen beiden verschiedenen Bereichen zu einem vereinigten System zu kombinieren, das sowohl multimodales Verständnis als auch Generierung handhaben kann. Allerdings erfordern bestehende Versuche oft separate Modelle für Verständnis und Generierung. Zum Beispiel verwendet NExT-GPT ein Basis-Sprachmodell für multimodales Verständnis, aber benötigt ein zusätzliches vorab trainiertes Diffusionsmodell für Bildgenerierung. Dies wirft die Frage auf: Kann ein einzelner Transformer sowohl multimodales Verständnis als auch Generierung handhaben?

Kürzlich hat Chameleon gezeigt, dass dies möglich ist. Insbesondere ermöglicht Chameleon die Fusion von verschiedenen Modalitäten, um sowohl Text- als auch Bildtoken zu generieren, durch autoregressive Modellierung. Während es sinnvoll ist, Texttoken autoregressiv zu modellieren, ist es weniger klar, ob die Modellierung von Bildpatchen oder Pixeln auf die gleiche Weise optimal ist. Ein wichtiger Engpass der autoregressiven Vorhersage eines Bildes ist die große Anzahl von Stichproben, die erforderlich sind, insbesondere bei der Verarbeitung von Bildern mit höherer Auflösung. Kontinuierliche Diffusionsmodelle haben im Vergleich zu autoregressiven Modellen eine bessere Leistung in der visuellen Generierung gezeigt.

Dies führt uns dazu, zu erforschen, ob ein einzelner Transformer autoregressive und Diffusionsmodellierung integrieren kann. Show-O stellt ein neues Paradigma vor, in dem Text als diskrete Token dargestellt und autoregressiv modelliert wird, während kontinuierliche Bildpixel durch Lärm-Diffusionsmodellierung modelliert werden. Allerdings ist die Integration dieser beiden unterschiedlichen Techniken in ein einzelnes Netzwerk nicht trivial aufgrund der Unterschiede zwischen diskretem Text und kontinuierlichen Bildrepräsentationen. Darüber hinaus basieren Diffusionsmodelle typischerweise auf zwei verschiedenen Modellen: einem Text-Encoder und einem Lärm-Netzwerk.

Um dies zu bewältigen, stellt Show-O ein neues vereinigtes Modell vor, das sowohl multimodales Verständnis als auch Generierungsaufgaben mit gemischter autoregressiver und Diffusionsmodellierung handhaben kann. Show-O basiert auf einem vorab trainierten LLM und nutzt dessen autoregressive Modellierungsfähigkeiten für textbasiertes Denken. Inspiriert durch andere Arbeiten verwendet Show-O diskrete Lärm-Diffusionsmodellierung, um Bildtoken anstelle von kontinuierlichen Repräsentationen zu modellieren. Darüber hinaus kodiert Show-O textkonditionale Informationen inhärent, wodurch die Notwendigkeit für zusätzliche Text-Encoder entfällt. Durch die Verwendung von Text- und Bildtokenisierern kann Show-O verschiedene Eingabedaten und Aufgaben verarbeiten und Antworten autoregressiv für Vision-Sprach-Aufgaben und Bildgenerierung durch diskrete Lärm-Diffusionsmodellierung liefern.

Show-O zeigt eine vergleichbare oder bessere Leistung als bestehende Einzelmodelle mit einer äquivalenten oder größeren Anzahl von Parametern in verschiedenen Benchmarks, was sein Potenzial als nächste Generation von Grundmodellen unterstreicht. Im Gegensatz zur autoregressiven Bildgenerierung erfordert das Show-O-Framework etwa 20-mal weniger Stichproben, was es inhärent schneller macht. Darüber hinaus unterstützt das Show-O-Framework Downstream-Anwendungen wie textgesteuerte Ausfüllung und Extrapolation ohne Fine-Tuning, wie in der folgenden Abbildung gezeigt.

Show-O hat auch das Potenzial für gemischte Modellgenerierung, wie z.B. die Erstellung von Video-Schlüsselbildern mit Textbeschreibungen, was vielversprechend für die Erstellung von Langzeitvideos ist. Darüber hinaus untersucht das Show-O-Framework den Einfluss von diskreten und kontinuierlichen Bildrepräsentationen auf multimodales Verständnis und bietet Erkenntnisse für die Gestaltung von zukünftigen vereinigten Modellen.

Die folgende Abbildung zeigt einen Vergleich der Modellmerkmale zwischen dem Show-O-Framework und bestehenden Methoden in verschiedenen Bereichen. Show-O ragt als ein vereinigtes Modell hervor, das fortschrittliche Techniken für sowohl multimodales Verständnis als auch Generierung integriert.

Zusammenfassend sind die Hauptbeiträge dieses Artikels wie folgt:

• SHOW-O ist ein vereinigtes Modell, das multimodales Verständnis und Generierung mithilfe eines einzelnen Transformers integriert.
• SHOW-O vereint autoregressive und diskrete Diffusionsmodellierung innerhalb eines einzelnen Transformers, um sowohl Text als auch Bilder effektiv zu handhaben.
• Das Show-O-Framework übertrifft oder erreicht die Leistung von bestehenden Einzelmodellen mit einer äquivalenten oder größeren Anzahl von Parametern in Benchmarks für multimodales Verständnis und Generierung.
• SHOW-O unterstützt Downstream-Anwendungen wie textgesteuerte Ausfüllung und Extrapolation ohne Fine-Tuning und zeigt vielversprechendes Potenzial für gemischte Modellgenerierung.
• SHOW-O untersucht den Einfluss von verschiedenen Arten von Repräsentationen und bietet wertvolle Erkenntnisse für die Verbesserung des multimodalen Verständnisses in vereinigten Modellen.

In den letzten Jahren haben sich eine zunehmende Anzahl von Studien auf vereinigte multimodale Sprachmodelle konzentriert, die sowohl Verständnis als auch Generierung ermöglichen. Einige Bemühungen verwenden kontinuierliche Repräsentationen, die mit Texttokenn verflochten sind, für autoregressive Modellierung, um Bilder zu generieren. SEED-X schlägt ein vereinigtes und vielseitiges Grundsystem vor, das sowohl multimodales Verständnis als auch Generierungsaufgaben handhaben kann. In diesem Ansatz werden kontinuierliche Bildrepräsentationen aus dem CLIP-ViT-Encoder mit Texttokenn kombiniert und in ein großes Sprachmodell (LLM) eingegeben, um die Vorhersage des nächsten Wortes und die Regressionsanalyse der Bildrepräsentation durchzuführen. Chameleon stellt eine Familie von tokenbasierten gemischten Modellen vor, die sowohl Verständnis als auch Generierung von Bildern ermöglichen. Dieser Ansatz repräsentiert alle Modalitäten als diskrete Token und verwendet eine vereinigte Transformer-basierte Architektur, die vom Scratch aus in einer End-to-End-Manier trainiert wird. Im Vergleich dazu verwendet Show-O auch diskrete Token, um alle Modalitäten darzustellen, aber es verwendet einen diskreten Diffusionsprozess anstelle von autoregressiver Modellierung für visuelle Generierung.

SHOW-O: Methodik und Architektur

Das primäre Ziel hinter dem Show-O-Framework ist die Entwicklung eines vereinigten Modells, das autoregressive und Diffusionsmodellierung für gemeinsames multimodales Verständnis und Generierung integriert. Die Entwicklung eines solchen vereinigten Modells wirft erhebliche Herausforderungen auf, mit Kernproblemen, die sich um folgende Punkte drehen: i) Definition des Eingabe-/Ausgaberaums des Modells; ii) Vereinigung verschiedener Arten von Eingabedaten aus verschiedenen Modalitäten; iii) Integration von autoregressiver und Diffusionsmodellierung in ein einzelnes Netzwerk; und iv) effektives Training eines solchen vereinigten Modells.

Show-O bewältigt diese Herausforderungen mit den folgenden Lösungen:

• Show-O konstruiert den Eingabe-/Ausgaberaum, indem es Text- und Bildaten in diskrete Token zerlegt.
• Show-O stellt seine Standardarchitektur und eine vereinigte Prompt-Strategie vor, um Eingabedaten und Modalitäten zu strukturieren.
• Show-O zeigt, wie autoregressive und Diffusionsmodellierung innerhalb eines einzelnen Transformers integriert werden können.
• Show-O präsentiert eine dreistufige Trainingspipeline, um das vereinigte Modell effektiv zu trainieren.

Tokenisierung

Da das vorgeschlagene Show-O auf vorab trainierten LLMs basiert, ist es natürlich, vereinigtes Lernen im diskreten Raum durchzuführen. Durch die Aufrechterhaltung eines vereinigten Vokabulars, das diskrete Text- und Bildtoken umfasst, wird Show-O mit dem gleichen Lernziel beauftragt: die Vorhersage diskreter Token.

Text-Tokenisierung

Show-O basiert auf einem vorab trainierten LLM, und der gleiche Tokenizer wird für die Textdaten-Tokenizerierung ohne Modifikationen verwendet.

Bild-Tokenisierung

Show-O trainiert einen lookup-freien Quantisierer mit etwa 35 Millionen Bildaten, basierend auf MAGVIT-v2. Der Quantisierer behält ein Codebook der Größe 8.192 und kodiert Bilder mit einer Auflösung von 256×256 in 16×16 diskrete Token. MAGVIT-v2 wird aufgrund seiner leichten Feinabstimmung gewählt, was es zu einem geeigneten Video-Tokenizer mit temporaler Komprimierungsfähigkeit macht, einem Aspekt, den Show-O in Zukunft erforschen möchte. Ein alternativer Ansatz besteht darin, verschiedene Tokenizer für Verständnis und Generierung zu verwenden. Inspiriert durch bestehende Studien verwendet Show-O auch kontinuierliche Bildrepräsentationen aus dem vorab trainierten MAGVIT-v2 und CLIP-ViT-Encoder, um Verbesserungen in der multimodalen Verständnisfähigkeit zu erforschen. In den folgenden Abschnitten verwendet das Standard-Show-O diskrete Bildtoken als Eingabe für sowohl multimodales Verständnis als auch Generierung.

Architektur

Show-O erbt die Architektur von bestehenden LLMs ohne Architekturmodifikationen, außer dass ein QK-Norm-Operation jedem Aufmerksamkeitslayer vorangestellt wird. Show-O wird mit den Gewichten eines vorab trainierten LLM initialisiert und erweitert die Größe der Einbettungsschicht, indem es 8.192 neue lernbare Einbettungen für diskrete Bildtoken hinzufügt. Im Gegensatz zu state-of-the-art-Diffusionsmodellen, die einen zusätzlichen Text-Encoder erfordern, kodiert Show-O textkonditionale Informationen inhärent für die Text-Bild-Generierung.

Vereinigte Prompt-Strategie 

Um vereinigtes Lernen auf multimodales Verständnis und Generierung durchzuführen, verwendet Show-O eine vereinigte Prompt-Strategie, um verschiedene Arten von Eingabedaten zu formatieren. Gegeben ein Bild-Text-Paar (x, y), wird es zuerst in M-Bildtoken und N-Texttoken durch den Bild- und Text-Tokenizer tokenisiert. Die Token werden dann in eine Eingabesequenz gemäß der Aufgabentyp formatiert, wie in der folgenden Abbildung gezeigt.

Durch die Verwendung dieser Prompt-Strategie kann Show-O verschiedene Eingabedaten für multimodales Verständnis, Text-Bild-Generierung und gemischte Modellgenerierung effektiv kodieren und als sequenzielle Daten verarbeiten. Diese Einrichtung ermöglicht vereinigtes Lernen, das über Sequenzen für diese verschiedenen Aufgaben reibungslos funktioniert. Sobald Show-O trainiert ist, kann es durch Prompting für eine breite Palette von Vision-Sprach-Aufgaben, einschließlich visueller Fragebeantwortung und Text-Bild-Generierung, beauftragt werden.

Omni-Aufmerksamkeitsmechanismus 

Im Gegensatz zu bestehenden Arbeiten, die Sequenzen nur autoregressiv modellieren, stellt Show-O einen Omni-Aufmerksamkeitsmechanismus vor, der es ermöglicht, verschiedene Arten von Signalen auf unterschiedliche Weise zu modellieren. Dieser umfassende Aufmerksamkeitsmechanismus schaltet adaptiv zwischen kausaler und voller Aufmerksamkeit basierend auf dem Format der Eingabesequenz. Die folgende Abbildung zeigt Beispiele für Omni-Aufmerksamkeit für verschiedene Eingabesequenzen.

Insbesondere verarbeitet Show-O Texttoken innerhalb der Sequenz durch kausale Aufmerksamkeit, während Bildtoken durch volle Aufmerksamkeit verarbeitet werden, wodurch jedes Token umfassend mit allen anderen interagieren kann. In multimodalem Verständnis können Texttoken auf alle vorherigen Bildtoken achten, während in der Text-Bild-Generierung Bildtoken mit allen vorherigen Texttoken interagieren können. Der Omni-Aufmerksamkeitsmechanismus bewahrt die textbasierte Denkfähigkeit des vorab trainierten LLM und verbessert die Effizienz der Bildgenerierung, indem die Anzahl der Stichproben reduziert wird. Darüber hinaus unterstützt es verschiedene Downstream-Anwendungen wie Ausfüllung und Extrapolation ohne Fine-Tuning. Wenn nur Texttoken vorhanden sind, standardisiert der Mechanismus auf kausale Aufmerksamkeit.

SHOW-O: Experimente und Ergebnisse

Die folgende Tabelle zeigt die multimodale Verständnisfähigkeit von Show-O in öffentlichen Benchmarks, wie z.B. Bildbeschreibung und visueller Fragebeantwortung.

Die aktuelle Version von Show-O basiert auf Phi-1.5, und daher dient Show-Os Verständnis-Only-Gegenstück, LLaVA-v1.5-Phi-1.5, als direkter Vergleich. Show-O zeigt eine vergleichbare Leistung in allen Bewertungsmetriken im Vergleich zum Vergleichsmodell LLaVA-v1.5-Phi-1.5, das ausschließlich für multimodales Verständnis konzipiert ist. Dies unterstreicht das große Potenzial des Show-O-Frameworks, multimodales Verständnis und Generierung in einem einzelnen Transformer zu vereinen. Im Vergleich zu Verständnis-Only-Modellen wie InstructBLIP, Qwen-VL-Chat und mPLUG-Owl2 zeigt Show-O, trotz seiner viel kleineren Modellgröße, eine wettbewerbsfähige Leistung in den POPE-, MME-, Flickr30k- und VQAv2-Benchmarks und übertrifft die Leistung im GQA-Benchmark. Im Vergleich zu vereinigten Modellen mit deutlich mehr Parametern, wie z.B. NExT-GPT-13B und Chameleon-34B, zeigt Show-O auch eine starke Leistung im Flickr30k-Benchmark und übertrifft die Leistung im VQAv2-Benchmark.

Angesichts dieser vielversprechenden Ergebnisse wird Show-O als potenzielles nächstes Grundmodell für die Vereinigung von Verständnis und Generierung betrachtet. Diese Ergebnisse unterstreichen auch das Potenzial, Show-O zu skalieren, um eine Spitzenleistung zu erzielen.

Qualitative Vergleiche

Wir präsentieren qualitative Vergleiche mit Diffusionsmodellen wie SDv1.5, SDXL und dem autoregressiven Modell LlamaGen sowie vereinigten Modellen wie LWM und SEED-X, wie in der folgenden Abbildung gezeigt.

Show-O zeigt die Fähigkeit, realistische Bilder mit konsistenter Inhaltsbeschreibung in kurzen und langen Textprompts zu generieren. Im Vergleich zu SDv1.5 und LlamaGen zeigt Show-O eine bessere visuelle Qualität und eine stärkere Bild-Text-Übereinstimmung. Zum Beispiel verfehlen SDv1.5 und LlamaGen in der zweiten Spalte die vollständige Verständnis des Textprompts und vermissen Attribute wie “Sonnenuntergang” und “blaue Kuppeln” in den generierten Bildern. Im Vergleich zu SDXL zeigt Show-O eine vergleichbare visuelle Qualität und Übereinstimmung, wie in Beispielen wie “ein Rallye-Rennen” und “atemberaubender Kontrast gegen den lebendigen Sonnenuntergang” zu sehen ist.

Textgesteuerte Ausfüllung und Extrapolation 

Show-O unterstützt textgesteuerte Ausfüllung und Extrapolation ohne Fine-Tuning. Die folgende Abbildung zeigt einige Beispiele.

In der oberen Zeile der Abbildung kann Show-O einen roten Straßenbahnwagen in einen blauen Sportwagen mit eleganten Kurven und getönten Scheiben umwandeln, basierend auf einem Benutzertextprompt. Show-O kann auch das ursprüngliche Bild horizontal oder vertikal extrapolieren, basierend auf dem gegebenen Textprompt. Zum Beispiel kann Show-O in der zweiten Zeile ein Bild extrapolieren, indem es neue Objekte wie “rote Wildblumen” hinzufügt. Die Pixel in den ausgemalten und extrapolierten Bereichen bleiben konsistent mit dem ursprünglichen Bild. Diese Beispiele zeigen deutlich die inhärenten Vorteile von Show-O gegenüber autoregressiven Modellen für Downstream-Anwendungen.

Schlussgedanken

In diesem Artikel haben wir über Show-O gesprochen, einen vereinigten Transformer, der multimodales Verständnis und Generierung integriert. Im Gegensatz zu vollständig autoregressiven Modellen vereint Show-O autoregressive und diskrete Diffusionsmodellierung, um Eingaben und Ausgaben verschiedener und gemischter Modalitäten adaptiv zu handhaben. Das vereinigte Modell unterstützt flexibel eine breite Palette von Vision-Sprach-Aufgaben, einschließlich visueller Fragebeantwortung, Text-Bild-Generierung, textgesteuerter Ausfüllung/Extrapolation und gemischter Modellgenerierung. In verschiedenen Benchmarks zeigt Show-O eine vergleichbare oder bessere Leistung als bestehende Einzelmodelle mit einer äquivalenten oder größeren Anzahl von Parametern, was sein Potenzial als nächste Generation von Grundmodellen unterstreicht. In diesem Rahmen wird das Modell mit der Vorhersage von Gaußschem Rauschen beauftragt, das zu den kontinuierlichen latenten Darstellungen hinzugefügt wird. Im Gegensatz dazu verwenden andere Modelle wie D3PM, Mask-predict, ARDM und MaskGIT einen diskreten Korruptionsprozess als Alternative zur Gauß-Diffusion. Show-O ist das erste Modell, das autoregressive und diskrete Diffusionsmodellierung vereint, um verschiedene Modalitäten auf unterschiedliche Weise zu handhaben. Umfassende experimentelle Ergebnisse zeigen, dass Show-O mit oder sogar besser als Einzel-Expertenmodelle in einer breiten Palette von Vision-Sprach-Aufgaben vergleichbar ist, was sein Potenzial als nächste Generation von Grundmodellen unterstreicht.