Die jüngsten Fortschritte und Verbesserungen von Large Language Models haben zu einer signifikanten Steigerung der Fähigkeiten zur visuellen Vernunft, zum Verständnis und zur Interaktion geführt. Moderne Frameworks erreichen dies, indem sie visuelle Signale in LLMs oder Large Language Models einbringen, um ihre Fähigkeit zu ermöglichen, die Welt visuell zu interpretieren, eine Vielzahl von Szenarien, die auf visuelle Kodierungsstrategien angewiesen sind. Die Differenz in den Szenarien spiegelt eine begrenzte Abdeckung von LLMs in verschiedenen Domänen und Aufgaben wider, während die Differenz in den Auflösungen und Seitenverhältnissen die großen intraklassen-Variationen in realen Bildern aufzeigt, die schwer zu handhaben sind. Im Gegensatz zu kleinen Skalen, die die Varianz verringern, erreichen Modelle nach BERT die Bedeutung durch die niedrige Auflösung (z. B. für das LLaVA-UHD 224×224) von Bildern mit einem festen Seitenverhältnis, 1:1, um realen Bildern zu geben. Obwohl dieser Kompromiss nützlich ist, um die Verallgemeinerung von LLMs in realen Anwendungen zu gewährleisten, führt er oft zu sehr verschwommenen Bildern und fördert eine schwere Formverzerrung. Dies verringert die Fähigkeiten der großen Multi-Modal-Modelle oder LMMs (z. B. feinkörnige Aufgaben), wie die optische Zeichenerkennung und das Verständnis kleiner Objekte. Da die Auflösung und das Seitenverhältnis vordefiniert sind, können die Modelle nur die verschwommenen Bilder erraten, was zu Modell-Halluzinationen führt, eine Situation, in der das Modell textuelle Antworten generiert, die nicht faktisch in den Bildern begründet sind. Warum können Benchmark-LMMs keine Bilder in hoher Auflösung und variablen Seitenverhältnissen wahrnehmen?

In diesem Artikel werden wir über LLaVA-UHD sprechen, einem neuen Ansatz, der zunächst die LLaVA-1.5- und die GPT-4V- Frameworks als repräsentative Beispiele nimmt und versucht, die systematischen Fehler in ihrer visuellen Kodierungsstrategie aufzudecken. Das LLaVA-UHD-Framework, ein multimodales Modell, ist ein Versuch, diese Herausforderungen anzugehen. Das LLaVA-UHD-Framework kann Bilder in hoher Auflösung sowie in jedem Seitenverhältnis wahrnehmen. Das LLaVA-UHD-Framework basiert auf drei Schlüsselkomponenten. Zunächst eine Bild-Modularisierungsstrategie, die native Auflösungsbilder in kleinere, variabel große Scheiben teilt, um die Effizienz zu verbessern und die Kodierung zu erweitern. Als Nächstes ein Komprimierungsmodul, das die Bild-Tokens, die von visuellen Encodern erzeugt werden, weiter komprimiert. Schließlich ein räumliches Schema, das die Scheiben-Tokens für die großen Sprachmodelle organisiert. Umfassende Experimente zeigen, dass das LLaVA-UHD-Framework in der Lage ist, die State-of-the-Art-Großsprachmodelle in 9 Benchmarks zu übertreffen. Darüber hinaus kann das LLaVA-UHD-Framework durch die Verwendung von nur 94% Inferenzberechnung Bilder mit 6-mal höherer Auflösung, d. h. 672×1088, unterstützen.

LLaVA-UHD: Effizientes Wahrnehmen von Bildern in jedem Seitenverhältnis und hoher Auflösung

Die visuelle Vernunft, das Verständnis und die Interaktion haben in letzter Zeit aufgrund des jüngsten Schubs für Large Language Models erhebliche Fortschritte gemacht. In modernen Frameworks wird dies erreicht, indem visuelle Signale in LLMs (Large Language Models) eingebracht werden, um ihre Fähigkeit zu ermöglichen, die reale Welt visuell zu interpretieren, eine Vielzahl von Szenarien, die auf visuelle Kodierungsstrategien angewiesen sind. Die Differenz in den Szenarien spiegelt eine begrenzte Abdeckung von LLMs in verschiedenen Domänen und Aufgaben wider, während die Differenz in den Auflösungen und Seitenverhältnissen die großen intraklassen-Variationen in realen Bildern aufzeigt, die schwer zu handhaben sind. Im Gegensatz zu kleinen Skalen, die die Varianz verringern, erreichen Modelle nach BERT die Bedeutung durch die niedrige Auflösung (z. B. für das LLaVA-UHD 224×224) von Bildern mit einem festen Seitenverhältnis, 1:1, um realen Bildern zu geben. Obwohl dieser Kompromiss nützlich ist, um die Verallgemeinerung von LLMs in realen Anwendungen zu gewährleisten, führt er oft zu sehr verschwommenen Bildern und fördert eine schwere Formverzerrung. Dies verringert die Fähigkeiten der großen Multi-Modal-Modelle oder LMMs (z. B. feinkörnige Aufgaben), wie die optische Zeichenerkennung und das Verständnis kleiner Objekte. Da die Auflösung und das Seitenverhältnis vordefiniert sind, können die Modelle nur die verschwommenen Bilder erraten, was zu Modell-Halluzinationen führt, eine Situation, in der das Modell textuelle Antworten generiert, die nicht faktisch in den Bildern begründet sind. Warum können Benchmark-LMMs keine Bilder in hoher Auflösung und variablen Seitenverhältnissen wahrnehmen?

Es gibt zwei Hauptgründe, warum Benchmark-LMMs keine Bilder in hoher Auflösung und variablen Seitenverhältnissen wahrnehmen können. Zunächst ist es schwierig für das Modell und den Encoder, mit Bildern mit variablen Seitenverhältnissen und Auflösungen umzugehen, da die visuellen Encoder in festen Auflösungen vorgebildet werden, was die Anpassungsfähigkeit des Modells erheblich beeinträchtigt. Zweitens ist die direkte Kodierung von hochauflösenden Bildern mit Vision-Transformern mit erheblichen Rechenkosten verbunden, und die Rechenkosten können für das große Sprachmodell, um eine große Anzahl von visuellen Token für hochauflösende Bilder zu verarbeiten, erheblich höher sein, was die Gesamteffizienz des Modells erheblich beeinträchtigt. Um diese Herausforderungen zu meistern, nimmt das LLaVA-UHD, ein großes multimodales Modell, das hochauflösende Bilder und jedes Seitenverhältnis wahrnehmen kann, die LLaVA-1.5- und die GPT-4V- Frameworks als repräsentative Beispiele und versucht, die systematischen Fehler in ihrer visuellen Kodierungsstrategie aufzudecken.

Das obige Bild zeigt die experimentellen Ergebnisse des GPT-4V bei der Identifizierung der Anzahl von Objekten in einem Bild. Im Kern hat das LLaVA-UHD-Framework drei Komponenten. Zunächst eine Bild-Modularisierungsstrategie, die native Auflösungsbilder in kleinere, variabel große Scheiben teilt, um die Effizienz zu verbessern und die Kodierung zu erweitern. Im Gegensatz zu den jüngsten LLMs, die Bilder in mehrere feste Auflösungen und Seitenverhältnisse einpassen, ermöglichen die variabel großen Scheiben, die vom LLaVA-UHD-Framework generiert werden, eine vollständige Anpassung an die native Auflösungsbilder ohne Formverzerrung, Umgrößern oder Auffüllen. Zweitens komprimiert das Modell die visuellen Token durch ein Komprimierungsmodul auf eine bescheidene Länge, was die Rechenkosten für LLMs erheblich reduziert. Schließlich organisiert das Modell die komprimierten Scheiben-Token in einem räumlichen Schema, um die Scheiben-Positionen in den Bildern dem großen Sprachmodell mitzuteilen.

LLaVA-UHD: Methodik und Architektur

Basierend auf den Erkenntnissen aus einigen Pilot-Experimenten, um bestehende Frameworks wie GPT-4V und LLaVA-1.5 zu untersuchen, implementiert das LLaVA-UHD-Framework eine dreikomponentige Architektur, wie im folgenden Bild gezeigt.

Zunächst eine Bild-Modularisierungsstrategie, die native Auflösungsbilder in kleinere, variabel große Scheiben teilt, um die Effizienz zu verbessern und die Kodierung zu erweitern. Als Nächstes ein Komprimierungsmodul, das die Bild-Tokens, die von visuellen Encodern erzeugt werden, weiter komprimiert. Schließlich ein räumliches Schema, das die Scheiben-Token für die großen Sprachmodelle organisiert. Lassen Sie uns einen detaillierten Blick auf diese Komponenten werfen.

Modularisierte visuelle Kodierung

Ein gemeinsamer Ansatz, um mit hochauflösenden Bildern mit unterschiedlichem Seitenverhältnis umzugehen, besteht darin, die Positionseingaben des Vision Transformers oder ViT auf die Zielgröße für die direkte Kodierung als Ganzes zu interpolieren. Allerdings ist die Implementierung dieses Ansatzes oft mit hohen Rechenkosten verbunden, und Probleme außerhalb der Verteilung führen zu einer weiteren Leistungsverschlechterung. Um diese Herausforderung zu meistern, präsentiert das LLaVA-UHD-Framework eine modularisierte visuelle Kodierungsstrategie, die darauf abzielt, native Auflösungsbilder in kleinere, variabel große Scheiben zu teilen, deren Form nahezu der Standard-Vortrainings-Einstellung des Vision Transformers entspricht. Durch die Verwendung von variabel großen Scheiben ist das LLaVA-UHD-Framework in der Lage, eine vollständige Anpassung an die native Auflösungsbilder ohne Formverzerrung oder Auffüllen zu erreichen. Darüber hinaus besteht das primäre Ziel der Bild-Scheiben-Strategie darin, eine Aufteilung von hochauflösenden Bildern mit minimalen Änderungen der Auflösung jeder Scheibe zu bestimmen. Für ein gegebenes Bild mit einer bestimmten Auflösung (w, h) und einem Vision Transformer, der in einer anderen Auflösung vorgebildet wurde, bestimmt das LLaVA-UHD-Framework zunächst die ideale Rechenleistung, d. h. die Anzahl der Scheiben, die zum Verarbeiten des Bildes erforderlich sind. Das Framework teilt die Anzahl der Scheiben dann in m Spalten und n Zeilen auf. Das Framework definiert dann eine Bewertungsfunktion, um die Abweichung von der Standard-Vortrainings-Einstellung des Vision Transformers zu messen. Theoretisch kann das LLaVA-UHD-Framework demonstrieren, dass die Partitionierungsstrategie, die in seiner Architektur implementiert ist, eine geringe erwartete Änderung und eine moderate Änderung im Worst-Case-Szenario in Bezug auf die Standard-Vortrainings-Auflösung für jede Scheibe garantiert.

Darüber hinaus implementieren die meisten bestehenden LLMs eine statische Auflösung für die Bild-Scheiben-Kodierung, ein Ansatz, der die vollständige Anpassung des Modells an die native Auflösung verhindert, da sie nur auf einige vordefinierte feste Form-Scheiben zugreifen können. Zusätzlich schadet die statische Scheiben-Auflösung der Leistung, Effizienz und Korrektheit des Modells, da sie unvermeidlich eine formverzerrende Umgrößern oder Auffüllen verursacht. Um dieses Problem zu meistern, schlägt das LLaVA-UHD-Framework vor, die Bild-Scheiben in dem Seitenverhältnis zu kodieren, das durch die Partitionierungsstrategie definiert ist. Um genauer zu sein, vergrößert das LLaVA-UHD-Framework zunächst das ursprüngliche Bild proportional gemäß dem Seitenverhältnis, sodass die Anzahl der Patches innerhalb des Vortrainings-Budgets, d. h. der Anzahl der Positionseingaben-Sequenzen im Vision Transformer, maximal liegt. Das LLaVA-UHD-Modell formt dann die vorgebildete 1D-Positionseingabe-Sequenz des Vision Transformers in ein 2D-Format gemäß seiner Vortrainings-Einstellung um.

Komprimierungsschicht

Ein gemeinsames Problem, mit dem LLMs bei der Verarbeitung von hochauflösenden Bildern konfrontiert sind, ist, dass die Anzahl der visuellen Token, die sie verarbeiten müssen, erheblich höher ist (zum Beispiel erzeugt das LLaVA-1.5-Framework etwa 3500 visuelle Token, wenn es ein einzelnes Bild mit einer Auflösung von 672×1008 verarbeitet), was einen großen Teil der Rechenressourcen und -kosten ausmacht. Um dieser Herausforderung zu begegnen, implementiert das LLaVA-UHD-Modell eine gemeinsame Perceiver-Resampler-Schicht, um die visuellen Token jeder Bild-Scheibe zu komprimieren. Das Modell implementiert dann einen Satz von Abfrage-Vektoren über Kreuz-Aufmerksamkeit, um die Ausgabe der Bild-Tokens durch die visuellen Encoder auf eine geringere Anzahl zu resampling. Im Vergleich zu den gängigen Multilayer-Perceptron-basierten visuellen Projektionsstrategien ist der Perceiver-Resampler-Ansatz, der von LLaVA-UHD implementiert wird, in der Lage, eine erschwingliche, aber feste Anzahl von visuellen Token unabhängig von der Bildauflösung zu erhalten, was das LLaVA-UHD-Framework für die Verarbeitung und das Verständnis von hochauflösenden Bildern besser geeignet macht. Um dies zu veranschaulichen, generiert das LLaVA-UDH-Framework die gleiche Anzahl von Token, wenn es ein Bild mit einer Auflösung von 672×1008 kodiert, wie das LLaVA-1.5-Framework, wenn es ein Bild mit einer Auflösung von 336×336 kodiert, fast sechs Mal effizienter als sein Konkurrent.

Räumliches Schema für Bild-Scheiben

Es ist notwendig, das große Sprachmodell über die räumliche Organisation der Bild-Scheiben zu informieren, da die Partitionierung von Bildern dynamisch über verschiedene Bilder hinweg ist. Das LLaVA-UHD-Framework entwirft und implementiert ein räumliches Schema, das zwei spezielle Token verwendet, um dem LLM die relative Position der Bild-Scheiben mitzuteilen. Unter diesem räumlichen Schema verwendet das LLaVA-UHD-Framework “,” um die Scheiben-Darstellungen in einer Zeile zu trennen, und die verschiedenen Zeilen werden durch ein “n” getrennt.

LLaVA-UDH: Experimente und Ergebnisse

Das LLaVA-UHD-Framework wird gegen 9 beliebte Benchmarks getestet, einschließlich allgemeiner visueller Frage-Antwort-Benchmarks, optischer Zeichenerkennungs-basierter visueller Frage-Antwort-Benchmarks, Halluzinations-Benchmarks und umfassender Benchmarks. Darüber hinaus wird das LLaVA-UHD-Framework mit starken Baselines wie LLaVA-1.5, MiniGPT-v2, InstructBLIP, BLIP-2 und mehr verglichen.

Die Leistung des LLaVA-UHD-Frameworks auf 9 beliebten Benchmarks wird zusammengefasst und mit beliebten Benchmarks in der folgenden Tabelle verglichen.

Basierend auf den obigen Ergebnissen kann festgestellt werden, dass das LLaVA-UHD-Framework in der Lage ist, starke Baseline-Modelle auf beliebten Benchmarks zu übertreffen, einschließlich starker Baseline-Modelle, die auf einer erheblich größeren Menge an Daten trainiert wurden, sowie LLMs, die erheblich mehr Rechenleistung benötigen, wie Fuyu-8B, Monkey und mehr. Zweitens zeigen die Ergebnisse auch, dass das LLaVA-UHD-Framework erheblich bessere Ergebnisse als die LLaVA-1.5-Architektur erzielt, und während die LLaVA-1.5 eine feste Auflösung von 336×336 unterstützt, unterstützt das LLaVA-UHD-Framework Bilder mit einer Auflösung von 672×1088 und jedem Seitenverhältnis, mit der gleichen Anzahl von visuellen Token.

Schlussgedanken

In diesem Artikel haben wir über LLaVA-UHD gesprochen, einem neuen Ansatz, der zunächst die LLaVA-1.5- und die GPT-4V- Frameworks als repräsentative Beispiele nimmt und versucht, die systematischen Fehler in ihrer visuellen Kodierungsstrategie aufzudecken. Das LLaVA-UHD-Framework, ein multimodales Modell, ist ein Versuch, diese Herausforderungen anzugehen. Das LLaVA-UHD-Framework kann Bilder in hoher Auflösung sowie in jedem Seitenverhältnis wahrnehmen. Das LLaVA-UHD-Framework basiert auf drei Schlüsselkomponenten. Zunächst eine Bild-Modularisierungsstrategie, die native Auflösungsbilder in kleinere, variabel große Scheiben teilt, um die Effizienz zu verbessern und die Kodierung zu erweitern. Als Nächstes ein Komprimierungsmodul, das die Bild-Tokens, die von visuellen Encodern erzeugt werden, weiter komprimiert. Schließlich ein räumliches Schema, das die Scheiben-Token für die großen Sprachmodelle organisiert. Umfassende Experimente zeigen, dass das LLaVA-UHD-Framework in der Lage ist, die State-of-the-Art-Großsprachmodelle in 9 Benchmarks zu übertreffen. Darüber hinaus kann das LLaVA-UHD-Framework durch die Verwendung von nur 94% Inferenzberechnung Bilder mit 6-mal höherer Auflösung, d. h. 672×1088, unterstützen.