I recenti progressi e miglioramenti dei Large Language Model hanno comportato un aumento significativo delle capacità di ragionamento, comprensione e interazione visivo-linguistica. I framework moderni raggiungono questo obiettivo proiettando segnali visivi nei LLM (Large Language Model) per consentire loro di interpretare il mondo visivamente, una vasta gamma di scenari che si basano su strategie di codifica visiva. Tuttavia, le immagini del mondo reale non contengono solo una vasta gamma di scenari, ma variano anche notevolmente in termini di risoluzione e rapporto di aspetto, ponendo sfide significative per i LLM in diversi domini e compiti. Per affrontare la significativa varianza posta dalle immagini del mondo reale, i moderni modelli di linguaggio percepiscono le immagini a bassa risoluzione, ad esempio 224×224, e un rapporto di aspetto fisso, ad esempio 1:1. Sebbene il compromesso di utilizzare una bassa risoluzione e un rapporto di aspetto fisso aumenti la generalizzabilità del LLM nelle applicazioni del mondo reale, spesso porta a immagini molto sfocate e a una distorsione della forma grave. Ciò riduce notevolmente le capacità dei grandi modelli di multimodalità o LMM (ad esempio, compiti a grana fine), come il riconoscimento dei caratteri ottici e la comprensione di piccoli oggetti. Dal momento che la risoluzione e il rapporto di aspetto sono predefiniti, i modelli possono solo fare ipotesi sulle immagini sfocate, portando a un’allucinazione del modello, una situazione in cui il modello produce risposte testuali che non sono fondate fattualmente nelle immagini.

In questo articolo, parleremo di LLaVA-UHD, un approccio innovativo che prende i framework LLaVA-1.5 e GPT-4V come esempi rappresentativi e tenta di esporre le lacune sistematiche radicate nella loro strategia di codifica visiva. Il framework LLaVA-UHD, un modello multimodale, è un tentativo di affrontare le sfide. Il framework LLaVA-UHD può percepisce immagini ad alta risoluzione e in qualsiasi rapporto di aspetto. Il framework LLaVA-UHD è costruito attorno a tre componenti chiave. In primo luogo, una strategia di modularizzazione delle immagini che divide le immagini a risoluzione nativa in fette più piccole e variabili per aumentare l’efficienza e estendere la codifica. In secondo luogo, un modulo di compressione che condensa i token di immagine prodotti dagli encoder visivi. Infine, uno schema spaziale che organizza i token di fette per i grandi modelli di linguaggio. Gli esperimenti completi indicano che il framework LLaVA-UHD è in grado di superare i modelli di linguaggio di grandi dimensioni attuali in 9 benchmark. Inoltre, utilizzando solo il 94% del calcolo di inferenza, il framework LLaVA-UHD è in grado di supportare immagini con una risoluzione 6 volte più grande, ad esempio 672×1088.

LLaVA-UHD: percepisce efficientemente immagini in qualsiasi rapporto di aspetto e alta risoluzione

Il ragionamento visivo-linguistico, la comprensione e l’interazione hanno fatto notevoli progressi di recente, grazie alla spinta recente per i Large Language Model. Nei framework moderni, ciò si ottiene alimentando segnali visivi nei LLM (Large Language Model) per renderli in grado di interpretare il mondo visivamente, una vasta gamma di scenari che si basano su strategie di codifica visiva. La differenza di scenario riflette una copertura limitata dei LLM in diversi domini e compiti, mentre la differenza di risoluzione e rapporto di aspetto rivela la grande varianza intraclassi nelle immagini del mondo reale, che è difficile da gestire. A differenza della scala ridotta che riduce la varianza, i modelli dopo BERT affrontano la significatività della bassa risoluzione (ad esempio, per LLaVA-UHD è 224×224) delle immagini con un rapporto di aspetto fisso, 1:1 per fornire immagini del mondo reale. Sebbene questo compromesso sia utile per garantire la generalizzabilità del LLM nelle applicazioni del mondo reale, spesso porta a immagini molto sfocate e a una distorsione della forma grave. Ciò riduce notevolmente le capacità dei grandi modelli di multimodalità o LMM (ad esempio, compiti a grana fine), come il riconoscimento dei caratteri ottici e la comprensione di piccoli oggetti. Dal momento che la risoluzione e il rapporto di aspetto sono predefiniti, i modelli possono solo fare ipotesi sulle immagini sfocate, portando a un’allucinazione del modello, una situazione in cui il modello produce risposte testuali che non sono fondate fattualmente nelle immagini. Perché i modelli LMM di benchmark non percepiscono immagini ad alta risoluzione e con rapporto di aspetto variabile?

Ci sono due motivi principali per cui i modelli LMM di benchmark non possono percepisce immagini ad alta risoluzione e con rapporto di aspetto variabile. In primo luogo, poiché gli encoder visivi sono pre-addestrati in risoluzioni fisse, è difficile per il modello e l’encoder gestire immagini con rapporti di aspetto e risoluzioni variabili, ciò si traduce in un impatto significativo sull’adattabilità del modello. In secondo luogo, la codifica diretta di immagini ad alta risoluzione utilizzando trasformatori visivi è associata a costi di calcolo significativi in relazione alle dimensioni delle immagini. Inoltre, i costi di calcolo potrebbero essere notevolmente più alti per il modello di linguaggio per elaborare un gran numero di token visivi per immagini ad alta risoluzione, ciò si traduce in un impatto significativo sull’efficienza complessiva del modello. Per affrontare queste sfide, il framework LLaVA-UHD, un modello di multimodalità che percepisce immagini ad alta risoluzione e con qualsiasi rapporto di aspetto, prende i framework LLaVA-1.5 e GPT-4V come esempi rappresentativi e tenta di esporre le lacune sistematiche radicate nella loro strategia di codifica visiva.

L’immagine sopra riflette i risultati sperimentali del GPT-4V nell’identificazione del numero di oggetti all’interno di un’immagine. Al suo nucleo, il framework LLaVA-UHD ha tre componenti. In primo luogo, una strategia di modularizzazione delle immagini che divide le immagini a risoluzione nativa in fette più piccole e variabili per aumentare l’efficienza e estendere la codifica. A differenza dei recenti LLM che adattano le immagini a diverse risoluzioni e rapporti di aspetto fissi, le fette a dimensioni variabili generate dal framework LLaVA-UHD consentono la piena adattabilità alle immagini a risoluzione nativa senza distorcere le forme, ridimensionare o riempire. In secondo luogo, il modello condensa i token visivi attraverso un modulo di compressione per una lunghezza modesta, ciò si traduce in una riduzione significativa del calcolo per i LLM. Infine, il modello organizza i token di fette compressi in uno schema spaziale per informare le posizioni delle fette nelle immagini al modello di linguaggio.

LLaVA-UHD: metodologia e architettura

Sulla base delle conoscenze acquisite da alcuni esperimenti pilota per studiare i framework esistenti, tra cui GPT-4V e LLaVA-1.5, il framework LLaVA-UHD implementa un’architettura a tre componenti come mostrato nell’immagine seguente.

In primo luogo, una strategia di modularizzazione delle immagini che divide le immagini a risoluzione nativa in fette più piccole e variabili per aumentare l’efficienza e estendere la codifica. In secondo luogo, un modulo di compressione che condensa i token di immagine prodotti dagli encoder visivi. Infine, uno schema spaziale che organizza i token di fette per i grandi modelli di linguaggio. Analizziamo più da vicino questi componenti.

Codifica visiva modularizzata

Un approccio comune per gestire immagini ad alta risoluzione con rapporto di aspetto diverso è interpolare le embedding di posizione del Trasformatore di Visione o ViT alla forma di destinazione per la codifica diretta come un tutto. Tuttavia, l’implementazione di questo approccio è spesso accompagnata da costi di calcolo elevati e problemi di distribuzione che portano a un ulteriore degrado delle prestazioni. Per affrontare questa sfida, il framework LLaVA-UHD presenta una strategia di codifica visiva modularizzata che divide essenzialmente le immagini a risoluzione nativa in fette più piccole e variabili dove la forma di ogni fetta è molto vicina all’impostazione di pre-addestramento standard del trasformatore di visione. Grazie all’utilizzo di fette a dimensioni variabili, il framework LLaVA-UHD è in grado di raggiungere la piena adattabilità alle immagini a risoluzione nativa senza implementare alcuna ridimensionamento o riempimento che distorce le forme. Inoltre, l’obiettivo principale della strategia di divisione delle immagini è determinare una divisione di immagini ad alta risoluzione con modifiche minime alle risoluzioni di ogni fetta. Per un’immagine con una certa risoluzione (w, h) e un trasformatore di visione pre-addestrato in un’altra risoluzione, il framework LLaVA-UHD determina innanzitutto il calcolo ideale, ovvero il numero di fette necessarie per elaborare l’immagine. Il framework quindi factorizza il numero di fette in colonne e righe. Il framework quindi definisce una funzione di punteggio per misurare la deviazione dall’impostazione di pre-addestramento standard del trasformatore di visione. Teoricamente, il framework LLaVA-UHD è in grado di dimostrare che la strategia di partizione implementata nella sua architettura garantisce modifiche minori e modesti cambiamenti peggiori rispetto alla risoluzione di pre-addestramento standard per ogni fetta.

Inoltre, la maggior parte dei LLM esistenti implementa una risoluzione statica per la codifica delle fette di immagine, un approccio che impedisce la piena adattabilità del modello alle risoluzioni native poiché hanno accesso solo a fette a forma fissa predefinite. Inoltre, la risoluzione della fetta statica danneggia le prestazioni, l’efficienza e la correttezza del modello poiché comporta inevitabilmente un ridimensionamento o un riempimento che distorce le forme. Per affrontare questo problema, il framework LLaVA-UHD propone di codificare le fette di immagine nel rapporto di aspetto definito dalla strategia di partizione. Per essere più specifici, il framework LLaVA-UHD ridimensiona innanzitutto l’immagine originale proporzionalmente in base al rapporto di aspetto in modo che il numero di patch si adatti al budget di pre-addestramento, ovvero il numero di sequenze di embedding di posizione nel trasformatore di visione, al massimo. Il modello LLaVA-UHD quindi riorganizza la sequenza di embedding di posizione 1D pre-addestrata del trasformatore di visione in un formato 2D in base alle sue impostazioni di pre-addestramento.

Layer di compressione

Un problema comune che i LLM affrontano nell’elaborazione di immagini ad alta risoluzione è che la quantità di token visivi che devono elaborare è notevolmente più alta (ad esempio, il framework LLaVA-1.5 produce circa 3500 token visivi quando elabora un’immagine singola con risoluzione 672×1008), rappresentando una parte significativa delle risorse di calcolo e dei costi. Per affrontare questa sfida, il modello LLaVA-UHD implementa un layer di campionatore condiviso per compressare i token visivi di ogni fetta di immagine. Il modello quindi implementa un set di vettori di query attraverso l’attenzione incrociata per campionare l’output dei token di immagine degli encoder visivi a un numero inferiore. Rispetto alle strategie di proiezione visiva basate su Multilayer Perceptron, l’approccio di campionamento del perceiver implementato da LLaVA-UHD è in grado di mantenere un numero fisso e ragionevole di token visivi indipendentemente dalla risoluzione dell’immagine, rendendo il framework LLaVA-UHD più compatibile con le attività di elaborazione e comprensione di immagini ad alta risoluzione. Per mettere questo in prospettiva, il framework LLaVA-UDH genera la stessa quantità di token quando codifica un’immagine con risoluzione 672×1008 come il framework LLaVA-1.5 genera quando codifica un’immagine con risoluzione 336×336, circa 6 volte più efficace del suo concorrente.

Schema spaziale per fette di immagine

È una pratica necessaria informare il modello di linguaggio dell’organizzazione spaziale delle fette di immagine poiché la partizione delle immagini è dinamica tra diverse immagini. Il framework LLaVA-UHD progetta e implementa uno schema spaziale che utilizza due token speciali per informare il LLM della posizione relativa delle fette di immagine. Sotto questo schema spaziale, il framework LLaVA-UHD utilizza “,” per separare le rappresentazioni delle fette in una riga e le righe diverse sono separate utilizzando un “n”.

LLaVA-UDH: esperimenti e risultati

Il framework LLaVA-UHD è valutato contro 9 benchmark popolari, tra cui benchmark di risposte visive generali, benchmark di risposte visive basate sui caratteri, benchmark di allucinazione e benchmark completi. Inoltre, il framework LLaVA-UHD è confrontato con forti baseline, tra cui LLaVA-1.5, MiniGPT-v2, InstructBLIP, BLIP-2 e altri.

Le prestazioni del framework LLaVA-UHD su 9 benchmark popolari sono riassunte e confrontate con i benchmark popolari nella tabella seguente.

Sulla base delle prestazioni sopra, si può concludere che il framework LLaVA-UHD è in grado di superare i modelli di baseline forti sui benchmark popolari, tra cui forti baseline addestrate su una quantità significativamente più grande di dati, oltre a superare i LLM che richiedono una quantità significativamente maggiore di calcolo come Fuyu-8B, Monkey e altri. In secondo luogo, i risultati indicano anche che il framework LLaVA-UHD raggiunge risultati significativamente migliori rispetto all’architettura LLaVA-1.5 e, da un lato, dove LLaVA-1.5 supporta una risoluzione fissa di 336×336, il framework LLaVA-UHD supporta immagini con risoluzione 672×1088 e qualsiasi rapporto di aspetto, e lo stesso numero di token visivi.

Pensieri finali

In questo articolo, abbiamo parlato di LLaVA-UHD, un approccio innovativo che prende i framework LLaVA-1.5 e GPT-4V come esempi rappresentativi e tenta di esporre le lacune sistematiche radicate nella loro strategia di codifica visiva. Il framework LLaVA-UHD, un modello di multimodalità, è un tentativo di affrontare le sfide. Il framework LLaVA-UHD può percepisce immagini ad alta risoluzione e in qualsiasi rapporto di aspetto. Il framework LLaVA-UHD è costruito attorno a tre componenti chiave. In primo luogo, una strategia di modularizzazione delle immagini che divide le immagini a risoluzione nativa in fette più piccole e variabili per aumentare l’efficienza e estendere la codifica. In secondo luogo, un modulo di compressione che condensa i token di immagine prodotti dagli encoder visivi. Infine, uno schema spaziale che organizza i token di fette per i grandi modelli di linguaggio. Gli esperimenti completi indicano che il framework LLaVA-UHD è in grado di superare i modelli di linguaggio di grandi dimensioni attuali in 9 benchmark. Inoltre, utilizzando solo il 94% del calcolo di inferenza, il framework LLaVA-UHD è in grado di supportare immagini con una risoluzione 6 volte più grande, ad esempio 672×1088.