Abilitare la comprensione spaziale nei modelli di apprendimento linguistico-visivo rimane una sfida di ricerca fondamentale. Questa comprensione costituisce la base di due capacità cruciali: la riferibilità e la localizzazione. La riferibilità consente al modello di interpretare con precisione la semantica di regioni specifiche, mentre la localizzazione implica l’utilizzo di descrizioni semantiche per localizzare queste regioni.

I sviluppatori hanno introdotto Ferret, un modello di linguaggio multimodale (MLLM) in grado di comprendere la riferibilità spaziale attraverso qualsiasi granularità o forma in un’immagine e di localizzare con precisione descrizioni a vocabolario aperto. Ferret utilizza una rappresentazione ibrida innovativa che combina caratteristiche continue con coordinate discrete per rappresentare le regioni dell’immagine. Il suo campionatore visivo consapevole dello spazio gestisce la varietà di densità nelle forme, consentendogli di elaborare input di regioni diverse come forme libere, box e punti.

Il framework Ferret utilizza i metodi sopra descritti per risolvere input che combinano testo libero con regioni a cui si fa riferimento, e riesce a generare in modo fluido le coordinate per ogni oggetto localizzabile con testo generato per localizzare gli oggetti menzionati nell’output. Facendo ciò, Ferret è il primo framework a elaborare input di regioni a forma libera nei modelli di linguaggio multimodale. Inoltre, il framework Ferret assorbe notevoli capacità di localizzazione spaziale e comprensione a vocabolario aperto, consentendogli di raggiungere prestazioni superiori quando valutato su compiti di riferibilità e localizzazione convenzionali.

Proseguendo, il framework Ferret trae ispirazione da tre framework di intelligenza artificiale esistenti, tra cui i modelli di linguaggio multimodale, i modelli MLLM per la riferibilità e la localizzazione, e l’unificazione della comprensione della localizzazione e della comprensione del linguaggio visivo.

L’introduzione di modelli di linguaggio di grandi dimensioni, tra cui GPT, DALL-E, PaLM, LLaMA e BLOOM, ha cambiato il panorama della ricerca nel campo del linguaggio naturale, portando a notevoli avanzamenti nei modelli di linguaggio multimodale. I primi modelli di linguaggio multimodale si concentravano principalmente sulla generazione di immagini e testo su larga scala, con esempi notevoli come PaLI, SimVLM, GIT, BLIP-2, FLAMINGO, CM3 e PaLI-X. Tuttavia, dal momento che il framework Flamingo ha raggiunto un’integrazione efficiente dei modelli di linguaggio di grandi dimensioni con un encoder di immagini CLIP pre-addestrato attraverso blocchi di attenzione incrociata, ottenendo notevoli capacità di apprendimento a pochi esempi multimodali. La ricerca attuale cerca di utilizzare modelli di linguaggio di grandi dimensioni pre-addestrati per il tuning delle istruzioni visive, con esempi notevoli come MiniGPT-4, Otter, InstructBLIP e altri.

Ferret: Prestazioni Superiori nella Riferibilità e nella Localizzazione di Oggetti

La riferibilità in un modello è una capacità che consente al modello di comprendere con precisione la semantica di regioni specifiche date, mentre la localizzazione rende essenziale per il modello utilizzare le descrizioni semantiche date per localizzare le regioni. Sebbene possano differire nei loro compiti rispettivi, sia la riferibilità che la localizzazione hanno lo stesso concetto fondamentale: allineamento della semantica spaziale e delle informazioni. Tuttavia, nonostante condividano lo stesso concetto, i modelli esistenti apprendono la localizzazione e la riferibilità individualmente. Sebbene il metodo funzioni, pone un ostacolo nel raggiungere capacità simili a quelle umane, poiché gli esseri umani possono apprendere da un compito e applicare gli apprendimenti a compiti diversi in modo fluido, e sono in grado di integrare senza sforzo le capacità di localizzazione/riferibilità con il ragionamento e il dialogo quotidiano.

1. Come unificare le capacità di localizzazione e riferibilità nel framework, e come la loro unione beneficerà l’una dell’altra?
2. Gli esseri umani utilizzano tipi di regioni versatili come box, punti, scribble, forme libere per la riferibilità? Come rappresentare queste regioni versatili?
3. Come rendere la localizzazione e la riferibilità aderenti alle istruzioni, robuste e a vocabolario aperto, che sono critiche per le loro applicazioni pratiche e in tempo reale?

Ferret: Metodologia e Architettura

Rappresentazioni Ibride di Regioni

Punto, box e forme libere sono i tre formati dominanti che un modello di linguaggio utilizza quando si riferisce a regioni specifiche. Da un lato, il punto e il formato del box possono essere rappresentati con precisione dalle coordinate, mentre la mappatura delle forme libere è un po’ più complessa poiché le forme libere sono versatili. Essendo versatili, le forme libere possono comprendere un’ampia gamma di regioni, tra cui maschere, poligoni e scribble. Utilizzare le coordinate per descrivere le forme libere è un compito complesso che ostacola la capacità del modello di apprendere a stabilire una correlazione tra le regioni e le coordinate corrispondenti.

Per affrontare questo problema e generalizzare su tutti e tre i formati, il framework Ferret propone una rappresentazione ibrida di regioni che combina caratteristiche visive continue con coordinate discrete per fare riferimento a una regione specifica.

Per le caratteristiche visive continue, per una regione data, il framework Ferret costruisce prima una maschera binaria 2D della stessa dimensione dell’immagine e marca un valore 1 all’interno della regione target assegnando un valore 0 all’esterno della regione. Il modello estrae quindi la maschera binaria insieme alla mappa delle caratteristiche dell’immagine estratta e le invia al campionatore visivo consapevole dello spazio.

Architettura

L’architettura del modello Ferret comprende tre componenti principali

1. Un encoder di immagini per estrarre le caratteristiche dell’immagine.
2. Un campionatore visivo consapevole dello spazio per estrarre le caratteristiche continue delle regioni.
3. Un modello di linguaggio di grandi dimensioni per modellare testo, immagine e caratteristiche di regioni congiuntamente.

L’immagine viene prima inserita nell’encoder visivo pre-addestrato per estrarre le caratteristiche dell’immagine. Per gli input di testo, il framework utilizza prima un tokenizzatore di linguaggio pre-addestrato per tokenizzare la sequenza di testo e poi proietta questi token in caratteristiche di testo. Per le regioni a cui si fa riferimento, Ferret aggiunge un token speciale e le coordinate come segnaposto per le caratteristiche continue dopo il nome della regione.

Generazione di Dati Visivi Assistita da GPT

I dati di istruzione di tuning per i modelli di linguaggio multimodale sono di importanza critica poiché non solo aiutano a convertire i dataset esistenti con template, ma aiutano anche il modello a comprendere l’intenzione umana e a generare risposte adeguate. La maggior parte dei modelli MLLM utilizza un metodo di prompt a pochi esempi per ottenere dati di tuning delle istruzioni visive, dove il modello fornisce descrizioni testuali di scene nell’immagine insieme a dialoghi annotati dall’uomo come dimostrazioni a pochi esempi.

Estrazione Negativa Spaziale

La ricerca precedente ha dimostrato che i modelli di linguaggio multimodale di grandi dimensioni hanno un’elevata probabilità di allucinare quando rispondono a domande del tipo “Sì” o “No”. Per assicurarsi che il modello Ferret non allucini in condizioni simili, il framework utilizza un approccio di estrazione negativa spaziale con localizzazione di categorie condizionate dall’immagine e dalla semantica.

Ferret: Risultati e Sperimentazione

Per analizzare le sue prestazioni, il framework Ferret viene valutato su benchmark di localizzazione e riferibilità convenzionali, dopo di che il framework viene valutato in un compito di conversazione multimodale più complesso e testato nelle sue capacità di riferibilità e localizzazione.

La capacità del modello di comprendere la riferibilità viene valutata da quanto precisamente un modello possa comprendere la semantica della regione a cui si fa riferimento dato un riferimento di regione nell’immagine o nella domanda.

Pensieri Finali

In questo articolo, abbiamo parlato di Ferret, un modello di linguaggio multimodale che dimostra notevoli capacità di localizzazione e riferibilità. Il framework Ferret può fare riferimento a regioni di immagini indipendentemente dalla loro forma e può stabilire la localizzazione per il testo previsto dal modello automaticamente. Ferret impiega un campionatore visivo consapevole dello spazio in grado di gestire la varietà di densità mostrata da diverse forme per estrarre le caratteristiche continue di regioni versatili. Di conseguenza, il framework Ferret può accettare input di regioni diverse, tra cui forme libere, box e punti.