I progressi nei modelli linguistici ampi hanno significativamente accelerato lo sviluppo dell’elaborazione del linguaggio naturale, o NLP. L’introduzione del framework del trasformatore si è rivelata un punto di svolta, facilitando lo sviluppo di una nuova ondata di modelli linguistici, tra cui OPT e BERT, che esibiscono una profonda comprensione linguistica. Inoltre, l’avvio di GPT, o modelli di trasformazione generativa pre-addestrata, ha introdotto un nuovo paradigma con la modellazione autoregressiva e ha stabilito un metodo robusto per la previsione e la generazione del linguaggio. L’avvento di modelli linguistici come GPT-4, ChatGPT, Mixtral, LLaMA e altri ha ulteriormente alimentato l’evoluzione rapida, con ogni modello che dimostra prestazioni migliorate in compiti che coinvolgono l’elaborazione del linguaggio complesso. Tra i metodi esistenti, l’istruzione di regolazione è emersa come una tecnica chiave per raffinare l’output dei modelli linguistici ampi pre-addestrati, e l’integrazione di questi modelli con strumenti specifici per compiti visivi ha evidenziato la loro adattabilità e ha aperto le porte a future applicazioni. Queste si estendono ben oltre l’elaborazione tradizionale del testo dei LLM per includere interazioni multimodali.

Inoltre, la convergenza dell’elaborazione del linguaggio naturale e dei modelli di visione computazionale ha dato origine ai VLM, o Modelli di Linguaggio Visivo, che combinano modelli linguistici e visivi per raggiungere la comprensione e le capacità di ragionamento cross-modali. L’integrazione e l’avvento di modelli visivi e linguistici hanno svolto un ruolo cruciale nell’avanzamento dei compiti che richiedono sia l’elaborazione del linguaggio che la comprensione visiva. L’emergere di modelli rivoluzionari come CLIP ha ulteriormente colmato il divario tra compiti visivi e modelli linguistici, dimostrando la fattibilità e la praticità delle applicazioni cross-modali. Framework più recenti come LLaMA e BLIP sfruttano dati di istruzione personalizzati per elaborare strategie efficienti che dimostrano le potenti capacità del modello. Inoltre, combinare modelli linguistici ampi con output di immagini è l’obiettivo della ricerca multimodale recente, con metodi recenti in grado di bypassare la generazione diretta utilizzando l’approccio di recupero delle immagini per produrre output di immagini e testi intervallati.

Con ciò detto, e nonostante i rapidi progressi nei modelli di linguaggio visivo che facilitano il ragionamento di base e il dialogo visivo, esiste ancora un divario significativo di prestazioni tra modelli avanzati come GPT-4 e modelli di linguaggio visivo. Mini-Gemini è un tentativo di ridurre il divario che esiste tra i modelli di linguaggio visivo e modelli più avanzati sfruttando il potenziale dei VLM per migliori prestazioni da tre aspetti: generazione guidata da VLM, dati di alta qualità e token visivi ad alta risoluzione. Per migliorare i token visivi, il framework Mini-Gemini propone di utilizzare un encoder visivo aggiuntivo per il raffinamento ad alta risoluzione senza aumentare il numero di token visivi. Il framework Mini-Gemini costruisce inoltre un set di dati di alta qualità nel tentativo di promuovere la comprensione precisa delle immagini e la generazione basata sul ragionamento. Nel complesso, il framework Mini-Gemini tenta di sfruttare il potenziale dei modelli di linguaggio visivo e mira a dotare i framework esistenti di capacità di ragionamento, comprensione e generazione di immagini simultaneamente. Questo articolo si propone di coprire il framework Mini-Gemini in profondità e esploriamo il meccanismo, la metodologia, l’architettura del framework insieme al suo confronto con framework all’avanguardia. Quindi, iniziamo.

Mini-Gemini: Accelerazione dei Modelli di Linguaggio Visivo Multi-Modalità

Negli anni, i modelli linguistici ampi sono evoluti e ora vantano capacità multi-modalità notevoli, diventando un elemento essenziale dei modelli di linguaggio visivo attuali. Tuttavia, esiste un divario tra le prestazioni multi-modalità dei modelli linguistici ampi e i modelli di linguaggio visivo, con ricerche recenti che cercano di combinare la visione con i modelli linguistici ampi utilizzando immagini e video. Per i compiti visivi stessi, la risoluzione dell’immagine è un elemento cruciale per rappresentare esplicitamente l’ambiente circostante con minime allucinazioni visive. Per colmare il divario, i ricercatori stanno sviluppando modelli per migliorare la comprensione visiva nei modelli di linguaggio visivo attuali, e due degli approcci più comuni sono: aumentare la risoluzione e aumentare il numero di token visivi. Sebbene aumentare il numero di token visivi con immagini ad alta risoluzione migliori la comprensione visiva, il miglioramento è spesso accompagnato da requisiti computazionali aumentati e costi associati, specialmente quando si elaborano più immagini. Inoltre, le capacità dei modelli esistenti, la qualità dei dati esistenti e l’applicabilità rimangono inadeguate per un processo di sviluppo accelerato, lasciando i ricercatori con la domanda, “come accelerare lo sviluppo dei modelli di linguaggio visivo con costi accettabili”?

Il framework Mini-Gemini è un tentativo di rispondere a questa domanda, poiché tenta di esplorare il potenziale dei modelli di linguaggio visivo da tre aspetti: generazione guidata da VLM o applicazioni estese, dati di alta qualità e token visivi ad alta risoluzione. In primo luogo, il framework Mini-Gemini implementa un’architettura ConvNet per generare candidati ad alta risoluzione in modo efficiente, migliorando i dettagli visivi mantenendo il conteggio dei token visivi per il modello linguistico ampio. Il framework Mini-Gemini combina set di dati di alta qualità pubblicamente disponibili nel tentativo di migliorare la qualità dei dati e integra questi miglioramenti con modelli generativi e modelli linguistici ampi all’avanguardia nel tentativo di migliorare le prestazioni dei VLM e migliorare l’esperienza utente. La strategia multifacetta implementata dal framework Mini-Gemini consente di esplorare capacità nascoste dei modelli di linguaggio visivo e raggiunge progressi significativi con evidenti vincoli di risorse.

In generale, il framework Mini-Gemini adotta un paradigma “qualsiasi-a-qualsiasi” poiché è in grado di gestire sia testo che immagini come input e output. In particolare, il framework Mini-Gemini introduce una pipeline efficiente per migliorare i token visivi per le immagini di input e presenta un sistema di doppio encoder composto da due encoder: il primo encoder è per immagini ad alta risoluzione, mentre il secondo encoder è per l’incorporamento visivo a bassa qualità. Durante l’inferenza, gli encoder lavorano in un meccanismo di attenzione, dove l’encoder a bassa risoluzione genera query visive, mentre l’encoder ad alta risoluzione fornisce chiave e valori di riferimento. Per aumentare la qualità dei dati, il framework Mini-Gemini raccoglie e produce più dati in base a risorse pubbliche, tra cui istruzioni orientate ai compiti, dati relativi alla generazione e risposte ad alta risoluzione, con la quantità aumentata e la qualità migliorata che migliorano le prestazioni e le capacità generali del modello. Inoltre, il framework Mini-Gemini supporta la generazione di testo e immagini simultanee a seguito dell’integrazione del modello di linguaggio visivo con modelli generativi avanzati.

Mini-Gemini: Metodologia e Architettura

Nel suo nucleo, il framework Mini-Gemini è concettualmente semplice e comprende tre componenti.

1. Il framework utilizza encoder visivi duali per fornire incorporamenti visivi a bassa risoluzione e candidati ad alta risoluzione.
2. Il framework propone di implementare la estrazione di informazioni a livello di patch per condurre l’estrazione a livello di patch tra query visive a bassa risoluzione e regioni ad alta risoluzione.
3. Il framework Mini-Gemini utilizza un modello linguistico ampio per unire testo e immagini per la generazione e la comprensione simultanee.

Encoder Visivi Duali

Il framework Mini-Gemini può elaborare sia input di testo che di immagine, con l’opzione di gestirli individualmente o in combinazione. Come dimostrato nell’immagine seguente, il framework Mini-Gemini inizia il processo utilizzando l’interpolazione bilineare per generare un’immagine a bassa risoluzione dalla sua immagine corrispondente ad alta risoluzione.

Il framework quindi elabora queste immagini e le codifica in un incorporamento visivo multi-griglia in due flussi di immagini paralleli. Più specificamente, il framework Mini-Gemini mantiene la pipeline tradizionale per i flussi a bassa risoluzione e utilizza un trasformatore visivo pre-addestrato CLIP per codificare gli incorporamenti visivi, facilitando al modello di preservare la relazione a lungo raggio tra patch visive per interazioni successive nei modelli linguistici ampi. Per i flussi ad alta risoluzione, il framework Mini-Gemini adotta l’encoder basato su CNN o reti neurali convoluzionali per l’elaborazione delle immagini ad alta risoluzione adattiva ed efficiente.

Estrazione di Informazioni a Livello di Patch

Con gli encoder visivi duali che generano gli incorporamenti a bassa risoluzione e le caratteristiche ad alta risoluzione, il framework Mini-Gemini propone di implementare l’estrazione di informazioni a livello di patch al fine di estendere il potenziale dei modelli di linguaggio visivo con token visivi migliorati. Al fine di mantenere il numero di token visivi per l’efficienza nei modelli linguistici ampi, il framework Mini-Gemini prende gli incorporamenti visivi a bassa risoluzione come query e mira a recuperare segnali visivi rilevanti dai candidati delle caratteristiche ad alta risoluzione, con il framework che prende la mappa delle caratteristiche ad alta risoluzione come chiave e valore.

Come dimostrato nell’immagine sopra, la formula racchiude il processo di raffinamento e sintesi dei segnali visivi, che porta alla generazione di token visivi avanzati per l’elaborazione successiva del modello linguistico ampio. Il processo assicura che il framework sia in grado di confinare l’estrazione per ogni query alla sua regione di riferimento corrispondente nella mappa delle caratteristiche ad alta risoluzione, con il conteggio dei tratti a livello di pixel, risultando in un’efficienza migliorata. Grazie a questa progettazione, il framework Mini-Gemini è in grado di estrarre i dettagli delle caratteristiche ad alta risoluzione senza aumentare il numero di token visivi e mantiene un equilibrio tra fattibilità computazionale e ricchezza di dettagli.

Generazione di Testo e Immagini

Il framework Mini-Gemini concatena i token visivi e i token di testo di input come input per i modelli linguistici ampi per la generazione auto-regressiva. A differenza dei modelli di linguaggio visivo tradizionali, il framework Mini-Gemini supporta sia la generazione di solo testo che di testo-immagine come input e output, ovvero un’inferenza “qualsiasi-a-qualsiasi”, ed è il risultato di questa eccezionale comprensione e capacità di ragionamento testo-immagine che il Mini-Gemini è in grado di generare immagini di alta qualità. A differenza dei lavori recenti che si concentrano sul divario di dominio tra le incorporazioni di testo dei modelli di generazione e dei modelli linguistici ampi, il framework Mini-Gemini tenta di ottimizzare il divario nel dominio dei prompt linguistici traducendo le istruzioni dell’utente in prompt di alta qualità che producono immagini rilevanti per il contesto nei modelli di diffusione latente. Inoltre, per una migliore comprensione della regolazione delle istruzioni e dell’allineamento cross-modale, il framework Mini-Gemini raccoglie campioni da set di dati di alta qualità pubblicamente disponibili e utilizza il framework GPT-4 turbo per costruire ulteriormente un set di dati di 13K per il follow-up delle istruzioni per supportare la generazione di immagini.

Mini-Gemini: Esperimenti e Risultati

Per valutare le sue prestazioni, il framework Mini-Gemini è istanziato con il framework ConvNext-L pre-addestrato per l’encoder visivo ad alta risoluzione e con un trasformatore visivo pre-addestrato CLIP per l’encoder visivo a bassa risoluzione. Per garantire l’efficienza dell’addestramento, il framework Mini-Gemini mantiene i due encoder visivi fissi e ottimizza i proiettori dell’estrazione di informazioni a livello di patch in tutte le fasi e ottimizza il modello linguistico ampio durante la fase di regolazione delle istruzioni.

La seguente tabella confronta le prestazioni del framework Mini-Gemini con modelli all’avanguardia in diversi ambienti e considera anche modelli privati. Come può essere osservato, il Mini-Gemini supera i framework esistenti in un’ampia gamma di LLM a risoluzione normale e dimostra prestazioni superiori quando configurato con Gemma-2B nella categoria dei modelli efficienti. Inoltre, quando vengono impiegati modelli linguistici ampi più grandi, la scalabilità del framework Mini-Gemini è evidente.

Per valutare le sue prestazioni su alta risoluzione e token visivi estesi, gli esperimenti sono stati condotti con una dimensione di input di 672 per l’encoder visivo a bassa risoluzione e 1536 per l’encoder visivo. Come menzionato in precedenza, lo scopo principale dell’encoder visivo ad alta risoluzione è offrire informazioni di candidati ad alta risoluzione. Come può essere osservato, il framework Mini-Gemini consegna prestazioni superiori quando confrontato con i framework all’avanguardia.

Inoltre, per valutare la capacità di comprensione visiva del framework Mini-Gemini in ambienti reali, gli sviluppatori applicano il modello a una varietà di compiti di ragionamento e comprensione come dimostrato nell’immagine seguente. Come può essere osservato, il framework Mini-Gemini è in grado di risolvere una vasta gamma di compiti complessi grazie all’implementazione dell’estrazione di informazioni a livello di patch e dei dati di alta qualità. Ma ciò che è ancora più impressionante è il fatto che il framework Mini-Gemini dimostra un’aggiunta di dettagli che si estende oltre la semplice capacità di riconoscimento e descrive elementi intricati in modo dettagliato.

La figura seguente fornisce una valutazione completa delle capacità generative del framework Mini-Gemini.

Quando confrontato con modelli recenti come ChatIllusion e AnyGPT, il framework Mini-Gemini dimostra capacità di comprensione multi-modale più forti, consentendo di generare didascalie di testo-immagine che si allineano meglio con le istruzioni di input e producono risposte di testo-immagine con una più forte somiglianza concettuale. Ciò che è ancora più impressionante è il fatto che il framework Mini-Gemini dimostra una notevole competenza nella generazione di contenuti di alta qualità utilizzando solo istruzioni multi-modello umane con dati di addestramento di testo, una capacità che illustra la robusta interpretazione semantica e le capacità di allineamento testo-immagine del Mini-Gemini.

Pensieri Finali

In questo articolo abbiamo parlato di Mini-Gemini, un framework potente e snello per i modelli di linguaggio visivo multi-modali. L’obiettivo principale del framework Mini-Gemini è sfruttare le capacità latenti dei modelli di linguaggio visivo utilizzando dati di alta qualità, progettazione strategica del framework e un ambito funzionale esteso. Mini-Gemini è un tentativo di ridurre il divario che esiste tra i modelli di linguaggio visivo e modelli più avanzati sfruttando il potenziale dei VLM per migliori prestazioni da tre aspetti: generazione guidata da VLM, dati di alta qualità e token visivi ad alta risoluzione. Per migliorare i token visivi, il framework Mini-Gemini propone di utilizzare un encoder visivo aggiuntivo per il raffinamento ad alta risoluzione senza aumentare il numero di token visivi. Il framework Mini-Gemini costruisce inoltre un set di dati di alta qualità nel tentativo di promuovere la comprensione precisa delle immagini e la generazione basata sul ragionamento. Nel complesso, il framework Mini-Gemini tenta di sfruttare il potenziale dei modelli di linguaggio visivo e mira a dotare i framework esistenti di capacità di ragionamento, comprensione e generazione di immagini simultaneamente.