Presentazione dei Modelli Multimodali di Grande Scala: Definizione del Paesaggio dei Modelli Linguistici nel 2024

Mentre sperimentiamo il mondo, i nostri sensi (visione, suoni, odori) forniscono una varietà di informazioni diverse e ci esprimiamo utilizzando diversi metodi di comunicazione, come espressioni facciali e gesti. Questi sensi e metodi di comunicazione sono collettivamente chiamati modalità, rappresentando i diversi modi in cui percepiamo e comunichiamo. Traendo ispirazione da questa capacità umana, i modelli multimodali di grande scala (LMM), una combinazione di intelligenza artificiale generativa e intelligenza artificiale multimodale, stanno sendo sviluppati per comprendere e creare contenuti utilizzando diversi tipi come testo, immagini e audio. In questo articolo, esploriamo questo campo emergente, esaminando cosa sono i LMM (Modelli Multimodali di Grande Scala), come sono costruiti, esempi esistenti, le sfide che affrontano e le possibili applicazioni.

Evolutzione dell’Intelligenza Artificiale Generativa nel 2024: Dai Modelli Linguistici di Grande Scala ai Modelli Multimodali di Grande Scala

Nel suo ultimo rapporto, McKinsey ha designato il 2023 come l’anno di svolta per l’intelligenza artificiale generativa, portando a molti progressi nel settore. Abbiamo assistito a un notevole aumento della diffusione dei modelli linguistici di grande scala (LLM) in grado di comprendere e generare linguaggio umano-like. Inoltre, i modelli di generazione di immagini sono significativamente evoluti, dimostrando la loro capacità di creare visuali da prompt testuali. Tuttavia, nonostante i progressi significativi nelle singole modalità come testo, immagini o audio, l’intelligenza artificiale generativa ha incontrato sfide nell’unire in modo fluido queste modalità nel processo di generazione. Poiché il mondo è intrinsecamente multimodale per natura, è fondamentale che l’intelligenza artificiale sia in grado di gestire informazioni multimodali. Ciò è essenziale per un coinvolgimento significativo con gli esseri umani e per un’operazione di successo in scenari del mondo reale.

Di conseguenza, molti ricercatori di intelligenza artificiale anticipano la nascita dei LMM come la prossima frontiera nella ricerca e sviluppo dell’intelligenza artificiale nel 2024. Questa frontiera in evoluzione si concentra sull’aumento della capacità dell’intelligenza artificiale generativa di elaborare e produrre output diversi, che spaziano dal testo alle immagini, all’audio, al video e ad altre modalità. È essenziale sottolineare che non tutti i sistemi multimodali possono essere considerati LMM. Modelli come Midjourney e Stable Diffusion, nonostante siano multimodali, non rientrano nella categoria dei LMM principalmente perché mancano della presenza di LLM, che è un componente fondamentale dei LMM. In altre parole, possiamo descrivere i LMM come un’estensione dei LLM, fornendo loro la capacità di gestire in modo efficiente diverse modalità.

Come Funzionano i LMM?

Mentre i ricercatori hanno esplorato diversi approcci per la costruzione dei LMM, essi tipicamente coinvolgono tre componenti essenziali e operazioni. In primo luogo, vengono utilizzati encoder per ogni modalità di dati per generare rappresentazioni dei dati (chiamate embedding) specifiche per quella modalità. In secondo luogo, vengono utilizzati meccanismi diversi per allineare gli embedding di diverse modalità in uno spazio di embedding multimodale unificato. In terzo luogo, per i modelli generativi, viene utilizzato un LLM per generare risposte testuali. Poiché gli input possono consistere in testo, immagini, video e audio, i ricercatori stanno lavorando su nuovi modi per far sì che i modelli linguistici considerino diverse modalità quando forniscono risposte.

Sviluppo dei LMM nel 2023

Di seguito, ho brevemente delineato alcuni dei LMM più notevoli sviluppati nel 2023.

• LLaVA è un LMM open-source, sviluppato congiuntamente dall’Università del Wisconsin-Madison, Microsoft (MSFT ) Research e Columbia University. Il modello mira a offrire una versione open-source del multimodale GPT4. Sfruttando il Meta’s Llama LLM, incorpora il CLIP visual encoder per una robusta comprensione visiva. La variante di LLaVA focalizzata sulla sanità, denominata LLaVA-Med, può rispondere a domande relative a immagini biomediche.
• ImageBind è un modello open-source creato da Meta, che emula la capacità della percezione umana di relazionare dati multimodali. Il modello integra sei modalità – testo, immagini/video, audio, misure 3D, dati di temperatura e dati di movimento – imparando una rappresentazione unificata su questi diversi tipi di dati. ImageBind può collegare oggetti in foto con attributi come suoni, forme 3D, temperatura e movimento. Il modello può essere utilizzato, ad esempio, per generare una scena da testo o suoni.
• SeamlessM4T è un modello multimodale progettato da Meta per favorire la comunicazione tra comunità multilingue. SeamlessM4T eccelle nella traduzione e nella trascrizione, supportando la traduzione speech-to-speech, speech-to-text, text-to-speech e text-to-text. Il modello utilizza un decoder testo-unità non autoregressivo per eseguire queste traduzioni. La versione migliorata, SeamlessM4T v2, forma la base per modelli come SeamlessExpressive e SeamlessStreaming, enfatizzando la conservazione dell’espressione attraverso le lingue e fornendo traduzioni con latenza minima.
• GPT4, lanciato da OpenAI, è un avanzamento del suo predecessore, GPT3.5. Sebbene i dettagli architettonici specifici non siano stati completamente divulgati, GPT4 è ben considerato per la sua integrazione fluida di modelli testo-solo, visione-solo e audio-solo. Il modello può generare testo da input sia scritti che grafici. Eccelle in vari compiti, tra cui la descrizione dell’umorismo nelle immagini, la sintesi di testo da screenshot e la risposta in modo adeguato a domande di esami che presentano diagrammi. GPT4 è anche riconosciuto per la sua adattabilità nell’elaborazione efficace di una vasta gamma di formati di input.
• Gemini, creato da Google DeepMind, si distingue per essere intrinsecamente multimodale, consentendo un’interazione fluida tra diverse attività senza affidarsi all’unione di componenti a singola modalità. Questo modello gestisce facilmente sia testo che input audio-visivi diversi, dimostrando la sua capacità di generare output sia in formato testo che immagine.

Sfide dei Modelli Multimodali di Grande Scala

• Integrazione di Più Modalità di Dati: La maggior parte dei LMM esistenti opera con testo e immagini. Tuttavia, i LMM devono evolversi oltre il testo e le immagini, accogliendo modalità come video, musica e 3D.
• Disponibilità di Set di Dati Diversi: Una delle principali sfide nello sviluppo e nell’addestramento di modelli generativi di intelligenza artificiale multimodali è la necessità di grandi e diversi set di dati che includono più modalità. Ad esempio, per addestrare un modello a generare testo e immagini insieme, il set di dati deve includere sia input testuali che immagini correlate.
• Generazione di Output Multimodali: Mentre i LMM possono gestire input multimodali, generare output diversi, come combinare testo con grafica o animazioni, rimane una sfida.
• Esecuzione di Istruzioni: I LMM affrontano la sfida di padroneggiare il dialogo e le attività di esecuzione di istruzioni, andando oltre il semplice completamento.
• Ragionamento Multimodale: Sebbene i LMM attuali eccellano nel trasformare una modalità in un’altra, l’integrazione fluida dei dati multimodali per compiti di ragionamento complessi, come risolvere problemi scritti basati su istruzioni uditive, rimane un’impresa impegnativa.
• Compressione dei LMM: La natura intensiva in termini di risorse dei LMM rappresenta un ostacolo significativo, rendendoli impraticabili per dispositivi edge con risorse computazionali limitate. Comprimere i LMM per migliorare l’efficienza e renderli adatti alla distribuzione su dispositivi con risorse limitate è un’area di ricerca in corso.

Casi di Utilizzo Potenziali

• Istruzione: I LMM hanno il potenziale di trasformare l’istruzione generando materiali di apprendimento diversi e coinvolgenti che combinano testo, immagini e audio. I LMM forniscono feedback complessivi sugli incarichi, promuovono piattaforme di apprendimento collaborative, migliorano lo sviluppo delle competenze attraverso simulazioni interattive ed esempi del mondo reale.
• Sanità: A differenza dei sistemi di diagnostica di intelligenza artificiale tradizionali che si concentrano su una singola modalità, i LMM migliorano la diagnostica medica integrando più modalità. Sostengono anche la comunicazione attraverso barriere linguistiche tra i fornitori di servizi sanitari e i pazienti, agendo come un repository centralizzato per varie applicazioni di intelligenza artificiale all’interno degli ospedali.
• Generazione di Arte e Musica: I LMM potrebbero eccellere nella creazione di arte e musica combinando diverse modalità per output unici ed espressivi. Ad esempio, un LMM per l’arte può fondere elementi visivi e udibili, fornendo un’esperienza immersiva. Allo stesso modo, un LMM per la musica può integrare elementi strumentali e vocali, risultando in composizioni dinamiche ed espressive.
• Raccomandazioni Personalizzate: I LMM possono analizzare le preferenze degli utenti attraverso diverse modalità per fornire raccomandazioni personalizzate per il consumo di contenuti, come film, musica, articoli o prodotti.

• Previsione del Tempo e Monitoraggio Ambientale: I LMM possono analizzare diverse modalità di dati, come immagini satellitari, condizioni atmosferiche e modelli storici, per migliorare l’accuratezza nella previsione del tempo e nel monitoraggio ambientale.

Il Punto di Partenza

Il paesaggio dei Modelli Multimodali di Grande Scala (LMM) segna una svolta significativa nell’intelligenza artificiale generativa, promettendo progressi in vari campi. Mentre questi modelli integrano in modo fluido diverse modalità, come testo, immagini e audio, il loro sviluppo apre le porte ad applicazioni trasformative in sanità, istruzione, arte e raccomandazioni personalizzate. Tuttavia, le sfide, tra cui l’accoglienza di più modalità di dati e la compressione di modelli intensivi in termini di risorse, sottolineano gli sforzi di ricerca in corso necessari per la piena realizzazione del potenziale dei LMM.