L’AI Multimodale di Google Gemini – Un’Analisi Tecnica Approfondita

Sundar Pichai, CEO di Google (GOOGL ), insieme a Demis Hassabis di Google DeepMind, hanno presentato Gemini a dicembre 2023. Questo nuovo modello di linguaggio è integrato in tutta la gamma di prodotti di Google, offrendo miglioramenti che si ripercuotono sui servizi e gli strumenti utilizzati da milioni di persone.

Gemini, l’AI multimodale avanzata di Google, è il risultato degli sforzi congiunti dei laboratori di DeepMind e Brain AI unificati. Gemini si basa sulle spalle dei suoi predecessori, promettendo di offrire una suite di applicazioni più interconnessa e intelligente.

L’annuncio di Google Gemini, a pochi passi dal debutto di Bard, Duet AI e PaLM 2 LLM, segna un’intenzione chiara da parte di Google di non solo competere, ma di guidare la rivoluzione dell’AI.

Contrariamente a qualsiasi nozione di “inverno dell’AI”, il lancio di Gemini suggerisce una primavera dell’AI in pieno rigoglio, piena di potenziale e crescita. Mentre riflettiamo su un anno dall’emergere di ChatGPT, che di per sé è stato un momento epocale per l’AI, la mossa di Google indica che l’espansione dell’industria è ben lungi dall’essere finita; anzi, potrebbe proprio stare accelerando.

Cosa è Gemini?

Il modello Gemini di Google è in grado di elaborare tipi di dati diversi come testo, immagini, audio e video. È disponibile in tre versioni – Ultra, Pro e Nano – ciascuna progettata per applicazioni specifiche, dalle attività complesse all’uso su dispositivo. Ultra eccelle in attività multifacetiche e sarà disponibile su Bard Advanced, mentre Pro offre un equilibrio tra prestazioni ed efficienza delle risorse, già integrato in Bard per le promozioni di testo. Nano, ottimizzato per il deploy su dispositivo, è disponibile in due dimensioni e presenta ottimizzazioni hardware come la quantizzazione a 4 bit per l’uso offline in dispositivi come il Pixel 8 Pro.

L’architettura di Gemini è unica nella sua capacità di output multimodale nativo, utilizzando token di immagine discreti per la generazione di immagini e integrando funzionalità audio dal modello di speech universale per una comprensione audio più sfumata. La sua capacità di gestire dati video come immagini sequenziali, intrecciate con input di testo o audio, esemplifica la sua potenza multimodale.

Gemini supporta sequenze di testo, immagine, audio e video come input

Accesso a Gemini

Gemini 1.0 è in fase di rollout in tutta l’ecosistema di Google, compreso Bard, che ora beneficia delle capacità raffinate di Gemini Pro. Google ha anche integrato Gemini nei suoi servizi di Ricerca, Pubblicità e Duet, migliorando l’esperienza dell’utente con risposte più veloci e accurate.

Per coloro che desiderano sfruttare le capacità di Gemini, Google AI Studio e Google Cloud Vertex offrono l’accesso a Gemini Pro, con quest’ultimo che fornisce funzionalità di personalizzazione e sicurezza più ampie.

Per sperimentare le capacità migliorate di Bard alimentato da Gemini Pro, gli utenti possono seguire i seguenti passaggi semplici:

1. Naviga su Bard: Apri il tuo browser web preferito e vai al sito web di Bard.
2. Accedi in modo sicuro: Accedi al servizio con il tuo account Google, assicurando un’esperienza fluida e sicura.
3. Chat interattiva: Ora puoi utilizzare Bard, dove puoi optare per le funzionalità avanzate di Gemini Pro.

Potere della Multimodalità:

Al suo nucleo, Gemini utilizza un’architettura basata su trasformatori, simile a quelle impiegate in modelli NLP di successo come GPT-3. Tuttavia, l’unicità di Gemini risiede nella sua capacità di elaborare e integrare informazioni da molteplici modalità, tra cui testo, immagini e codice. Ciò è ottenuto attraverso una tecnica innovativa chiamata attenzione cross-modale, che consente al modello di apprendere relazioni e dipendenze tra diversi tipi di dati.

Ecco una panoramica dei componenti chiave di Gemini:

• Encoder Multimodale: Questo modulo elabora i dati di input da ogni modalità (ad esempio, testo, immagine) in modo indipendente, estraendo funzionalità rilevanti e generando rappresentazioni individuali.
• Rete di Attenzione Cross-Modale: Questa rete è il cuore di Gemini. Consente al modello di apprendere relazioni e dipendenze tra le diverse rappresentazioni, permettendo loro di “comunicare” e arricchire la loro comprensione.
• Decoder Multimodale: Questo modulo utilizza le rappresentazioni arricchite generate dalla rete di attenzione cross-modale per eseguire varie attività, come la generazione di didascalie per immagini, la generazione di testo-immagine e la generazione di codice.

Il modello Gemini non si limita a comprendere il testo o le immagini – si tratta di integrare diversi tipi di informazioni in un modo che è molto più vicino a come noi, come esseri umani, percepiamo il mondo. Ad esempio, Gemini può analizzare una sequenza di immagini e determinare l’ordine logico o spaziale degli oggetti al loro interno. Può anche analizzare le caratteristiche di progettazione degli oggetti per prendere decisioni, come ad esempio quale delle due auto ha una forma più aerodinamica.

Ma le capacità di Gemini vanno ben oltre la semplice comprensione visiva. Può trasformare un set di istruzioni in codice, creando strumenti pratici come un timer di countdown che non solo funziona come diretto, ma include anche elementi creativi, come emoji motivazionali, per migliorare l’interazione dell’utente. Ciò indica una capacità di gestire attività che richiedono una combinazione di creatività e funzionalità – abilità che sono spesso considerate distintamente umane.

Capacità di Gemini: Ragionamento Spaziale (Fonte)

Le capacità di Gemini si estendono all’esecuzione di attività di programmazione (Fonte)

La progettazione sofisticata di Gemini si basa su una ricca storia di ricerca sui reti neurali e sfrutta la tecnologia TPU all’avanguardia di Google per l’addestramento. Gemini Ultra, in particolare, ha stabilito nuovi benchmark in vari domini dell’AI, mostrando prestazioni notevoli in attività di ragionamento multimodale.

Con la sua capacità di analizzare e comprendere dati complessi, Gemini offre soluzioni per applicazioni nel mondo reale, specialmente nell’istruzione. Può analizzare e correggere soluzioni a problemi, come nella fisica, comprendendo appunti scritti a mano e fornendo tipografia matematica precisa. Tali capacità suggeriscono un futuro in cui l’AI assiste in ambienti educativi, offrendo agli studenti e agli educatori strumenti avanzati per l’apprendimento e la risoluzione dei problemi.

Gemini è stato utilizzato per creare agenti come AlphaCode 2, che eccelle in problemi di programmazione competitiva. Ciò dimostra il potenziale di Gemini di agire come un’AI generalista, in grado di gestire problemi complessi e multi-step.

Gemini Nano porta il potere dell’AI ai dispositivi di tutti i giorni, mantenendo capacità impressionanti in attività come la sintesi e la comprensione della lettura, nonché sfide relative al codice e alla scienza, tecnologia, ingegneria e matematica (STEM). Questi modelli più piccoli sono stati ottimizzati per offrire funzionalità AI di alta qualità su dispositivi a bassa memoria, rendendo l’AI avanzata più accessibile che mai.

Lo sviluppo di Gemini ha comportato innovazioni negli algoritmi di addestramento e nell’infrastruttura, utilizzando le ultime TPU di Google. Ciò ha consentito un scaling efficiente e processi di addestramento robusti, assicurando che anche i modelli più piccoli offrano prestazioni eccezionali.

Il set di dati di addestramento per Gemini è altrettanto diversificato quanto le sue capacità, includendo documenti web, libri, codice, immagini, audio e video. Questo set di dati multimodale e multilingue assicura che i modelli Gemini possano comprendere e elaborare efficacemente una vasta gamma di tipi di contenuto.

Gemini e GPT-4

Nonostante l’emergere di altri modelli, la domanda che tutti si pongono è come Gemini di Google si confronta con GPT-4 di OpenAI, il benchmark dell’industria per i nuovi LLM. I dati di Google suggeriscono che mentre GPT-4 potrebbe eccellere in attività di ragionamento comune, Gemini Ultra ha la mano superiore in quasi tutte le altre aree.

Gemini VS GPT-4

La tabella di benchmarking sopra mostra le prestazioni impressionanti dell’AI Gemini di Google in una varietà di attività. In particolare, Gemini Ultra ha ottenuto risultati notevoli nel benchmark MMLU con un’accuratezza del 90,04%, indicando una comprensione superiore in domande a scelta multipla su 57 soggetti.

Nel benchmark GSM8K, che valuta le domande di matematica a livello di scuola elementare, Gemini Ultra ottiene un punteggio del 94,4%, mostrando le sue capacità di elaborazione aritmetica avanzate. Nei benchmark di codifica, Gemini Ultra raggiunge un punteggio del 74,4% nell’HumanEval per la generazione di codice Python, indicando una forte comprensione del linguaggio di programmazione.

Il benchmark DROP, che testa la comprensione della lettura, vede Gemini Ultra in testa con un punteggio dell’82,4%. Nel frattempo, in un test di ragionamento comune, HellaSwag, Gemini Ultra si esibisce in modo ammirevole, anche se non supera il benchmark estremamente alto stabilito da GPT-4.

Conclusione

L’architettura unica di Gemini, alimentata dalla tecnologia all’avanguardia di Google, la posiziona come un giocatore formidabile nel campo dell’AI, sfidando i benchmark esistenti stabiliti da modelli come GPT-4. Le sue versioni – Ultra, Pro e Nano – ciascuna risponde a esigenze specifiche, dalle attività di ragionamento complesse alle applicazioni efficienti su dispositivo, mostrando l’impegno di Google nel rendere l’AI avanzata accessibile su varie piattaforme e dispositivi.

L’integrazione di Gemini nell’ecosistema di Google, da Bard a Google Cloud Vertex, evidenzia il suo potenziale per migliorare l’esperienza dell’utente in una vasta gamma di servizi. Promette non solo di raffinare le applicazioni esistenti, ma anche di aprire nuove strade per soluzioni guidate dall’AI, sia nell’assistenza personalizzata, sia nelle attività creative o nell’analisi aziendale.

Mentre guardiamo avanti, le continue innovazioni nei modelli di AI come Gemini sottolineano l’importanza della ricerca e dello sviluppo continuo. Le sfide di addestrare modelli così sofisticati e di assicurare il loro utilizzo etico e responsabile rimangono al centro del dibattito.