Google Introduce Gemma 2: Miglioramento delle Prestazioni, Velocità e Accessibilità per gli Sviluppatori

Google (GOOGL ) ha presentato Gemma 2, l’ultima iterazione dei suoi modelli linguistici leggeri open-source, disponibili in taglie di 9 miliardi (9B) e 27 miliardi (27B) di parametri. Questa nuova versione promette prestazioni migliorate e inferenza più veloce rispetto al suo predecessore, il modello Gemma. Gemma 2, derivato dai modelli Gemini di Google, è progettato per essere più accessibile per ricercatori e sviluppatori, offrendo miglioramenti sostanziali in termini di velocità ed efficienza. A differenza dei modelli multimodali e multilingui Gemini, Gemma 2 si concentra esclusivamente sull’elaborazione del linguaggio. In questo articolo, esploreremo le caratteristiche e i progressi di Gemma 2, confrontandolo con i suoi predecessori e concorrenti nel settore, evidenziando i suoi casi d’uso e le sfide.

Creazione di Gemma 2

Come il suo predecessore, i modelli Gemma 2 si basano su un’architettura di trasformatore decoder-only. La variante 27B è stata addestrata su 13 trilioni di token di dati principalmente in inglese, mentre il modello 9B utilizza 8 trilioni di token e il modello 2,6B è stato addestrato su 2 trilioni di token. Questi token provengono da una varietà di fonti, tra cui documenti web, codice e articoli scientifici. Il modello utilizza lo stesso tokenizer di Gemma 1 e Gemini, garantendo la coerenza nell’elaborazione dei dati.

Gemma 2 è stato pre-addestrato utilizzando un metodo chiamato distillazione della conoscenza, dove apprende dalle probabilità di output di un modello più grande e pre-addestrato. Dopo l’addestramento iniziale, i modelli sono stati perfezionati attraverso un processo chiamato addestramento supervisionato (SFT) su una miscela di testi sintetici e umani in inglese, seguito da apprendimento per rinforzo con feedback umano (RLHF) per migliorare le prestazioni generali.

Gemma 2: Prestazioni Migliorate e Efficienza su Diverse Piattaforme Hardware

Gemma 2 non solo supera Gemma 1 in termini di prestazioni, ma compete anche efficacemente con modelli di dimensioni doppie. È progettato per funzionare in modo efficiente su diverse configurazioni hardware, tra cui laptop, desktop, dispositivi IoT e piattaforme mobili. In particolare, è stato ottimizzato per funzionare su singole GPU e TPU, migliorando l’efficienza del suo predecessore, specialmente su dispositivi con risorse limitate. Ad esempio, il modello 27B eccelle nell’esecuzione di inferenza su una singola GPU NVIDIA H100 Tensor Core (NVDA ) o TPU host, rendendolo un’opzione conveniente per gli sviluppatori che necessitano di elevate prestazioni senza investire pesantemente in hardware.

Inoltre, Gemma 2 offre agli sviluppatori capacità di regolazione avanzate su una vasta gamma di piattaforme e strumenti. Sia che si utilizzino soluzioni basate su cloud come Google Cloud, sia che si utilizzino piattaforme popolari come Axolotl, Gemma 2 fornisce ampie opzioni di regolazione. L’integrazione con piattaforme come Hugging Face, NVIDIA TensorRT-LLM e Google’s JAX e Keras consente ai ricercatori e agli sviluppatori di raggiungere prestazioni ottimali e un deploy efficiente su diverse configurazioni hardware.

Gemma 2 vs. Llama 3 70B

Quando si confronta Gemma 2 con Llama 3 70B, entrambi i modelli si distinguono nella categoria dei modelli linguistici open-source. I ricercatori di Google affermano che Gemma 2 27B offre prestazioni paragonabili a Llama 3 70B, nonostante le sue dimensioni più ridotte. Inoltre, Gemma 2 9B supera costantemente Llama 3 8B in vari benchmark, come la comprensione del linguaggio, la codifica e la risoluzione di problemi matematici.

Un vantaggio notevole di Gemma 2 su Llama 3 di Meta è la sua gestione delle lingue indiane. Gemma 2 eccelle grazie al suo tokenizer, progettato specificamente per queste lingue e che include un ampio vocabolario di 256k token per catturare le sfumature linguistiche. D’altra parte, Llama 3, nonostante supporti molte lingue, fatica con la tokenizzazione per le scritture indiane a causa del vocabolario limitato e dei dati di addestramento. Ciò conferisce a Gemma 2 un vantaggio in compiti che coinvolgono lingue indiane, rendendolo una scelta migliore per gli sviluppatori e i ricercatori che lavorano in questi ambiti.

Casi d’Uso

Sulla base delle caratteristiche specifiche del modello Gemma 2 e delle sue prestazioni nei benchmark, abbiamo identificato alcuni casi d’uso pratici per il modello.

• Assistenti Multilingui: Il tokenizer specializzato di Gemma 2 per varie lingue, in particolare le lingue indiane, lo rende uno strumento efficace per lo sviluppo di assistenti multilingui personalizzati per gli utenti di queste lingue. Sia che si cerchi di ottenere informazioni in hindi, creare materiali educativi in urdu, contenuti di marketing in arabo o articoli di ricerca in bengalese, Gemma 2 consente ai creatori di utilizzare strumenti di generazione del linguaggio efficaci. Un esempio concreto di questo caso d’uso è Navarasa, un assistente multilingue costruito su Gemma che supporta nove lingue indiane. Gli utenti possono produrre facilmente contenuti che risuonano con il pubblico regionale, aderendo alle norme e sfumature linguistiche specifiche.
• Strumenti Educativi: Con la sua capacità di risolvere problemi matematici e comprendere query linguistiche complesse, Gemma 2 può essere utilizzato per creare sistemi di tutoraggio intelligenti e app educative che offrono esperienze di apprendimento personalizzate.
• Codifica e Assistenza alla Codifica: La competenza di Gemma 2 nei benchmark di codifica indica il suo potenziale come strumento potente per la generazione di codice, la rilevazione di bug e la revisione automatica del codice. La sua capacità di funzionare bene su dispositivi con risorse limitate consente agli sviluppatori di integrarlo senza problemi nei loro ambienti di sviluppo.
• Generazione Assistita dalla Ricerca (RAG): Le prestazioni solide di Gemma 2 nei benchmark di inferenza basata su testo lo rendono adatto per lo sviluppo di sistemi RAG in vari domini. Supporta applicazioni sanitarie sintetizzando informazioni cliniche, assiste sistemi di intelligenza artificiale legale nella fornitura di consulenza legale, consente lo sviluppo di chatbot intelligenti per il supporto clienti e facilita la creazione di strumenti educativi personalizzati.

Limitazioni e Sfide

Sebbene Gemma 2 presenti progressi notevoli, affronta anche limitazioni e sfide principalmente legate alla qualità e alla diversità dei suoi dati di addestramento. Nonostante il suo tokenizer supporti varie lingue, Gemma 2 manca di un addestramento specifico per le capacità multilingui e richiede una regolazione fine per gestire efficacemente altre lingue. Il modello funziona bene con prompt chiari e strutturati, ma fatica con compiti aperti o complessi e sfumature linguistiche sottili come il sarcasmo o le espressioni figurative. La sua accuratezza fattuale non è sempre affidabile, potendo produrre informazioni obsolete o scorrette, e potrebbe mancare di ragionamento basato sul buon senso in determinati contesti. Sebbene siano stati fatti sforzi per affrontare le allucinazioni, in particolare in aree sensibili come la sanità o le sostanze chimiche, biologiche, radiologiche e nucleari (CBRN), esiste ancora il rischio di generare informazioni inaccurate in domini meno raffinati come la finanza. Inoltre, nonostante i controlli per prevenire la generazione di contenuti eticamente inaccettabili come discorsi d’odio o minacce alla sicurezza informatica, esistono rischi continui di utilizzo improprio in altri domini. Infine, Gemma 2 è esclusivamente basato sul testo e non supporta l’elaborazione di dati multimodali.

Il Punto Chiave

Gemma 2 introduce progressi significativi nei modelli linguistici open-source, migliorando le prestazioni e la velocità di inferenza rispetto al suo predecessore. È adatto per varie configurazioni hardware, rendendolo accessibile senza investimenti hardware significativi. Tuttavia, persistono sfide nel gestire compiti linguistici sfumati e garantire l’accuratezza in scenari complessi. Sebbene sia utile per applicazioni come la consulenza legale e gli strumenti educativi, gli sviluppatori dovrebbero essere consapevoli delle sue limitazioni nelle capacità multilingui e dei potenziali problemi di accuratezza fattuale in contesti sensibili. Nonostante queste considerazioni, Gemma 2 rimane un’opzione preziosa per gli sviluppatori che cercano soluzioni di elaborazione del linguaggio affidabili.