I 5 migliori LLM open source (settembre 2025)

Grandi modelli linguistici (LLM) si sono affermati come una pietra angolare dell'intelligenza artificiale odierna, stimolando l'innovazione e rimodellando il modo in cui interagiamo con la tecnologia.

Man mano che questi modelli diventano sempre più sofisticati, cresce l'enfasi sulla democratizzazione dell'accesso ad essi. I modelli open source, in particolare, svolgono un ruolo fondamentale in questa democratizzazione, offrendo a ricercatori, sviluppatori e appassionati l'opportunità di approfondirne le complessità, perfezionarli per compiti specifici o persino basarsi sulle loro fondamenta.

In questo blog, esploreremo alcuni dei principali LLM open source che stanno emergendo nella comunità dell'intelligenza artificiale. Ognuno di essi porta con sé punti di forza e capacità uniche.

1. lama 3

Llama 3 di Meta rappresenta un monumentale balzo in avanti nella sua gamma di modelli linguistici open source di grandi dimensioni. Successore dell'innovativo Llama 2 rilasciato nel 2023, Llama 3 stabilisce un nuovo stato dell'arte per i modelli disponibili pubblicamente su scale di parametri di 8B e 70B. Non si tratta di un semplice aggiornamento incrementale; è un progresso trasformativo che consentirà agli sviluppatori di creare applicazioni di linguaggio naturale all'avanguardia, stimolando al contempo la ricerca e l'innovazione aperte nell'intelligenza artificiale.

Le prestazioni senza pari di Llama 3 sono dovute a importanti miglioramenti nel processo di pre-addestramento e nell'architettura. Il modello è stato addestrato su un enorme set di dati di oltre 15 trilioni di token provenienti da fonti pubbliche, ben 7 volte più dati rispetto a Llama 2. Questo include 4 volte più dati di codice per potenziare le capacità di programmazione di Llama 3, nonché una copertura significativa di oltre 30 lingue per gettare le basi per future versioni multilingue. Per selezionare questi dati è stato utilizzato un filtro esteso, garantendo che Llama 3 apprendesse solo dalle fonti di altissima qualità.

Ma i miglioramenti di Llama 3 vanno oltre la semplice aggiunta di dati. Ottimizzazioni all'avanguardia all'architettura e al processo di addestramento del modello hanno migliorato sostanzialmente le sue capacità di ragionamento, la generazione di codice, il follow-up delle istruzioni e la diversità delle risposte. Un tokenizzatore migliorato rende Llama 3 fino al 15% più efficiente in termini di token rispetto al suo predecessore. L'attenzione alle query raggruppate consente al modello 8B di mantenere la parità di inferenza con il precedente modello 7B.

Fonte: Meta

Il risultato finale è un modello linguistico che eccelle in un’ampia varietà di compiti linguistici complessi:

• Generazione Creativa: Llama 3 può generare testo altamente coerente e creativo sotto forma di storie, sceneggiature, brani musicali, poesie e altro ancora.
• Codifica e ragionamento: Grazie ai dati avanzati di addestramento del codice, Llama 3 vanta capacità di codifica e ragionamento logico incredibilmente forti per affrontare problemi complessi.
• Risposta alla domanda: Collegando le informazioni attraverso la sua ampia base di conoscenza, Llama 3 può fornire risposte approfondite a domande su diversi argomenti.
• Riassunto: Llama 3 è abile nel produrre riassunti concisi ma completi di articoli lunghi e contenuti concreti.
• Istruzioni seguenti:Una delle caratteristiche più impressionanti di Llama 3 è la sua capacità di seguire con precisione istruzioni complesse composte da più passaggi per compiti aperti.

Il futuro è luminoso per la serie Llama. Meta sta già sviluppando versioni di Llama 3 con oltre 400 miliardi di parametri che non solo sono più grandi ma anche multilingue e multimodali. I primi test mostrano che questi modelli su scala ultra-larga forniscono risultati promettenti e competitivi con i migliori sistemi proprietari.

Fonte: Meta

Visita Lama 3 →

2. Fioritura

Nel 2022, il progetto BLOOM è stato presentato dopo uno sforzo di collaborazione durato un anno guidato dalla società di intelligenza artificiale Hugging Face che ha coinvolto oltre 1,000 ricercatori volontari provenienti da più di 70 paesi. BLOOM (BigScience Large Open-science Open-access Multilingual Language Model) è un modello linguistico di grandi dimensioni da 176 miliardi di parametri progettato per la generazione di testo autoregressivo, in grado di estendere un determinato prompt di testo per generare storie, script, poesie, articoli e altro ancora coerenti.

Ciò che distingue BLOOM è la sua natura ad accesso aperto: il modello, il codice sorgente e i dati di addestramento sono tutti disponibili gratuitamente con licenze aperte, a differenza della maggior parte degli altri grandi modelli linguistici sviluppati dalle aziende tecnologiche. Questa apertura invita all’esame, all’utilizzo e al miglioramento continui del modello da parte della più ampia comunità di intelligenza artificiale.

BLOOM vanta impressionanti capacità multilingue, essendo stato addestrato su un vasto set di dati da 1.6 TB (il corpus ROOTS) che comprende 46 lingue naturali e 13 linguaggi di programmazione, con oltre il 30% dei dati in inglese. Per molte lingue come lo spagnolo e l'arabo, BLOOM è il primo modello di queste dimensioni.

Il modello è stato addestrato per oltre 3.5 mesi sul supercomputer Jean Zay in Francia utilizzando 384 GPU NVIDIA A100, reso possibile da un finanziamento di calcolo del governo francese, equivalente a oltre 5 milioni di ore di calcolo. Basato sull'architettura GPT con modifiche, BLOOM raggiunge prestazioni competitive sui benchmark.

Punti di forza chiave di BLOOM:

• Accesso libero: Il modello, il codice e i dati di formazione di BLOOM sono liberamente accessibili, democratizzando l'accesso a potenti modelli linguistici e consentendo una ricerca aperta.
• Competenza multilingue: Formatosi su dati che abbracciano 46 linguaggi naturali e 13 linguaggi di programmazione, BLOOM ha ampie capacità multilingue.
• Competenze linguistiche versatili: Dalla generazione di testo alla risposta alle domande, al riepilogo, alla traduzione e alla generazione di codice, BLOOM eccelle in una varietà di attività linguistiche.
• Sviluppo responsabile dell’IA: BLOOM è stato sviluppato concentrandosi su pratiche di intelligenza artificiale responsabili ed è rilasciato con una licenza che vieta casi d'uso dannosi.
• Distribuzione facile: Gli sviluppatori possono accedere a BLOOM tramite la libreria Hugging Face Transformers e distribuirlo utilizzando Accelerate.

Guardando al futuro, il team di BigScience prevede di espandere BLOOM a più lingue, comprimere il modello e utilizzarlo come punto di partenza per architetture più avanzate. BLOOM rappresenta un passo importante nel rendere i grandi modelli linguistici più trasparenti e accessibili a tutti.

Visita Bloom →

3. MPT-7B

MosaicML Foundations ha dato un contributo significativo a questo spazio con l'introduzione di MPT-7B, il loro ultimo LLM open source. MPT-7B, acronimo di MosaicML Pretrained Transformer, è un modello di trasformatore solo decodificatore in stile GPT. Questo modello vanta numerosi miglioramenti, tra cui implementazioni di layer ottimizzate per le prestazioni e modifiche all'architettura che garantiscono una maggiore stabilità dell'addestramento.

Una caratteristica distintiva di MPT-7B è la sua formazione su un ampio set di dati comprendente 1 trilione di token di testo e codice. Questa formazione rigorosa è stata eseguita sulla piattaforma MosaicML nell'arco di 9.5 giorni.

La natura open source di MPT-7B lo posiziona come uno strumento prezioso per le applicazioni commerciali. Possiede il potenziale per avere un impatto significativo sull'analisi predittiva e sui processi decisionali di aziende e organizzazioni.

Oltre al modello di base, MosaicML Foundations sta anche rilasciando modelli specializzati su misura per attività specifiche, come MPT-7B-Instruct per seguire istruzioni in forma abbreviata, MPT-7B-Chat per la generazione di dialoghi e MPT-7B-StoryWriter-65k+ per la creazione di storie di lunga durata.

Il percorso di sviluppo di MPT-7B è stato completo, con il team MosaicML che ha gestito tutte le fasi dalla preparazione dei dati alla distribuzione in poche settimane. I dati provenivano da diversi repository e il team ha utilizzato strumenti come GPT-NeoX di EleutherAI e il tokenizer 20B per garantire un mix di formazione vario e completo.

Panoramica delle caratteristiche principali di MPT-7B:

• Licenza commerciale: MPT-7B è concesso in licenza per uso commerciale, il che lo rende una risorsa preziosa per le aziende.
• Dati di allenamento completi: Il modello vanta una formazione su un vasto set di dati di 1 trilione di token.
• Gestione di input lunghi: MPT-7B è progettato per elaborare input estremamente lunghi senza compromessi.
• Velocità ed efficienza: Il modello è ottimizzato per l'addestramento e l'inferenza rapidi, garantendo risultati tempestivi.
• Codice open source: MPT-7B viene fornito con un efficiente codice di formazione open source, che promuove la trasparenza e la facilità d'uso.
• Eccellenza comparativa: MPT-7B ha dimostrato la superiorità rispetto ad altri modelli open source nella gamma 7B-20B, con la sua qualità che corrisponde a quella di LLaMA-7B.

Visita MPT-7B →

4. F

*Video sul Falcon 180B, il predecessore del Falcon 2

Falcon 2 è l'ultima generazione di modelli linguistici di grandi dimensioni open source del Technology Innovation Institute (TII) di Abu Dhabi, che si basa sul successo dei precedenti modelli Falcon 7B, 40B e 180B rilasciati nel 2023. La serie Falcon 2 attualmente include :

• Falcon 2B: Un modello basato esclusivamente sulla decodifica causale da 11 miliardi di parametri che supera il LLaMA 3 8B di Meta e si comporta alla pari con il modello Gemma 7B di Google nei benchmark standard, come verificato dalla classifica Hugging Face.
• VLM Falcon 2 11B: Una versione multimodale innovativa di Falcon 2 11B con funzionalità di visione in linguaggio, che lo rendono uno dei pochi modelli open source a offrire questa funzionalità.

Fonte: TII

I modelli Falcon 2 sono completamente open source sotto la permissiva TII Falcon License 2.0, basata su Apache 2.0 ma con una politica di utilizzo accettabile per promuovere lo sviluppo responsabile dell'IA. Ciò consente l'uso gratuito dei modelli per la ricerca e la maggior parte delle applicazioni commerciali.

I modelli Falcon 2 sono stati addestrati su oltre 5 trilioni di token dal set di dati RefinedWeb potenziato, che include un mix diversificato di dati web di alta qualità, libri, scritti tecnici, codice e conversazioni. Per estrarre i dati migliori sono state utilizzate tecniche estese di filtraggio e deduplicazione. Sebbene siano ancora incentrati principalmente sull’inglese, una parte dei dati sulla formazione copre altre lingue come tedesco, spagnolo, francese e italiano, ponendo le basi per futuri modelli multilingue.

Falcon 2 utilizza un'architettura ottimizzata del trasformatore solo decoder che consente prestazioni elevate su scala ridotta rispetto ad altri modelli aperti. TII prevede di aumentare ulteriormente l'efficienza utilizzando tecniche come la combinazione di esperti nelle prossime versioni.

In termini di capacità grezze, Falcon 2 11B eccelle in un'ampia gamma di attività di linguaggio naturale, tra cui:

• Generazione di testo di contenuti coerenti di lunga durata come storie e articoli
• Risposte competenti a domande collegando informazioni su diversi argomenti
• Riepilogo di alta qualità di articoli lunghi o contenuti reali
• Istruzioni accurate che seguono una volta messo a punto
• Solide prestazioni sui benchmark di codifica e ragionamento

La variante VLM Falcon 2 11B aggiunge la capacità unica di comprendere le immagini e generare testo sulla base di input sia visivi che linguistici. Ciò consente potenti casi d'uso multimodali come la risposta visiva alle domande, la didascalia delle immagini e il ragionamento visione-linguaggio.

Guardando al futuro, TII ha condiviso i piani per espandere la serie Falcon 2 con modelli di dimensioni più grandi, pur mantenendo l’attenzione sull’efficienza e sull’accesso aperto. Tecniche come la combinazione di esperti verranno sfruttate per aumentare le capacità senza aumentare drasticamente i requisiti computazionali.

Visita Falcon 2 →

5. Vigogna-13B

LMSYS ORG ha lasciato un segno significativo nel mondo degli LLM open source con Vicuna-13B. Questo chatbot open source è stato addestrato meticolosamente perfezionando LLaMA su circa 70 conversazioni condivise dagli utenti provenienti da ShareGPT.com utilizzando API pubbliche. Per garantire la qualità dei dati, le conversazioni sono state riconvertite da HTML a markdown e filtrate per rimuovere campioni inappropriati o di bassa qualità. Le conversazioni più lunghe sono state inoltre suddivise in segmenti più piccoli che si adattano alla lunghezza massima del contesto del modello.

Le valutazioni preliminari, con GPT-4 in qualità di giudice, hanno indicato che Vicuna-13B ha raggiunto oltre il 90% della qualità di modelli rinomati come OpenAI ChatGPT e Google Bard. Sorprendentemente, Vicuna-13B ha sovraperformato altri modelli degni di nota come LLaMA e Stanford Alpaca in oltre il 90% dei casi dell'epoca. L'intero processo di addestramento per Vicuna-13B è stato eseguito a un costo di circa 300 dollari, sfruttando tecniche come istanze spot, checkpoint gradiente e attenzione flash per ottimizzare l'utilizzo della memoria e ridurre i costi. Per coloro che sono interessati ad esplorarne le capacità, il codice, i pesi e una demo online sono stati resi pubblici per scopi non commerciali.

La ricetta di addestramento per Vicuna si basa sul modello Alpaca di Stanford, con diversi miglioramenti chiave:

• Conversazioni a più turni: La perdita di addestramento viene regolata per tenere conto delle conversazioni multi-turn, calcolando la perdita di messa a punto esclusivamente sull'output del chatbot.
• Ottimizzazioni della memoria: La lunghezza massima del contesto è stata ampliata da 512 in Alpaca a 2048 in Vicuna, consentendo la comprensione di contesti più lunghi al costo di maggiori requisiti di memoria della GPU. Questo viene risolto attraverso il checkpoint del gradiente e l'attenzione flash.
• Riduzione dei costi: Un set di dati 40 volte più grande e una lunghezza della sequenza 4 volte superiore hanno rappresentato una sfida per le spese di formazione, ma l'utilizzo di istanze spot gestite tramite SkyPilot ha ridotto significativamente i costi: da $ 82 a $ 140 per il modello 7B e da $ 135 a $ 300 per il modello 13B.

Per servire Vicuna, è stato costruito un sistema di servizio distribuito in grado di gestire più modelli con lavoratori che possono essere collegati in modo flessibile da cluster on-premise o dal cloud. L'utilizzo di controller con tolleranza agli errori e di istanze spot gestite consente a questo sistema di funzionare bene con istanze spot più economiche da più cloud per ridurre al minimo i costi di servizio. Sebbene attualmente si tratti di un'implementazione leggera, sono in corso i lavori per integrare le ricerche più recenti per migliorare ulteriormente l'infrastruttura di servizio.

Caratteristiche principali di Vicuna-13B:

• Natura open source: Vicuna-13B è disponibile per l'accesso pubblico, promuovendo la trasparenza e il coinvolgimento della comunità.
• Dati di allenamento completi: Il modello è stato addestrato su 70 conversazioni condivise dagli utenti, garantendo una comprensione completa delle diverse interazioni.
• Formazione conveniente: Tecniche come le istanze spot gestite, il checkpoint del gradiente e l'attenzione flash hanno consentito una formazione economicamente vantaggiosa a circa $ 300 per il modello 13B.
• Ricetta di allenamento avanzata: Vicuna si basa sulla ricetta Alpaca con miglioramenti per la gestione delle conversazioni multi-turno, l'ottimizzazione della memoria e la riduzione dei costi.
• Infrastruttura di servizio distribuita: È stato creato un sistema di servizio distribuito flessibile ed economico per rendere Vicuna accessibile al pubblico.
• Disponibilità demo online: Una demo online interattiva è disponibile per gli utenti per testare e sperimentare le capacità di Vicuna-13B.

È importante notare che l'analisi si basa su valutazioni preliminari non scientifiche effettuate utilizzando GPT-4. È ancora necessaria una valutazione rigorosa.

Visita Vicuna-13B →

Il regno in espansione dei modelli linguistici di grandi dimensioni