IBM rilascia i modelli modulari Granite Switch 4.1 nelle versioni da 8B e 30B

Il 15 ottobre 2026 IBM ha annunciato Granite Switch 4.1, rilasciando due modelli linguistici modulari da 8 e 30 miliardi di parametri, che riuniscono in un unico endpoint ospitato un modello di base, un adattatore decisionale generalista, un adattatore di sicurezza e un codificatore vocale integrato per la conversione da parlato a testo. Il post sul blog IBM Granite che annunciava il rilascio è stato scritto da Kate Soule, Subhajit Chaudhury, Hendrik Strobelt e Luis A Lastras.

La configurazione 4.1

Il rilascio comprende Granite-Switch-4.1-8B e Granite-Switch-4.1-30B, basati sui modelli di base granite-4.1-8b e granite-4.1-30b, che contano rispettivamente 8 e 30 miliardi di parametri e hanno una finestra di contesto di 128K. La scheda del modello 8B e la scheda del modello 30B indicano come data di rilascio il 14 ottobre 2026, una licenza Apache 2.0 e i backend Hugging Face Transformers e vLLM.

Ogni checkpoint combina con il modello di base tre componenti: un LoRA attivato (aLoRA) decisionale per il processo decisionale generalista; guardian-core, un aLoRA della libreria Guardian di IBM che rileva rischi per la sicurezza legati a danni, jailbreak, volgarità, violenza, contenuti sessuali, pregiudizi sociali e comportamenti non etici; e Granite Speech 5.0 TurboCTC, un codificatore conformer CTC inglese non autoregressivo da 470 milioni di parametri, integrato per la trascrizione e descritto da IBM come il modello ASR più veloce nella classifica OpenASR Leaderboard. IBM afferma che tutte e tre le tecnologie, insieme al modello di base, richiedono all’incirca la stessa quantità di memoria GPU del solo modello di base.

Le schede elencano anche varianti di anteprima senza audio (granite-switch-4.1-8b-preview, granite-switch-4.1-30b-preview e granite-switch-4.1-3b-preview), che includono il bundle completo di adattatori Granite Libraries. IBM ha presentato il progetto Granite Switch nella primavera del 2026 come approccio modulare allo sviluppo dei modelli; la precedente versione Granite Libraries fornisce il repository di adattatori decisionali e per attività specifiche che possono essere combinati in modelli Switch personalizzati.

Come funziona la commutazione

Granite Switch usa quella che le schede dei modelli definiscono commutazione degli esperti a grana grossa: un singolo adattatore rimane attivo in tutti i livelli del decodificatore per una sequenza contigua di token. Chi effettua le chiamate attiva un adattatore passandone il nome al modello di chat, che inserisce automaticamente il token di controllo corrispondente. Un livello di commutazione leggero, basato sull’attenzione standard, rileva questi token e genera indici degli adattatori per ciascuna posizione, indirizzando ogni livello del decodificatore ad applicare i pesi LoRA corrispondenti a quella sequenza.

Le schede indicano quattro caratteristiche di progettazione: ogni adattatore legge solo la cache KV del modello di base, mai lo stato interno di un altro adattatore; gli adattatori vengono sviluppati, testati e pubblicati in modo indipendente, senza addestramento congiunto; un unico checkpoint funziona sia con Transformers sia con vLLM; e la selezione dell’adattatore non richiede modifiche al codice. IBM afferma che la progettazione Activated LoRA, efficiente nell’uso della cache, consente di riutilizzare per le decisioni successive basate su adattatori la cache KV generata dal modello di base; attribuisce inoltre la rapidità di passaggio tra richieste di chat, decisionali e vocali ai suoi recenti contributi ai kernel vLLM e a un codificatore ASR collocato insieme al modello.

L’adattatore decisionale riceve uno stato e una domanda con opzioni etichettate, quindi produce in un unico passaggio in avanti una distribuzione di probabilità softmax tra le etichette. L’audio in ingresso viene trascritto dal codificatore vocale integrato e la trascrizione risultante sostituisce l’audio nel contesto della chat; in questo modo, la trascrizione viene eseguita sullo stesso endpoint della chat e delle decisioni, senza un server vocale separato né cambiamenti al modo in cui si richiama il modello. IBM ospita anche uno spazio dimostrativo Speech-to-Decisions in cui il modello 8B trascrive l’audio in ingresso, genera riepiloghi, verifica la presenza di contenuti dannosi e valuta altri 15 indicatori definiti dagli utenti, tutto in tempo reale su un unico endpoint.

Benchmark e confronti riportati da IBM

IBM confronta il proprio approccio con modelli decisionali chiusi come Jev, che a suo dire puntano alla generalità, e afferma che l’adattatore guardian-core supera in media Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions e Clef-Flash nelle attività decisionali legate alla sicurezza. Nel confronto pubblicato da IBM tra i suoi adattatori specializzati Granite Libraries e i modelli decisionali generalisti, il migliore adattatore Granite ha ottenuto risultati superiori di 2,3 punti su OOD Safety, 17,0 su IFEval, 11,0 su BIO F1 e 11,8 su RAGTruth, mentre ha ottenuto risultati inferiori di 2,6 punti su LM-AggreFact, 3,2 su InfoBench-GPT4 e 0,8 su InfoBench-Human.

Le schede dei modelli riportano i punteggi Decision Index dell’adattatore decisionale, misurati sul sottoinsieme rapido pubblico del benchmark, composto da 1.068 righe, secondo il sistema di valutazione edition-v0.3, con l’adattatore servito tramite un endpoint vLLM ospitato. L’adattatore 8B ha ottenuto un punteggio complessivo di 42,9: 29,1 in Knowledge, 48,9 in Language, 49,8 in Retrieval, 59,8 in Tools e 18,0 in Arts. L’adattatore 30B ha ottenuto un punteggio complessivo di 50,1: 32,4 in Knowledge, 58,6 in Language, 49,8 in Retrieval, 76,5 in Tools e 26,4 in Arts. Le schede affermano che i risultati dell’esecuzione locale e di quella ospitata dello stesso adattatore differivano di circa 0,6 punti al massimo.

IBM riferisce anche di una gara in cui Granite-Switch-4.1-30B, un modello Granite di base congelato con quattro aLoRA specializzate, ha completato un flusso di lavoro RAG reale in cinque passaggi molto più rapidamente di Jev-27B, un modello Qwen di base congelato con una LoRA decisionale generica. In una seconda dimostrazione, IBM afferma che un modello Granite Switch personalizzato da 3 miliardi di parametri, mentre giocava a Doom, prendeva da 60 a 100 decisioni al secondo, contro le 10 decisioni al secondo dichiarate per Jev, e che, a differenza di Jev, il suo modello è in grado di narrare e rispondere alle domande mentre gioca.

Disponibilità, requisiti e limitazioni

Entrambi i checkpoint sono distribuiti con licenza Apache 2.0. I requisiti sono Python 3.9 o versioni successive, PyTorch 2.11.0 o versioni successive, Transformers dalla versione 5.16 alla 5.17.0 e, facoltativamente, vLLM dalla versione 0.26.0 fino a prima della 0.28.0. L’architettura di base densa, solo decoder, utilizza l’attenzione a query raggruppate (GQA), RoPE, SwiGLU e RMSNorm; supporta un contesto di 131.072 token e indica come lingue supportate l’inglese, il tedesco, lo spagnolo, il francese, il giapponese, il portoghese, l’arabo, il ceco, l’italiano, il coreano, l’olandese e il cinese.

Chiunque può comporre un modello Granite Switch personalizzato combinando gli adapter del catalogo di adapter del progetto con gli strumenti di composizione. IBM indica Mellea come il livello applicativo preferito per eseguire gli adapter Granite Switch; Mellea integra già le famiglie di adapter delle Granite Libraries, ma l’adapter decisionale non dispone ancora di un intrinsic Mellea, il cui supporto è previsto. IBM prevede inoltre un SDK per adapter per addestrare in Mellea adapter personalizzati e di terze parti, insieme a tutorial e al supporto per Granite Switch, e afferma che pubblicherà ulteriori dettagli e dati su Granite Switch nelle settimane successive all’annuncio.

Le schede documentano diverse limitazioni. La cascata vocale funziona solo in inglese e restituisce trascrizioni in minuscolo e senza punteggiatura, senza possibilità di controllo durante la decodifica; inoltre, poiché l’encoder ASR non è addestrato congiuntamente al modello linguistico o agli adapter, una trascrizione errata può modificare senza che ce ne si accorga la risposta del modello o di un adapter. vLLM limita a 128 ID di token le richieste di log-probabilità delle etichette delle opzioni decisionali, perciò le domande con più opzioni devono essere suddivise in richieste a blocchi. Le schede specificano inoltre che guardian-core non sostituisce i test di sicurezza a livello applicativo, che i checkpoint non includono gli adapter della Guardian Library per il rilevamento e la correzione della factualità né quelli per le protezioni basate su policy e che le probabilità dell’adapter decisionale vanno interpretate come un valore a priori utile a orientare una decisione, non come una classificazione certificata per ambiti esterni al suo addestramento.