IBM lansează modelele modulare Granite Switch 4.1 în variantele de 8B și 30B

IBM a anunțat Granite Switch 4.1 pe 15 octombrie 2026, lansând două modele lingvistice modulare, cu 8 miliarde și, respectiv, 30 de miliarde de parametri, care reunesc un model de bază, un adaptor pentru decizii de uz general, un adaptor de siguranță și un encoder integrat de conversie a vorbirii în text, într-un singur endpoint găzduit. Postarea de pe blogul IBM Granite care anunța lansarea a fost scrisă de Kate Soule, Subhajit Chaudhury, Hendrik Strobelt și Luis A Lastras.

Configurația 4.1

Lansarea cuprinde Granite-Switch-4.1-8B și Granite-Switch-4.1-30B, construite pe modelele de bază granite-4.1-8b și granite-4.1-30b, care au, respectiv, 8 miliarde și 30 de miliarde de parametri și o fereastră de context de 128K. Fișa modelului 8B și fișa modelului 30B indică data lansării ca fiind 14 octombrie 2026, licența Apache 2.0 și compatibilitatea cu Hugging Face Transformers și vLLM.

Fiecare punct de control reunește cu modelul de bază trei componente: un Activated LoRA (aLoRA) pentru decizii de uz general; guardian-core, un aLoRA din biblioteca Guardian a IBM, care detectează riscuri de siguranță asociate cu vătămarea, jailbreak-ul, limbajul obscen, violența, conținutul sexual, prejudecățile sociale și comportamentul lipsit de etică; și Granite Speech 5.0 TurboCTC, un encoder conformer CTC non-autoregresiv, în limba engleză, cu 470 de milioane de parametri, integrat pentru transcriere, pe care IBM îl descrie drept cel mai rapid model ASR din OpenASR Leaderboard. IBM afirmă că toate cele trei tehnologii, împreună cu modelul de bază, necesită aproximativ aceeași memorie GPU ca modelul de bază singur.

Fișele enumeră și variante de previzualizare fără funcții audio (granite-switch-4.1-8b-preview, granite-switch-4.1-30b-preview și granite-switch-4.1-3b-preview), care includ pachetul complet de adaptoare Granite Libraries. IBM a introdus proiectul Granite Switch în primăvara anului 2026, ca abordare modulară pentru dezvoltarea modelelor, iar lansarea anterioară Granite Libraries furnizează depozitul de adaptoare specializate pentru decizii și sarcini, care pot fi combinate în modele Switch personalizate.

Cum funcționează comutarea

Granite Switch folosește ceea ce fișele modelelor numesc comutare de experți cu granularitate grosieră, în care un singur adaptor rămâne activ în toate straturile decodorului pe parcursul unei secvențe continue de tokeni. Apelantul activează un adaptor transmițându-i numele șablonului de chat, care inserează automat tokenul de control corespunzător. Un strat de comutare ușor, bazat pe mecanismul standard de atenție, detectează acești tokeni și generează indici de adaptor pentru fiecare poziție, direcționând fiecare strat al decodorului să aplice ponderile LoRA corespunzătoare secvenței respective.

Fișele enumeră patru caracteristici de proiectare: fiecare adaptor citește doar memoria cache KV a modelului de bază și niciodată starea internă a altui adaptor; adaptoarele sunt dezvoltate, testate și publicate independent, fără antrenare comună; un singur punct de control funcționează atât cu Transformers, cât și cu vLLM; iar selectarea adaptoarelor nu necesită modificări de cod. IBM afirmă că arhitectura Activated LoRA, eficientă din punctul de vedere al memoriei cache, permite reutilizarea memoriei cache KV dintr-o generare a modelului de bază pentru deciziile ulterioare bazate pe adaptoare și atribuie comutarea rapidă între solicitările de chat, decizie și vorbire contribuțiilor recente la nucleul vLLM și unui encoder ASR amplasat în aceeași locație.

Adaptorul pentru decizii primește o stare și o întrebare cu opțiuni etichetate, apoi produce, într-o singură propagare înainte, o distribuție de probabilitate softmax pentru etichetele respective. Encoderul vocal integrat transcrie semnalul audio primit, iar transcrierea rezultată înlocuiește semnalul audio în contextul conversației, astfel încât transcrierea se desfășoară pe același endpoint ca chatul și deciziile, fără un server vocal separat și fără să fie nevoie să se schimbe modul de apelare a modelului. IBM găzduiește și un spațiu demonstrativ Speech-to-Decisions, în care modelul 8B transcrie semnalul audio primit, generează rezumate, verifică dacă există conținut dăunător și evaluează încă 15 indicatori definiți de utilizator, toate în timp real, pe un singur endpoint.

Rezultatele testelor comparative și comparațiile raportate de IBM

IBM își compară abordarea cu modele închise pentru decizii, precum Jev, despre care afirmă că pun accentul pe caracterul generalist, și susține că adaptorul guardian-core depășește, în medie, Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions și Clef-Flash în sarcini de decizie legate de siguranță. În comparația publicată de IBM între adaptoarele specializate Granite Libraries și modelele generaliste pentru decizii, cel mai performant adaptor Granite a obținut rezultate cu 2,3 puncte mai mari la OOD Safety, cu 17,0 la IFEval, cu 11,0 la BIO F1 și cu 11,8 la RAGTruth, dar a avut rezultate cu 2,6 puncte mai mici la LM-AggreFact, cu 3,2 la InfoBench-GPT4 și cu 0,8 la InfoBench-Human.

Fișele modelelor raportează scorurile Decision Index pentru adaptorul destinat deciziilor, măsurate pe subsetul rapid public al benchmarkului, care cuprinde 1.068 de rânduri, conform grilei de evaluare edition-v0.3, cu adaptorul servit printr-un endpoint vLLM găzduit. Adaptorul 8B a obținut un scor general de 42,9, cu 29,1 la Knowledge, 48,9 la Language, 49,8 la Retrieval, 59,8 la Tools și 18,0 la Arts. Adaptorul 30B a obținut un scor general de 50,1, cu 32,4 la Knowledge, 58,6 la Language, 49,8 la Retrieval, 76,5 la Tools și 26,4 la Arts. Fișele precizează că rezultatele obținute prin servirea locală și găzduită a aceluiași adaptor au diferit cu aproximativ 0,6 puncte.

IBM relatează și despre o comparație de viteză în care Granite-Switch-4.1-30B, un model de bază Granite cu patru aLoRA-uri specializate, ale cărui ponderi au fost înghețate, a finalizat un flux de lucru RAG în cinci pași, bazat pe o situație reală, mult mai repede decât Jev-27B, un model de bază Qwen cu un singur LoRA generic pentru decizii, ale cărui ponderi au fost înghețate. Într-o a doua demonstrație, IBM afirmă că un model Granite Switch personalizat, cu 3 miliarde de parametri, care juca Doom, a luat între 60 și 100 de decizii pe secundă, față de cele 10 decizii pe secundă raportate pentru Jev, și că, spre deosebire de Jev, modelul său poate povesti și răspunde la întrebări în timp ce joacă.

Disponibilitate, cerințe și limitări

Ambele checkpointuri sunt licențiate în baza Apache 2.0. Cerințele sunt Python 3.9 sau o versiune ulterioară, PyTorch 2.11.0 sau o versiune ulterioară, Transformers 5.16 până la 5.17.0 și, opțional, vLLM 0.26.0 până la o versiune anterioară lui 0.28.0. Arhitectura de bază densă, doar pentru decodare, folosește atenția cu interogări grupate (GQA), RoPE, SwiGLU și RMSNorm; acceptă un context de 131,072 de tokenuri; iar limbile enumerate ca acceptate sunt engleza, germana, spaniola, franceza, japoneza, portugheza, araba, ceha, italiana, coreeana, neerlandeza și chineza.

Oricine poate compune un model Granite Switch personalizat combinând adaptoare din catalogul de adaptoare al proiectului cu instrumentele sale de compunere. IBM prezintă Mellea drept stratul de aplicație preferat pentru rularea adaptoarelor Granite Switch, iar Mellea încapsulează deja familiile de adaptoare Granite Libraries, însă adaptorul pentru decizii nu dispune încă de o funcție intrinsecă în Mellea, suportul fiind planificat. IBM intenționează, de asemenea, să lanseze un SDK pentru adaptoare, destinat antrenării în Mellea a adaptoarelor personalizate și terțe, alături de tutoriale și suport pentru Granite Switch, și afirmă că va publica mai multe detalii și date despre Granite Switch în săptămânile de după anunț.

Fișele documentează mai multe limitări. Cascada vocală funcționează numai în engleză și generează transcrieri cu litere mici, fără punctuație și fără posibilitatea de a ghida decodarea; în plus, deoarece codificatorul ASR nu este antrenat împreună cu modelul lingvistic sau cu adaptoarele, o transcriere greșită poate schimba pe nesimțite răspunsul modelului sau al unui adaptor. vLLM limitează la 128 de ID-uri de token cererile de log-probabilitate pentru etichetele opțiunilor decizionale, astfel că întrebările cu mai multe opțiuni trebuie împărțite în cereri pe segmente. Fișele precizează, de asemenea, că guardian-core nu înlocuiește testarea siguranței la nivelul aplicației, că aceste checkpointuri nu includ adaptoarele Guardian Library pentru detectarea și corectarea inexactităților factuale și pentru aplicarea regulilor de siguranță și că probabilitățile adaptorului pentru decizii trebuie interpretate drept o distribuție a priori care ajută la luarea unei decizii, nu drept o clasificare certificată pentru domenii din afara celor folosite la antrenarea sa.