IBM uvádí modulární modely Granite Switch 4.1 ve velikostech 8B a 30B

IBM oznámila Granite Switch 4.1 dne 15. října 2026 a uvedla dva modulární jazykové modely s 8 miliardami a 30 miliardami parametrů, které v jediném hostovaném koncovém bodě kombinují základní model, rozhodovací adaptér pro všeobecné použití, bezpečnostní adaptér a integrovaný kodér převodu řeči na text. Blogový příspěvek IBM Granite, který vydání oznamoval, napsali Kate Soule, Subhajit Chaudhury, Hendrik Strobelt a Luis A Lastras.

Konfigurace 4.1

Vydání zahrnuje Granite-Switch-4.1-8B a Granite-Switch-4.1-30B, postavené na základních modelech granite-4.1-8b a granite-4.1-30b. Ty mají 8 miliard, respektive 30 miliard parametrů a kontextové okno o velikosti 128K. Karta modelu 8B a karta modelu 30B uvádějí datum vydání 14. října 2026, licenci Apache 2.0 a podporu backendů Hugging Face Transformers a vLLM.

Každý checkpoint kombinuje se základním modelem tři komponenty: rozhodovací Activated LoRA (aLoRA) pro všeobecné rozhodování; guardian-core, aLoRA z knihovny Guardian od IBM, která odhaluje bezpečnostní rizika spojená se škodlivým obsahem, prolomením ochranných mechanismů, vulgaritami, násilím, sexuálním obsahem, společenskou zaujatostí a neetickým chováním; a Granite Speech 5.0 TurboCTC, neautoregresivní anglický kodér Conformer CTC s 470 miliony parametrů, integrovaný pro přepis řeči, který IBM označuje za nejrychlejší model ASR v žebříčku OpenASR Leaderboard. IBM uvádí, že všechny tři technologie spolu se základním modelem vyžadují přibližně tolik paměti GPU jako samotný základní model.

Karty uvádějí také náhledové varianty bez zvukových funkcí (granite-switch-4.1-8b-preview, granite-switch-4.1-30b-preview a granite-switch-4.1-3b-preview), které obsahují kompletní balíček adaptérů Granite Libraries. IBM představila projekt Granite Switch na jaře 2026 jako modulární přístup k vývoji modelů. Její dřívější vydání Granite Libraries poskytuje úložiště specializovaných rozhodovacích a úkolových adaptérů, které lze kombinovat do vlastních modelů Switch.

Jak funguje přepínání

Granite Switch používá to, co karty modelů označují jako přepínání expertů s hrubou granularitou: jediný adaptér zůstává aktivní napříč všemi vrstvami dekodéru po souvislý úsek tokenů. Volající aktivují adaptér předáním jeho názvu šabloně chatu, která automaticky vloží odpovídající řídicí token. Lehká přepínací vrstva založená na standardním mechanismu pozornosti tyto tokeny rozpozná a vytvoří indexy adaptérů pro jednotlivé pozice, podle nichž každá vrstva dekodéru použije pro daný úsek odpovídající váhy LoRA.

Karty uvádějí čtyři vlastnosti návrhu: každý adaptér čte pouze KV cache základního modelu, nikoli interní stav jiného adaptéru; adaptéry se vyvíjejí, testují a zveřejňují nezávisle, bez společného trénování; jeden checkpoint funguje s Transformers i vLLM; a výběr adaptéru nevyžaduje změny kódu. IBM uvádí, že návrh Activated LoRA efektivně využívající cache umožňuje znovu použít KV cache z generování základního modelu pro následná rozhodnutí založená na adaptérech. Rychlé přepínání mezi chatovými, rozhodovacími a hlasovými požadavky podle IBM umožňují také její nedávné příspěvky ke kernelům vLLM a společně umístěný kodér ASR.

Rozhodovací adaptér přijme stav a otázku s označenými možnostmi a v jediném průchodu vpřed pak pro tyto možnosti vytvoří rozdělení pravděpodobnosti softmax. Příchozí zvuk přepíše integrovaný hlasový kodér a výsledný přepis nahradí zvuk v kontextu chatu. Přepis tak probíhá na stejném koncovém bodě jako chat a rozhodování, bez samostatného hlasového serveru a bez změny způsobu volání modelu. IBM také hostuje demonstrační prostředí Speech-to-Decisions, v němž model 8B v reálném čase na jediném koncovém bodě přepisuje příchozí zvuk, vytváří shrnutí, kontroluje škodlivý obsah a vyhodnocuje 15 dalších příznaků definovaných uživatelem.

Srovnávací testy a porovnání uváděné IBM

IBM srovnává svůj přístup s uzavřenými rozhodovacími modely, jako je Jev, které se podle ní zaměřují na obecnost. Uvádí, že adaptér guardian-core v průměru překonává modely Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions a Clef-Flash v rozhodovacích úlohách souvisejících s bezpečností. Ve zveřejněném srovnání specializovaných adaptérů Granite Libraries se všeobecnými rozhodovacími modely dosáhl nejlepší adaptér Granite lepších výsledků v testech OOD Safety o 2,3 bodu, IFEval o 17,0 bodu, BIO F1 o 11,0 bodu a RAGTruth o 11,8 bodu. Naopak zaostal v testech LM-AggreFact o 2,6 bodu, InfoBench-GPT4 o 3,2 bodu a InfoBench-Human o 0,8 bodu.

Karty modelů uvádějí skóre Decision Index pro rozhodovací adaptér, naměřené na veřejné rychlé podmnožině benchmarku obsahující 1 068 řádků, při hodnocení podle edice v0.3 a s adaptérem nasazeným za hostovaným koncovým bodem vLLM. Adaptér 8B dosáhl celkového skóre 42,9; v kategoriích Knowledge získal 29,1, Language 48,9, Retrieval 49,8, Tools 59,8 a Arts 18,0. Adaptér 30B dosáhl celkového skóre 50,1; v kategoriích Knowledge získal 32,4, Language 58,6, Retrieval 49,8, Tools 76,5 a Arts 26,4. Karty uvádějí, že výsledky místního a hostovaného nasazení téhož adaptéru se shodovaly s rozdílem přibližně do 0,6 bodu.

IBM uvádí také srovnávací test, v němž Granite-Switch-4.1-30B, zmrazený základní model Granite se čtyřmi specializovanými aLoRA, dokončil skutečný pětikrokový pracovní postup RAG mnohem rychleji než Jev-27B, zmrazený základní model Qwen s jednou obecnou rozhodovací LoRA. V druhé ukázce podle IBM vlastní model Granite Switch se 3 miliardami parametrů, který hrál hru Doom, činil 60 až 100 rozhodnutí za sekundu, oproti 10 rozhodnutím za sekundu uváděným u modelu Jev; na rozdíl od něj navíc dokáže při hraní vyprávět a odpovídat na otázky.

Dostupnost, požadavky a omezení

Oba kontrolní body jsou licencovány pod Apache 2.0. Požadavky zahrnují Python 3.9 nebo novější, PyTorch 2.11.0 nebo novější, Transformers ve verzi 5.16 až 5.17.0 a volitelně vLLM 0.26.0 až do verze nižší než 0.28.0. Hustá architektura základního modelu, která používá pouze dekodér, využívá pozornost se seskupenými dotazy (GQA), RoPE, SwiGLU a RMSNorm; podporuje kontext o délce 131 072 tokenů a jako podporované jazyky uvádí angličtinu, němčinu, španělštinu, francouzštinu, japonštinu, portugalštinu, arabštinu, češtinu, italštinu, korejštinu, nizozemštinu a čínštinu.

Vlastní model Granite Switch může sestavit kdokoli kombinací adaptérů z katalogu adaptérů projektu a nástrojů Composeru. IBM označuje Mellea za preferovanou aplikační vrstvu pro spouštění adaptérů Granite Switch a Mellea již poskytuje obalovou vrstvu pro rodiny adaptérů Granite Libraries. Rozhodovací adaptér však zatím nemá v Mellea odpovídající vestavěnou funkci; její podpora je plánována. IBM také plánuje sadu nástrojů Adapter SDK pro trénování vlastních adaptérů i adaptérů třetích stran v Mellea, spolu s návody a podporou Granite Switch. Další podrobnosti a data ke Granite Switch hodlá zveřejnit v týdnech následujících po oznámení.

Karty modelů popisují několik omezení. Kaskáda zpracování řeči funguje pouze v angličtině a vrací přepisy psané malými písmeny bez interpunkce; během dekódování ji nelze usměrňovat. Protože navíc kodér ASR není společně trénován s jazykovým modelem ani s adaptéry, může chybný přepis nenápadně změnit, na co model nebo adaptér reaguje. vLLM omezuje požadavky na logaritmické pravděpodobnosti štítků možností rozhodnutí na 128 ID tokenů, takže otázky s větším počtem možností je nutné rozdělit do dílčích požadavků. Karty také uvádějí, že guardian-core nenahrazuje bezpečnostní testování na úrovni aplikace, že kontrolní body nezahrnují adaptéry Guardian Library pro detekci faktické správnosti, její opravu a ochranné mechanismy pro dodržování zásad a že pravděpodobnosti rozhodovacího adaptéru je třeba chápat jako apriorní informaci, která pomáhá při rozhodování, nikoli jako certifikovanou klasifikaci pro oblasti mimo rozsah jeho trénování.