IBM lanserar modulära Granite Switch 4.1-modeller i storlekarna 8B och 30B

IBM tillkännagav Granite Switch 4.1 den 15 oktober 2026 och lanserade två modulära språkmodeller med 8 respektive 30 miljarder parametrar. De kombinerar en basmodell, en beslutsadapter för allmänna ändamål, en säkerhetsadapter och en inbäddad tal-till-text-kodare i en och samma värdbaserade slutpunkt. IBM:s Granite-blogginlägg om lanseringen skrevs av Kate Soule, Subhajit Chaudhury, Hendrik Strobelt och Luis A Lastras.

Konfigurationen i 4.1

Lanseringen omfattar Granite-Switch-4.1-8B och Granite-Switch-4.1-30B, som bygger på basmodellerna granite-4.1-8b respektive granite-4.1-30b. De har 8 respektive 30 miljarder parametrar och ett kontextfönster på 128K. Modellkortet för 8B och modellkortet för 30B anger lanseringsdatumet 14 oktober 2026, licensen Apache 2.0 samt Hugging Face Transformers och vLLM som körmiljöer.

Varje kontrollpunkt kombinerar tre komponenter med basmodellen: en beslutsadapter av typen Activated LoRA (aLoRA) för beslutsfattande för allmänna ändamål; guardian-core, en aLoRA från IBM:s Guardian-bibliotek som upptäcker säkerhetsrisker kopplade till skadligt innehåll, jailbreak-försök, grovt språk, våld, sexuellt innehåll, sociala fördomar och oetiskt beteende; samt Granite Speech 5.0 TurboCTC, en inbäddad engelskspråkig, icke-autoregressiv conformer-CTC-kodare med 470 miljoner parametrar för transkribering. IBM beskriver den som den snabbaste ASR-modellen på OpenASR Leaderboard. IBM uppger att alla tre teknikerna tillsammans med basmodellen kräver ungefär lika mycket GPU-minne som basmodellen ensam.

Modellkorten listar också förhandsversioner utan ljud (granite-switch-4.1-8b-preview, granite-switch-4.1-30b-preview och granite-switch-4.1-3b-preview) som levereras med hela adapterpaketet Granite Libraries. IBM introducerade Granite Switch-projektet våren 2026 som ett modulärt sätt att utveckla modeller. Den tidigare lanseringen Granite Libraries tillhandahåller ett arkiv med specialiserade besluts- och uppgiftsadaptrar som kan kombineras i anpassade Switch-modeller.

Så fungerar växlingen

Granite Switch använder det som modellkorten kallar växling mellan experter på grovkornig nivå. En enda adapter förblir aktiv i alla avkodarlager under ett sammanhängande tokenintervall. Anropare aktiverar en adapter genom att skicka dess namn till chattmallen, som automatiskt infogar motsvarande styrtoken. Ett lättviktigt växlingslager som bygger på standardiserad attention identifierar dessa token och skapar adapterindex för varje position. Därefter instrueras varje avkodarlager att använda de matchande LoRA-vikterna för det aktuella intervallet.

Modellkorten anger fyra egenskaper hos konstruktionen: varje adapter läser endast basmodellens KV-cache och aldrig en annan adapters interna tillstånd; adaptrarna utvecklas, testas och publiceras oberoende av varandra, utan gemensam träning; en enda kontrollpunkt fungerar med både Transformers och vLLM; och adaptervalet kräver inga kodändringar. IBM uppger att den cacheeffektiva Activated LoRA-konstruktionen gör det möjligt att återanvända KV-cachen från en generering med basmodellen för efterföljande adapterbaserade beslut. Företaget tillskriver den snabba växlingen mellan chatt, beslut och talförfrågningar sina senaste bidrag till vLLM-kärnan och en samlokaliserad ASR-kodare.

Beslutsadaptern tar emot ett tillstånd och en fråga med märkta svarsalternativ och genererar sedan en sannolikhetsfördelning med softmax över alternativen i en enda framåtpassering. Inkommande ljud transkriberas av den inbäddade talkodaren, och den resulterande transkriptionen ersätter ljudet i chattkontexten. Därmed sker transkriberingen på samma slutpunkt som chatt och beslutsfattande, utan någon separat talserver och utan att sättet att anropa modellen behöver ändras. IBM driver också en demomiljö för Speech-to-Decisions där 8B-modellen transkriberar inkommande ljud, skapar sammanfattningar, kontrollerar om innehållet är skadligt och utvärderar ytterligare 15 användardefinierade flaggor – allt i realtid på en enda slutpunkt.

Riktmärken och jämförelser enligt IBM

IBM jämför sin lösning med slutna beslutsmodeller som Jev, vilka enligt företaget fokuserar på generalitet, och uppger att adaptern guardian-core i genomsnitt presterar bättre än Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions och Clef-Flash på beslutsuppgifter med koppling till säkerhet. I IBMs publicerade jämförelse mellan de specialiserade Granite Libraries-adaptrarna och beslutsmodeller för allmänna ändamål fick den bästa Granite-adaptern 2,3 poäng högre resultat på OOD Safety, 17,0 poäng högre på IFEval, 11,0 poäng högre på BIO F1 och 11,8 poäng högre på RAGTruth. Däremot fick den 2,6 poäng lägre resultat på LM-AggreFact, 3,2 poäng lägre på InfoBench-GPT4 och 0,8 poäng lägre på InfoBench-Human.

Modellkorten redovisar Decision Index-resultat för beslutsadaptern. Mätningen gjordes på riktmärkets offentliga snabburval med 1 068 rader, enligt poängsättningen i edition-v0.3, med adaptern tillgänglig via en värdbaserad vLLM-slutpunkt. 8B-adaptern fick 42,9 totalt, med 29,1 för Kunskap, 48,9 för Språk, 49,8 för Informationshämtning, 59,8 för Verktyg och 18,0 för Konst. 30B-adaptern fick 50,1 totalt, med 32,4 för Kunskap, 58,6 för Språk, 49,8 för Informationshämtning, 76,5 för Verktyg och 26,4 för Konst. Modellkorten anger att lokala och värdbaserade körningar av samma adapter gav resultat som skilde sig med omkring 0,6 poäng.

IBM rapporterar också om ett jämförande test där Granite-Switch-4.1-30B, en fryst Granite-basmodell med fyra specialiserade aLoRA:er, genomförde ett RAG-arbetsflöde i fem steg från verkligheten betydligt snabbare än Jev-27B, en fryst Qwen-basmodell med en generisk besluts-LoRA. I en andra demonstration uppger IBM att en anpassad Granite Switch-modell med 3 miljarder parametrar, som spelade spelet Doom, fattade 60 till 100 beslut per sekund, jämfört med de 10 beslut per sekund som rapporterats för Jev, och att modellen, till skillnad från Jev, kan berätta vad som händer och besvara frågor medan den spelar.

Tillgänglighet, krav och begränsningar

Båda kontrollpunkterna har Apache 2.0-licens. Kraven är Python 3.9 eller senare, PyTorch 2.11.0 eller senare, Transformers 5.16 till och med 5.17.0 samt, som tillval, vLLM 0.26.0 upp till men inte inklusive 0.28.0. Den täta basarkitekturen med enbart avkodare använder grouped-query attention (GQA), RoPE, SwiGLU och RMSNorm, stöder en kontext på 131 072 token och anger engelska, tyska, spanska, franska, japanska, portugisiska, arabiska, tjeckiska, italienska, koreanska, nederländska och kinesiska som språk den stöder.

Vem som helst kan sätta samman en anpassad Granite Switch-modell genom att kombinera adaptrar från projektets adapterkatalog med dess verktyg för att sätta samman modeller. IBM rekommenderar Mellea som applikationslager för att köra Granite Switch-adaptrar, och Mellea har redan stöd för adapterfamiljerna i Granite Libraries. Beslutsadaptern saknar dock ännu en motsvarande intrinsic i Mellea, men stöd planeras. IBM planerar också ett Adapter SDK för att träna anpassade adaptrar och adaptrar från tredje part i Mellea, tillsammans med handledningar och stöd för Granite Switch. Företaget uppger dessutom att det kommer att publicera mer information om Granite Switch och mer data under veckorna efter tillkännagivandet.

Modellkorten beskriver flera begränsningar. Talbehandlingskedjan fungerar endast på engelska och ger transkriptioner med enbart gemener och utan interpunktion, utan möjlighet att styra avkodningen. Eftersom ASR-kodaren inte har tränats gemensamt med språkmodellen eller adaptrarna kan en felaktig transkribering dessutom i det tysta ändra vad modellen eller en adapter svarar på. vLLM begränsar begäranden om log-sannolikheter för beslutsalternativens etiketter till 128 token-ID:n, så frågor med fler alternativ måste delas upp i begäranden i mindre delar. Modellkorten anger också att guardian-core inte ersätter säkerhetstester på applikationsnivå, att kontrollpunkterna inte innehåller Guardian Librarys adaptrar för faktakontroll, faktakorrigering och policybaserade skyddsräcken, samt att beslutsadapterns sannolikheter bör tolkas som en prior som vägleder ett beslut, inte som en certifierad klassificering för domäner utanför dess träningsområde.