IBM lancerer modulære Granite Switch 4.1-modeller i størrelserne 8B og 30B

IBM annoncerede Granite Switch 4.1 den 15. oktober 2026 og lancerede to modulære sprogmodeller på henholdsvis 8 milliarder og 30 milliarder parametre. Modellerne sammensætter en basismodel, en beslutningsadapter til generelle formål, en sikkerhedsadapter og en indlejret tale-til-tekst-encoder i ét hostet endepunkt. Blogindlægget om IBM Granite, der annoncerede lanceringen, er skrevet af Kate Soule, Subhajit Chaudhury, Hendrik Strobelt og Luis A Lastras.

Konfigurationen i version 4.1

Lanceringen omfatter Granite-Switch-4.1-8B og Granite-Switch-4.1-30B, der er bygget på basismodellerne granite-4.1-8b og granite-4.1-30b. De har henholdsvis 8 milliarder og 30 milliarder parametre samt et kontekstvindue på 128K. Modelkortet for 8B-modellen og modelkortet for 30B-modellen angiver udgivelsesdatoen 14. oktober 2026, en Apache 2.0-licens samt Hugging Face Transformers- og vLLM-backends.

Hvert checkpoint sammensætter tre komponenter med basismodellen: en Activated LoRA (aLoRA) til generelle beslutningsopgaver; guardian-core, en aLoRA fra IBMs Guardian-bibliotek, der registrerer sikkerhedsrisici inden for skade, jailbreaks, bandeord, vold, seksuelt indhold, social bias og uetisk adfærd; samt Granite Speech 5.0 TurboCTC, en indlejret, ikke-autoregressiv conformer-CTC-encoder på 470 millioner parametre til transskription på engelsk, som IBM beskriver som den hurtigste ASR-model på OpenASR Leaderboard. IBM oplyser, at alle tre teknologier tilsammen med basismodellen kræver omtrent lige så meget GPU-hukommelse som basismodellen alene.

Modelkortene opregner også lydfrie preview-varianter (granite-switch-4.1-8b-preview, granite-switch-4.1-30b-preview og granite-switch-4.1-3b-preview), som leveres med hele adapterpakken fra Granite Libraries. IBM introducerede Granite Switch-projektet i foråret 2026 som en modulær tilgang til modeludvikling, og den tidligere udgivelse Granite Libraries leverer et lager af specialiserede beslutnings- og opgaveadaptere, der kan sammensættes til brugerdefinerede Switch-modeller.

Sådan fungerer skiftet

Granite Switch bruger det, som modelkortene kalder grovkornet ekspertskift, hvor én adapter forbliver aktiv på tværs af alle dekoderlag for et sammenhængende tokeninterval. Brugere aktiverer en adapter ved at angive dens navn i chat-skabelonen, som automatisk indsætter det tilsvarende kontroltoken. Et letvægts skiftelag, der bygger på standardopmærksomhed, registrerer disse tokens og danner adapterindekser for hver position, så hvert dekoderlag anvender de tilhørende LoRA-vægte for det pågældende interval.

Modelkortene angiver fire designmæssige egenskaber: Hver adapter læser kun basismodellens KV-cache og aldrig en anden adapters interne tilstand; adapterne udvikles, testes og udgives uafhængigt uden fælles træning; ét checkpoint fungerer med både Transformers og vLLM; og valg af adapter kræver ingen kodeændringer. IBM oplyser, at det cacheeffektive Activated LoRA-design gør det muligt at genbruge KV-cachen fra en generering med basismodellen til efterfølgende adapterbaserede beslutninger. IBM tilskriver desuden sine seneste bidrag til vLLM-kernen og en samlokaliseret ASR-encoder den hurtige overgang mellem chat, beslutninger og talebaserede forespørgsler.

Beslutningsadapteren modtager en tilstand og et spørgsmål med svarmuligheder mærket med etiketter og producerer derefter en softmax-sandsynlighedsfordeling på tværs af disse etiketter i én fremadpassering. Indgående lyd transskriberes af den indlejrede tale-encoder, og den resulterende transskription erstatter lyden i chatkonteksten. Transskriptionen behandles dermed på samme endepunkt som chat og beslutninger, uden en separat taleserver og uden ændringer af den måde, modellen kaldes på. IBM er også vært for et Speech-to-Decisions-demomiljø, hvor 8B-modellen transskriberer indgående lyd, udarbejder resuméer, kontrollerer for skadeligt indhold og vurderer yderligere 15 brugerdefinerede flag – alt sammen i realtid på ét endepunkt.

Benchmarks og sammenligninger rapporteret af IBM

IBM sammenligner sin tilgang med lukkede beslutningsmodeller som Jev, der ifølge IBM fokuserer på generalitet, og oplyser, at guardian-core-adapteren i gennemsnit klarer sig bedre end Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions og Clef-Flash på sikkerhedsrelaterede beslutningsopgaver. I IBMs offentliggjorte sammenligning af specialiserede Granite Libraries-adaptere med generalistiske beslutningsmodeller klarede den bedste Granite-adapter sig 2,3 point bedre på OOD Safety, 17,0 point bedre på IFEval, 11,0 point bedre på BIO F1 og 11,8 point bedre på RAGTruth, mens den lå 2,6 point efter på LM-AggreFact, 3,2 point efter på InfoBench-GPT4 og 0,8 point efter på InfoBench-Human.

Modelkortene rapporterer Decision Index-scorer for beslutningsadapteren, målt på benchmarkens offentlige hurtige delmængde med 1.068 rækker under edition-v0.3-scoringen, hvor adapteren blev stillet til rådighed via et hostet vLLM-endepunkt. 8B-adapteren opnåede en samlet score på 42,9 med 29,1 for vidensområdet, 48,9 for sprog, 49,8 for informationssøgning, 59,8 for værktøjer og 18,0 for kunst. 30B-adapteren opnåede en samlet score på 50,1 med 32,4 for vidensområdet, 58,6 for sprog, 49,8 for informationssøgning, 76,5 for værktøjer og 26,4 for kunst. Modelkortene oplyser, at lokal og hostet kørsel af den samme adapter stemte overens inden for cirka 0,6 point.

IBM rapporterer også om et kapløb, hvor Granite-Switch-4.1-30B, en frosset Granite-basismodel med fire specialiserede aLoRA’er, gennemførte en praktisk RAG-arbejdsgang med fem trin langt hurtigere end Jev-27B, en frosset Qwen-basismodel med én generisk beslutnings-LoRA. I en anden demonstration fortæller IBM, at en brugerdefineret Granite Switch-model med 3 milliarder parametre, der spillede spillet Doom, traf 60 til 100 beslutninger i sekundet sammenlignet med de 10 beslutninger i sekundet, der blev rapporteret for Jev, og at modellen, i modsætning til Jev, kan fortælle og besvare spørgsmål, mens den spiller.

Tilgængelighed, krav og begrænsninger

Begge checkpoints er licenseret under Apache 2.0. Kravene er Python 3.9 eller nyere, PyTorch 2.11.0 eller nyere, Transformers 5.16 til og med 5.17.0 samt eventuelt vLLM 0.26.0, dog under 0.28.0. Den tætte, decoder-only-basismodelarkitektur bruger grouped-query attention (GQA), RoPE, SwiGLU og RMSNorm, understøtter en kontekst på 131.072 tokens og angiver engelsk, tysk, spansk, fransk, japansk, portugisisk, arabisk, tjekkisk, italiensk, koreansk, nederlandsk og kinesisk som understøttede sprog.

Alle kan sammensætte en brugerdefineret Granite Switch-model ved at kombinere adaptere fra projektets adapterkatalog med det tilhørende værktøj til modelkomposition. IBM fremhæver Mellea som det foretrukne applikationslag til at køre Granite Switch-adaptere, og Mellea understøtter allerede adapterfamilierne fra Granite Libraries, men beslutningsadapteren har endnu ingen indbygget Mellea-funktion; understøttelse er planlagt. IBM planlægger også et Adapter SDK til træning af brugerdefinerede adaptere og tredjepartsadaptere i Mellea sammen med vejledninger og understøttelse af Granite Switch. Desuden oplyser IBM, at virksomheden vil offentliggøre flere oplysninger om Granite Switch og tilhørende data i ugerne efter annonceringen.

Modelkortene beskriver flere begrænsninger. Talekaskaden fungerer kun på engelsk og returnerer transskriptioner med små bogstaver og uden tegnsætning, og der er ingen mulighed for at styre afkodningen. Da ASR-encoderen ikke trænes sammen med sprogmodellen eller adapterne, kan en fejltransskription ubemærket ændre, hvad modellen eller en adapter svarer på. vLLM begrænser anmodninger om log-sandsynligheder for beslutningsmuligheder til 128 token-id’er, så spørgsmål med flere svarmuligheder skal opdeles i anmodninger med mindre bidder. Modelkortene angiver også, at guardian-core ikke kan erstatte sikkerhedstest på applikationsniveau, at checkpointsene ikke omfatter Guardian Librarys adaptere til registrering og korrektion af faktuelle fejl eller adaptere med sikkerhedsregler, og at beslutningsadapterens sandsynligheder bør forstås som en forhåndsvurdering, der indgår i en beslutning, ikke som en certificeret klassifikation for områder uden for dens træningsdata.