IBM lanserer modulære Granite Switch 4.1-modeller i størrelsene 8B og 30B

IBM kunngjorde Granite Switch 4.1 15. oktober 2026 og lanserte to modulære språkmodeller med henholdsvis 8 milliarder og 30 milliarder parametere. Modellene kombinerer en basismodell, en beslutningsadapter for generell bruk, en sikkerhetsadapter og en innebygd tale-til-tekst-koder i ett vertstjenesteendepunkt. Blogginnlegget om Granite fra IBM som kunngjorde lanseringen, var skrevet av Kate Soule, Subhajit Chaudhury, Hendrik Strobelt og Luis A Lastras.

Konfigurasjonen i 4.1

Lanseringen omfatter Granite-Switch-4.1-8B og Granite-Switch-4.1-30B, som er bygget på basismodellene granite-4.1-8b og granite-4.1-30b. Disse har henholdsvis 8 milliarder og 30 milliarder parametere og et kontekstvindu på 128K. Modellkortet for 8B og modellkortet for 30B oppgir lanseringsdatoen 14. oktober 2026, Apache 2.0-lisens og Hugging Face Transformers- og vLLM-bakender.

Hvert sjekkpunkt kombinerer tre komponenter med basismodellen: en Activated LoRA (aLoRA) for beslutninger til generell bruk; guardian-core, en aLoRA fra IBMs Guardian-bibliotek som oppdager sikkerhetsrisikoer knyttet til skade, jailbreaking, banning, vold, seksuelt innhold, sosial skjevhet og uetisk atferd; og Granite Speech 5.0 TurboCTC, en innebygd, engelsk, ikke-autoregressiv Conformer-CTC-koder med 470 millioner parametere for transkripsjon, som IBM omtaler som den raskeste ASR-modellen på OpenASR Leaderboard. IBM opplyser at alle de tre teknologiene, sammen med basismodellen, krever omtrent like mye GPU-minne som basismodellen alene.

Modellkortene oppgir også forhåndsversjoner uten lyd (granite-switch-4.1-8b-preview, granite-switch-4.1-30b-preview og granite-switch-4.1-3b-preview), som leveres med den komplette adapterpakken fra Granite Libraries. IBM introduserte Granite Switch-prosjektet våren 2026 som en modulær tilnærming til modellutvikling. Den tidligere lanseringen av Granite Libraries tilbyr et arkiv med spesialiserte beslutnings- og oppgaveadaptere som kan kombineres i tilpassede Switch-modeller.

Slik fungerer byttingen

Granite Switch bruker det modellkortene omtaler som grovkornet ekspertsvitsjing, der én adapter forblir aktiv gjennom alle dekoderlagene for et sammenhengende tokenintervall. Adapteren aktiveres ved at klienten sender navnet på den til chatmalen, som automatisk setter inn det tilhørende kontrolltokenet. Et lettvekts svitsjelag, bygget på standard oppmerksomhetsmekanismer, oppdager disse tokenene og lager adapterindekser for hver posisjon. Dermed instrueres hvert dekoderlag om å bruke de tilhørende LoRA-vektene for dette intervallet.

Modellkortene oppgir fire egenskaper ved utformingen: Hver adapter leser bare basismodellens KV-hurtigbuffer, aldri den interne tilstanden til andre adaptere; adapterne utvikles, testes og publiseres uavhengig av hverandre, uten felles trening; ett enkelt sjekkpunkt fungerer med både Transformers og vLLM; og valg av adapter krever ingen kodeendringer. IBM sier at den hurtigbuffereffektive Activated LoRA-utformingen gjør det mulig å gjenbruke KV-hurtigbufferen fra en generering med basismodellen til påfølgende adapterbaserte beslutninger. Selskapet trekker også fram sine nylige bidrag til vLLM-kjerner og en ASR-koder plassert på samme sted som årsaker til rask veksling mellom chat, beslutninger og talebaserte forespørsler.

Beslutningsadapteren mottar en tilstand og et spørsmål med merkede svaralternativer, og beregner deretter en sannsynlighetsfordeling over alternativene med softmax i én enkelt gjennomkjøring. Innkommende lyd transkriberes av den innebygde talekoderen, og transkripsjonen erstatter lyden i chatteksten. Dermed foregår transkripsjonen på samme endepunkt som chat og beslutninger, uten en separat taletjener og uten at måten modellen kalles på, endres. IBM er også vert for et demonstrasjonsområde for tale til beslutninger, der 8B-modellen transkriberer innkommende lyd, lager sammendrag, kontrollerer for skadelig innhold og vurderer 15 ekstra brukerdefinerte flagg – alt i sanntid på ett endepunkt.

Referansetester og sammenligninger rapportert av IBM

IBM sammenligner sin tilnærming med lukkede beslutningsmodeller som Jev, som ifølge selskapet er rettet mot generell anvendelighet. Selskapet opplyser at guardian-core-adapteren i gjennomsnitt presterer bedre enn Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions og Clef-Flash på beslutningsoppgaver knyttet til sikkerhet. I IBMs publiserte sammenligning av de spesialiserte Granite Libraries-adapterne med generelle beslutningsmodeller lå den beste Granite-adapteren 2,3 poeng foran på OOD Safety, 17,0 på IFEval, 11,0 på BIO F1 og 11,8 på RAGTruth. Samtidig lå den 2,6 poeng bak på LM-AggreFact, 3,2 på InfoBench-GPT4 og 0,8 på InfoBench-Human.

Modellkortene oppgir Decision Index-skårer for beslutningsadapteren, målt på benchmarkens offentlige hurtigdelsett med 1 068 rader, med poengberegning etter edition-v0.3 og adapteren kjørt via et driftet vLLM-endepunkt. 8B-adapteren fikk en samlet skår på 42,9, med 29,1 for Kunnskap, 48,9 for Språk, 49,8 for Informasjonsinnhenting, 59,8 for Verktøy og 18,0 for Kunst. 30B-adapteren fikk en samlet skår på 50,1, med 32,4 for Kunnskap, 58,6 for Språk, 49,8 for Informasjonsinnhenting, 76,5 for Verktøy og 26,4 for Kunst. Modellkortene oppgir at lokal og driftet kjøring av samme adapter ga resultater som lå innenfor omtrent 0,6 poeng av hverandre.

IBM rapporterer også om et kappløp der Granite-Switch-4.1-30B, en fryst Granite-basemodell med fire spesialiserte aLoRA-er, fullførte en RAG-arbeidsflyt med fem trinn fra den virkelige verden mye raskere enn Jev-27B, en fryst Qwen-basemodell med én generell beslutnings-LoRA. I en annen demonstrasjon opplyser IBM at en tilpasset Granite Switch-modell med 3 milliarder parametere, som spilte spillet Doom, tok 60 til 100 beslutninger per sekund, sammenlignet med de 10 beslutningene per sekund som ble rapportert for Jev, og at modellen, i motsetning til Jev, kan fortelle hva den gjør og svare på spørsmål mens den spiller.

Tilgjengelighet, krav og begrensninger

Begge sjekkpunktene er lisensiert under Apache 2.0. Kravene er Python 3.9 eller nyere, PyTorch 2.11.0 eller nyere, Transformers 5.16 til 5.17.0 og, som et alternativ, vLLM 0.26.0 til, men ikke inkludert, 0.28.0. Den tette, kun dekoderbaserte grunnarkitekturen bruker grouped-query attention (GQA), RoPE, SwiGLU og RMSNorm, støtter en kontekstvindu på 131 072 token og oppgir engelsk, tysk, spansk, fransk, japansk, portugisisk, arabisk, tsjekkisk, italiensk, koreansk, nederlandsk og kinesisk som støttede språk.

Alle kan sette sammen en tilpasset Granite Switch-modell ved å kombinere adaptere fra prosjektets adapterkatalog med verktøyene for å sette dem sammen. IBM omtaler Mellea som det foretrukne applikasjonslaget for å kjøre Granite Switch-adaptere, og Mellea har allerede støtte for adapterfamiliene i Granite Libraries. Beslutningsadapteren har imidlertid ennå ingen Mellea-intrinsic, men støtte er planlagt. IBM planlegger også en Adapter SDK for å trene tilpassede adaptere og tredjepartsadaptere i Mellea, i tillegg til veiledninger og støtte for Granite Switch. Selskapet sier at det vil legge ut flere detaljer og data om Granite Switch i ukene etter kunngjøringen.

Modellkortene beskriver flere begrensninger. Talekaskaden fungerer bare på engelsk og returnerer transkripsjoner med små bokstaver og uten tegnsetting, uten mulighet for styring under avkodingen. Fordi ASR-koderen ikke er trent sammen med språkmodellen eller adapterne, kan en feiltolkning av talen ubemerket endre hva modellen eller en adapter svarer på. vLLM begrenser forespørsler om log-sannsynligheter for beslutningsalternativer til 128 token-ID-er, så spørsmål med flere alternativer må deles opp i forespørsler i mindre deler. Modellkortene opplyser også at guardian-core ikke erstatter sikkerhetstesting på applikasjonsnivå, at sjekkpunktene ikke omfatter Guardian Library-adapterne for deteksjon av faktiske feil, korrigering av faktiske feil og policybaserte sikkerhetsregler, og at sannsynlighetene fra beslutningsadapteren bør forstås som en prior som gir informasjon til en beslutning, ikke som en sertifisert klassifisering for domener utenfor treningsområdet.