IBM brengt modulaire Granite Switch 4.1-modellen uit met 8B en 30B parameters

IBM kondigde Granite Switch 4.1 aan op 15 oktober 2026. Het bracht twee modulaire taalmodellen uit, met 8 miljard en 30 miljard parameters, die een basismodel, een algemene beslisadapter, een veiligheidsadapter en een ingebouwde spraak-naar-tekstencoder combineren in één gehost eindpunt. Het blogbericht van IBM Granite waarin de release werd aangekondigd, is geschreven door Kate Soule, Subhajit Chaudhury, Hendrik Strobelt en Luis A Lastras.

De configuratie van versie 4.1

De release omvat Granite-Switch-4.1-8B en Granite-Switch-4.1-30B, gebaseerd op de basismodellen granite-4.1-8b en granite-4.1-30b. Deze hebben respectievelijk 8 miljard en 30 miljard parameters en een contextvenster van 128K. De modelkaart van 8B en de modelkaart van 30B vermelden als releasedatum 14 oktober 2026, een Apache 2.0-licentie en de backends Hugging Face Transformers en vLLM.

Elk checkpoint combineert drie componenten met het basismodel: een Activated LoRA (aLoRA) voor algemene besluitvorming; guardian-core, een aLoRA uit IBM’s Guardian-bibliotheek die veiligheidsrisico’s opspoort rond schade, jailbreaks, grof taalgebruik, geweld, seksuele inhoud, sociale vooringenomenheid en onethisch gedrag; en Granite Speech 5.0 TurboCTC, een ingebouwde, Engelstalige, niet-autoregressieve conformer-CTC-encoder met 470 miljoen parameters voor transcriptie. IBM beschrijft deze als het snelste ASR-model op de OpenASR Leaderboard. Volgens IBM vereisen deze drie technologieën samen met het basismodel ongeveer evenveel GPU-geheugen als het basismodel alleen.

De modelkaarten vermelden ook varianten met audiovrije preview (granite-switch-4.1-8b-preview, granite-switch-4.1-30b-preview en granite-switch-4.1-3b-preview), die de volledige adapterbundel van Granite Libraries bevatten. IBM introduceerde het Granite Switch-project in het voorjaar van 2026 als een modulaire aanpak voor modelontwikkeling. De eerdere release van Granite Libraries levert de verzameling gespecialiseerde beslis- en taakadapters die kunnen worden gecombineerd tot aangepaste Switch-modellen.

Hoe het schakelen werkt

Granite Switch gebruikt wat de modelkaarten omschrijven als schakelen tussen experts op grove schaal: één adapter blijft actief voor een aaneengesloten reeks tokens, in alle decoderlagen. Aanroepers activeren een adapter door de naam ervan mee te geven aan de chatsjabloon, die automatisch het bijbehorende controletoken invoegt. Een lichte schakelingslaag op basis van standaardattention detecteert die tokens en genereert voor elke positie een adapterindex. Daarmee wordt elke decoderlaag aangestuurd om voor die reeks de bijbehorende LoRA-gewichten toe te passen.

De modelkaarten noemen vier ontwerpkenmerken: elke adapter leest alleen de KV-cache van het basismodel en nooit de interne toestand van een andere adapter; adapters worden afzonderlijk ontwikkeld, getest en gepubliceerd, zonder gezamenlijke training; één checkpoint werkt met zowel Transformers als vLLM; en voor de selectie van adapters zijn geen codewijzigingen nodig. Volgens IBM maakt het cache-efficiënte Activated LoRA-ontwerp het mogelijk de KV-cache van een generatie met het basismodel opnieuw te gebruiken voor daaropvolgende beslissingen met adapters. IBM schrijft het snelle schakelen tussen chat-, beslis- en spraakverzoeken toe aan de recente bijdragen aan de vLLM-kernels en aan een naast elkaar geplaatste ASR-encoder.

De beslisadapter ontvangt een toestand en een vraag met gelabelde opties en produceert vervolgens in één voorwaartse doorgang een softmax-kansverdeling over die labels. Binnenkomende audio wordt getranscribeerd door de ingebouwde spraakencoder. Het resulterende transcript vervangt de audio in de chatcontext, zodat de transcriptie op hetzelfde eindpunt plaatsvindt als chat en besluitvorming, zonder aparte spraakserver en zonder dat de manier waarop het model wordt aangeroepen verandert. IBM host ook een Speech-to-Decisions-demoruimte waarin het 8B-model binnenkomende audio transcribeert, samenvattingen maakt, controleert op schadelijke inhoud en 15 aanvullende, door de gebruiker gedefinieerde vlaggen beoordeelt, allemaal in realtime op één eindpunt.

Door IBM gerapporteerde benchmarks en vergelijkingen

IBM vergelijkt zijn aanpak met gesloten beslismodellen zoals Jev, die volgens het bedrijf gericht zijn op generaliteit. Ook stelt IBM dat de guardian-core-adapter gemiddeld beter presteert dan Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions en Clef-Flash bij beslissingen over veiligheid. In de door IBM gepubliceerde vergelijking van de gespecialiseerde Granite Libraries-adapters met algemene beslismodellen eindigde de beste Granite-adapter 2,3 punten hoger op OOD Safety, 17,0 punten hoger op IFEval, 11,0 punten hoger op BIO F1 en 11,8 punten hoger op RAGTruth. Op LM-AggreFact eindigde deze 2,6 punten lager, op InfoBench-GPT4 3,2 punten lager en op InfoBench-Human 0,8 punten lager.

De modelkaarten vermelden Decision Index-scores voor de beslisadapter, gemeten op de openbare snelle deelverzameling van de benchmark met 1.068 rijen, volgens de scoring van edition-v0.3 en met de adapter beschikbaar via een gehost vLLM-eindpunt. De 8B-adapter behaalde een totaalscore van 42,9, met 29,1 voor Knowledge, 48,9 voor Language, 49,8 voor Retrieval, 59,8 voor Tools en 18,0 voor Arts. De 30B-adapter behaalde een totaalscore van 50,1, met 32,4 voor Knowledge, 58,6 voor Language, 49,8 voor Retrieval, 76,5 voor Tools en 26,4 voor Arts. Volgens de modelkaarten verschilden de lokale en gehoste uitvoering van dezelfde adapter hooguit ongeveer 0,6 punten van elkaar.

IBM meldt ook een race waarin Granite-Switch-4.1-30B, een bevroren Granite-basismodel met vier gespecialiseerde aLoRA’s, een RAG-workflow van vijf stappen uit de praktijk veel sneller voltooide dan Jev-27B, een bevroren Qwen-basismodel met één generieke decision LoRA. In een tweede demonstratie zegt IBM dat een aangepast Granite Switch-model met 3 miljard parameters, dat het spel Doom speelde, 60 tot 100 beslissingen per seconde nam, tegenover de 10 beslissingen per seconde die voor Jev werden gemeld. Ook zegt IBM dat zijn model, anders dan Jev, tijdens het spelen kan vertellen wat het doet en vragen kan beantwoorden.

Beschikbaarheid, vereisten en beperkingen

Beide checkpoints vallen onder de Apache 2.0-licentie. De vereisten zijn Python 3.9 of hoger, PyTorch 2.11.0 of hoger en Transformers 5.16 tot en met 5.17.0. Optioneel kan vLLM 0.26.0 worden gebruikt, tot maar exclusief versie 0.28.0. De dichte decoder-only-basisarchitectuur gebruikt grouped-query attention (GQA), RoPE, SwiGLU en RMSNorm, ondersteunt een context van 131.072 tokens en vermeldt Engels, Duits, Spaans, Frans, Japans, Portugees, Arabisch, Tsjechisch, Italiaans, Koreaans, Nederlands en Chinees als ondersteunde talen.

Iedereen kan een aangepast Granite Switch-model samenstellen door adapters uit de adaptercatalogus van het project te combineren met de bijbehorende composertooling. IBM beschouwt Mellea als de voorkeursapplicatielaag voor het uitvoeren van Granite Switch-adapters. Mellea biedt al ondersteuning voor de adapterfamilies van Granite Libraries, maar de decision adapter heeft nog geen Mellea-intrinsic; ondersteuning daarvoor staat gepland. IBM is ook van plan een Adapter SDK uit te brengen waarmee in Mellea aangepaste adapters en adapters van derden kunnen worden getraind, samen met tutorials en ondersteuning voor Granite Switch. Verder zegt IBM in de weken na de aankondiging meer details en gegevens over Granite Switch te publiceren.

De modelkaarten beschrijven verschillende beperkingen. De spraakcascade werkt alleen in het Engels en levert transcripties in kleine letters, zonder interpunctie en zonder sturing tijdens het decoderen. Omdat de ASR-encoder niet gezamenlijk met het taalmodel of de adapters is getraind, kan een foutieve transcriptie ongemerkt veranderen waarop het model of een adapter reageert. vLLM beperkt aanvragen voor logprob-waarden van beslissingsoptielabels tot 128 token-ID’s. Vragen met meer opties moeten daarom worden opgesplitst in aanvragen voor afzonderlijke delen. De modelkaarten vermelden ook dat guardian-core geen vervanging is voor veiligheidstests op applicatieniveau, dat de checkpoints geen adapters uit de Guardian Library bevatten voor het detecteren en corrigeren van feitelijke onjuistheden en voor beleidswaarborgen, en dat de waarschijnlijkheden van de decision adapter moeten worden opgevat als een voorafkans die richting geeft aan een beslissing, niet als een gecertificeerde classificatie voor domeinen buiten de trainingsgegevens.