IBM julkaisee modulaariset Granite Switch 4.1 -mallit 8B- ja 30B-kokoisina

IBM ilmoitti Granite Switch 4.1 -mallista 15. lokakuuta 2026 ja julkaisi kaksi modulaarista kielimallia, joissa on 8 miljardia ja 30 miljardia parametria. Niissä yhdistyvät perusmalli, yleiskäyttöinen päätösadapteri, turvallisuusadapteri ja sisäänrakennettu puheesta tekstiksi -koodain yhdeksi isännöidyksi päätepisteeksi. Julkaisusta kertovan IBM Graniten blogikirjoituksen kirjoittivat Kate Soule, Subhajit Chaudhury, Hendrik Strobelt ja Luis A Lastras.

4.1-kokoonpano

Julkaisu sisältää Granite-Switch-4.1-8B- ja Granite-Switch-4.1-30B-mallit, jotka perustuvat granite-4.1-8b- ja granite-4.1-30b-perusmalleihin. Niissä on vastaavasti 8 miljardia ja 30 miljardia parametria sekä 128K:n konteksti-ikkuna. 8B-mallikortissa ja 30B-mallikortissa ilmoitetaan julkaisupäiväksi 14. lokakuuta 2026, lisenssiksi Apache 2.0 sekä taustajärjestelmiksi Hugging Face Transformers ja vLLM.

Kussakin tarkistuspisteessä perusmalliin yhdistetään kolme komponenttia: yleiskäyttöiseen päätöksentekoon tarkoitettu päätösadapteri Activated LoRA (aLoRA); guardian-core, IBM:n Guardian-kirjaston aLoRA, joka tunnistaa turvallisuusriskejä, kuten haitallisen sisällön, suojauksen kiertämisyritykset, kiroilun, väkivallan, seksuaalisen sisällön, sosiaalisen vinouman ja epäeettisen toiminnan; sekä Granite Speech 5.0 TurboCTC, 470 miljoonan parametrin englanninkielinen, ei-autoregressiivinen Conformer-CTC-koodain, joka on sisäänrakennettu puheen litterointia varten. IBM kuvailee sitä OpenASR Leaderboardin nopeimmaksi ASR-malliksi. IBMin mukaan nämä kolme teknologiaa yhdessä perusmallin kanssa vaativat suunnilleen yhtä paljon grafiikkasuistin muistia kuin perusmalli yksinään.

Mallikorteissa luetellaan myös versiot, joissa ei ole äänenkäsittelyä (granite-switch-4.1-8b-preview, granite-switch-4.1-30b-preview ja granite-switch-4.1-3b-preview) ja joiden mukana toimitetaan Granite Libraries -adapterikokonaisuus. IBM esitteli Granite Switch -projektin keväällä 2026 modulaarisena lähestymistapana mallien kehittämiseen. Aiemmin julkaistu Granite Libraries puolestaan tarjoaa arkiston erikoistuneista päätös- ja tehtäväadaptereista, joita voidaan yhdistellä mukautetuiksi Switch-malleiksi.

Näin vaihtaminen toimii

Granite Switch käyttää mallikorttien mukaan karkeajakoista asiantuntijavaihtoa, jossa yksi adapteri pysyy aktiivisena kaikissa dekooderikerroksissa yhtenäisen tokenjakson ajan. Kutsuja aktivoi adapterin välittämällä sen nimen chat-mallipohjalle, joka lisää vastaavan ohjaustokenin automaattisesti. Tavalliseen attention-mekanismiin perustuva kevyt vaihtokerros tunnistaa nämä tokenit ja muodostaa adapteri-indeksit kullekin sijainnille. Näin se ohjaa jokaista dekooderikerrosta käyttämään kyseisen jakson kanssa yhteensopivia LoRA-painoja.

Mallikorteissa luetellaan neljä suunnitteluperiaatetta: kukin adapteri lukee vain perusmallin KV-välimuistia eikä koskaan toisen adapterin sisäistä tilaa; adapterit kehitetään, testataan ja julkaistaan itsenäisesti ilman yhteiskoulutusta; sama tarkistuspiste toimii sekä Transformers- että vLLM-ympäristössä; eikä adapterin valinta edellytä koodimuutoksia. IBMin mukaan välimuistin tehokkaasti huomioiva Activated LoRA -rakenne mahdollistaa sen, että perusmallilla tuotetun tekstin KV-välimuistia voidaan käyttää uudelleen myöhemmissä adapteripohjaisissa päätöksissä. IBM kiittää nopeasta vaihtamisesta chatin, päätöksenteon ja puhepyyntöjen välillä viimeaikaisia vLLM-ytimen parannuksiaan sekä samaan ympäristöön sijoitettua ASR-koodainta.

Päätösadapteri saa syötteekseen tilan ja kysymyksen, jossa vaihtoehdot on merkitty, ja tuottaa sitten näiden vaihtoehtojen todennäköisyyksistä softmax-jakauman yhdellä eteenpäinsyötöllä. Sisään tulevan äänen litteroi sisäänrakennettu puhekoodain, ja syntynyt litterointi korvaa äänen chat-kontekstissa. Näin litterointi tapahtuu samassa päätepisteessä kuin chat ja päätöksenteko, eikä erillistä puhepalvelinta tai muutoksia mallin kutsumistapaan tarvita. IBM tarjoaa myös Speech-to-Decisions-esittelytilan, jossa 8B-malli litteroi saapuvan äänen, tuottaa yhteenvetoja, tarkistaa haitallisen sisällön ja arvioi 15 muuta käyttäjän määrittämää ilmaisinta reaaliajassa yhdessä päätepisteessä.

IBM:n raportoimat vertailutulokset ja vertailut

IBM vertaa lähestymistapaansa suljettuihin päätösmalleihin, kuten Jeviin, jonka se sanoo keskittyvän yleiskäyttöisyyteen. IBM kertoo, että guardian-core-adapteri suoriutuu keskimäärin Jev 1.13:a, Microsoft-Decision-1:tä, GPT-Luna-Decisionsia ja Clef-Flashia paremmin turvallisuuteen liittyvissä päätöstehtävissä. IBM:n julkaisemassa vertailussa, jossa sen erikoistuneita Granite Libraries -adaptereita verrattiin yleiskäyttöisiin päätösmalleihin, paras Granite-adapteri oli edellä OOD Safety -mittarissa 2,3 pistettä, IFEval-mittarissa 17,0 pistettä, BIO F1 -mittarissa 11,0 pistettä ja RAGTruth-mittarissa 11,8 pistettä. Se jäi kuitenkin jälkeen LM-AggreFact-mittarissa 2,6 pistettä, InfoBench-GPT4-mittarissa 3,2 pistettä ja InfoBench-Human-mittarissa 0,8 pistettä.

Mallikorteissa ilmoitetaan päätösadapterin Decision Index -pisteet. Ne mitattiin vertailun julkisella, 1 068 rivin pikajoukolla edition-v0.3-pisteytyksellä, kun adapteria käytettiin isännöidyn vLLM-päätepisteen kautta. 8B-adapterin kokonaispistemäärä oli 42,9: Tieto 29,1, Kieli 48,9, Haku 49,8, Työkalut 59,8 ja Taiteet 18,0. 30B-adapterin kokonaispistemäärä oli 50,1: Tieto 32,4, Kieli 58,6, Haku 49,8, Työkalut 76,5 ja Taiteet 26,4. Mallikorttien mukaan saman adapterin paikallisen ja isännöidyn käytön tulokset poikkesivat toisistaan noin 0,6 pisteen sisällä.

IBM raportoi myös vertailusta, jossa Granite-Switch-4.1-30B, jäädytetty Granite-perusmalli, johon oli lisätty neljä erikoistunutta aLoRA-sovitinta, suoritti todellisen viisivaiheisen RAG-työnkulun paljon nopeammin kuin Jev-27B, jäädytetty Qwen-perusmalli, jossa oli yksi yleiskäyttöinen päätös-LoRA-sovitin. Toisessa esittelyssä IBM kertoo, että Doom-peliä pelannut mukautettu 3 miljardin parametrin Granite Switch -malli teki 60–100 päätöstä sekunnissa, kun taas Jev teki tiettävästi 10 päätöstä sekunnissa. Toisin kuin Jev, IBM:n malli pystyy myös kertomaan pelin tapahtumista ja vastaamaan kysymyksiin pelaamisen aikana.

Saatavuus, vaatimukset ja rajoitukset

Molemmat tarkistuspisteet on julkaistu Apache 2.0 -lisenssillä. Vaatimuksena ovat Python 3.9 tai uudempi, PyTorch 2.11.0 tai uudempi sekä Transformers 5.16–5.17.0; lisäksi vLLM:n käyttö on valinnaista, ja sen version on oltava vähintään 0.26.0 mutta alle 0.28.0. Tiheä, vain dekooderista koostuva perusarkkitehtuuri käyttää ryhmiteltyä kyselyhuomiointia (GQA), RoPEa, SwiGLUa ja RMSNormia, tukee 131 072 tokenin kontekstia ja ilmoittaa tuetuiksi kieliksi englannin, saksan, espanjan, ranskan, japanin, portugalin, arabian, tšekin, italian, korean, hollannin ja kiinan.

Kuka tahansa voi koota mukautetun Granite Switch -mallin yhdistelemällä projektin sovitinluettelon sovittimia sen koostamistyökalulla. IBM pitää Melleaa ensisijaisena sovelluskerroksena Granite Switch -sovittimien käyttämiseen. Mellea sisältää jo Granite Libraries -sovitinperheiden kääreet, mutta päätössovittimelle ei vielä ole Melleaan sisäänrakennettua toimintoa, vaikka tuki on suunnitteilla. IBM aikoo myös julkaista sovitinpaketin (Adapter SDK) mukautettujen ja kolmansien osapuolten sovittimien kouluttamiseen Melleassa sekä opetusohjelmia ja Granite Switch -tuen. Lisäksi se kertoo julkaisevansa lisää Granite Switchiä koskevia tietoja ja dataa ilmoitusta seuraavien viikkojen aikana.

Mallikorteissa kuvataan useita rajoituksia. Puheenkäsittelyketju toimii vain englanniksi ja tuottaa pienaakkosin kirjoitettuja, välimerkittömiä litterointeja ilman ohjausta dekoodauksen aikana. Koska ASR-kooderia ei kouluteta yhdessä kielimallin tai sovittimien kanssa, virheellinen litterointi voi huomaamatta muuttaa mallin tai sovittimen antamaa vastausta. vLLM rajoittaa päätösvaihtoehtojen tunnisteiden logprob-pyynnöt 128 token-ID:hen, joten kysymykset, joissa on tätä enemmän vaihtoehtoja, on jaettava lohkoihin ja lähetettävä erillisinä pyyntöinä. Mallikorteissa todetaan myös, ettei guardian-core korvaa sovellustason turvallisuustestausta. Tarkistuspisteet eivät sisällä Guardian Libraryn faktantunnistus-, faktankorjaus- eivätkä käytäntösuojauksia toteuttavia sovittimia. Lisäksi päätössovittimen todennäköisyyksiä tulee tulkita päätöstä ohjaavana ennakkotodennäköisyytenä, ei sertifioituna luokituksena aloilla, jotka eivät kuulu sen koulutukseen.