IBM bringt modulare Granite-Switch-4.1-Modelle mit 8B und 30B auf den Markt

IBM kündigte Granite Switch 4.1 am 15. Oktober 2026 an. Die Veröffentlichung umfasst zwei modulare Sprachmodelle mit 8 Milliarden beziehungsweise 30 Milliarden Parametern, die ein Basismodell, einen Entscheidungsadapter für allgemeine Aufgaben, einen Sicherheitsadapter und einen integrierten Speech-to-Text-Encoder zu einem einzigen gehosteten Endpunkt zusammenführen. Der Blogbeitrag zu IBM Granite, in dem die Veröffentlichung angekündigt wurde, stammt von Kate Soule, Subhajit Chaudhury, Hendrik Strobelt und Luis A Lastras.

Die Konfiguration von Version 4.1

Die Veröffentlichung umfasst Granite-Switch-4.1-8B und Granite-Switch-4.1-30B. Sie basieren auf den Basismodellen granite-4.1-8b und granite-4.1-30b, die über 8 Milliarden beziehungsweise 30 Milliarden Parameter und ein Kontextfenster von 128K verfügen. Die Modellkarte für 8B und die Modellkarte für 30B nennen als Veröffentlichungsdatum den 14. Oktober 2026, eine Apache-2.0-Lizenz sowie Hugging-Face-Transformers- und vLLM-Backends.

Jeder Checkpoint kombiniert drei Komponenten mit dem Basismodell: eine Activated LoRA (aLoRA) für allgemeine Entscheidungsaufgaben; guardian-core, eine aLoRA aus IBMs Guardian-Bibliothek, die Sicherheitsrisiken in den Bereichen Schaden, Jailbreaking, Obszönität, Gewalt, sexuelle Inhalte, soziale Voreingenommenheit und unethisches Verhalten erkennt; sowie Granite Speech 5.0 TurboCTC, einen integrierten englischsprachigen, nicht-autoregressiven Conformer-CTC-Encoder mit 470 Millionen Parametern für die Transkription, den IBM als schnellstes ASR-Modell auf dem OpenASR Leaderboard bezeichnet. IBM zufolge benötigen alle drei Technologien zusammen mit dem Basismodell ungefähr so viel GPU-Speicher wie das Basismodell allein.

Die Modellkarten führen außerdem Vorschauvarianten ohne Audio auf (granite-switch-4.1-8b-preview, granite-switch-4.1-30b-preview und granite-switch-4.1-3b-preview), die das vollständige Adapterpaket von Granite Libraries enthalten. IBM stellte das Projekt Granite Switch im Frühjahr 2026 als modularen Ansatz für die Modellentwicklung vor. Die zuvor veröffentlichte Version von Granite Libraries stellt das Repository mit spezialisierten Entscheidungs- und Aufgabenadaptern bereit, die sich zu individuellen Switch-Modellen kombinieren lassen.

So funktioniert die Umschaltung

Granite Switch verwendet nach der Bezeichnung in den Modellkarten eine grobgranulare Expertenumschaltung: Dabei bleibt ein einzelner Adapter über eine zusammenhängende Folge von Tokens hinweg in allen Decoderschichten aktiv. Aufrufende Anwendungen aktivieren einen Adapter, indem sie seinen Namen an das Chat-Template übergeben, das automatisch das entsprechende Steuertoken einfügt. Eine leichtgewichtige, auf Standard-Attention basierende Umschaltschicht erkennt diese Tokens und erzeugt für jede Position einen Adapterindex. Dieser weist jede Decoderschicht an, für die betreffende Folge die passenden LoRA-Gewichte anzuwenden.

Die Modellkarten nennen vier Designeigenschaften: Jeder Adapter liest ausschließlich den KV-Cache des Basismodells und niemals den internen Zustand eines anderen Adapters; die Adapter werden unabhängig voneinander entwickelt, getestet und veröffentlicht, ohne gemeinsames Training; ein einzelner Checkpoint funktioniert sowohl mit Transformers als auch mit vLLM; und für die Auswahl eines Adapters sind keine Codeänderungen erforderlich. IBM zufolge ermöglicht das cacheeffiziente Design mit Activated LoRA, den KV-Cache einer Generierung mit dem Basismodell für nachfolgende adaptergestützte Entscheidungen wiederzuverwenden. Für den schnellen Wechsel zwischen Chat-, Entscheidungs- und Sprachanfragen verweist IBM auf seine jüngsten Beiträge zu vLLM-Kernels und einen gemeinsam bereitgestellten ASR-Encoder.

Der Entscheidungsadapter erhält einen Zustand und eine Frage mit gekennzeichneten Antwortoptionen und gibt anschließend in einem einzigen Vorwärtsdurchlauf eine Softmax-Wahrscheinlichkeitsverteilung über diese Optionen aus. Eingehendes Audio wird vom integrierten Sprachencoder transkribiert. Das resultierende Transkript ersetzt das Audio im Chat-Kontext, sodass die Transkription über denselben Endpunkt wie Chat und Entscheidungsaufgaben läuft – ohne separaten Sprachserver und ohne Änderungen an der Art des Modellaufrufs. IBM betreibt außerdem einen Speech-to-Decisions-Demobereich, in dem das 8B-Modell eingehendes Audio transkribiert, Zusammenfassungen erstellt, auf schädliche Inhalte prüft und 15 zusätzliche, von Nutzern definierte Kriterien in Echtzeit über einen einzigen Endpunkt auswertet.

Von IBM berichtete Benchmarks und Vergleiche

IBM vergleicht seinen Ansatz mit geschlossenen Entscheidungsmodellen wie Jev, die sich IBM zufolge auf Allgemeingültigkeit konzentrieren. Außerdem erklärt IBM, dass der Adapter guardian-core bei Aufgaben zur Bewertung sicherheitsbezogener Entscheidungen im Durchschnitt besser abschneidet als Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions und Clef-Flash. In einem von IBM veröffentlichten Vergleich seiner spezialisierten Granite-Libraries-Adapter mit allgemeinen Entscheidungsmodellen lag der beste Granite-Adapter bei OOD Safety um 2,3 Punkte, bei IFEval um 17,0 Punkte, bei BIO F1 um 11,0 Punkte und bei RAGTruth um 11,8 Punkte vorn. Bei LM-AggreFact lag er um 2,6 Punkte, bei InfoBench-GPT4 um 3,2 Punkte und bei InfoBench-Human um 0,8 Punkte zurück.

Die Modellkarten geben die Decision-Index-Werte des Entscheidungsadapters an. Gemessen wurden sie anhand der öffentlichen schnellen Teilmenge des Benchmarks mit 1.068 Zeilen, nach dem Bewertungsschema edition-v0.3 und mit Bereitstellung des Adapters hinter einem gehosteten vLLM-Endpunkt. Der 8B-Adapter erzielte insgesamt 42,9 Punkte: 29,1 in Knowledge, 48,9 in Language, 49,8 in Retrieval, 59,8 in Tools und 18,0 in Arts. Der 30B-Adapter erzielte insgesamt 50,1 Punkte: 32,4 in Knowledge, 58,6 in Language, 49,8 in Retrieval, 76,5 in Tools und 26,4 in Arts. Den Modellkarten zufolge wichen die Ergebnisse bei lokaler und gehosteter Bereitstellung desselben Adapters um höchstens ungefähr 0,6 Punkte voneinander ab.

IBM berichtet außerdem von einem Vergleichstest, bei dem Granite-Switch-4.1-30B – ein eingefrorenes Granite-Basismodell mit vier spezialisierten aLoRAs – einen praxisnahen, fünfstufigen RAG-Workflow deutlich schneller abschloss als Jev-27B, ein eingefrorenes Qwen-Basismodell mit einer einzelnen allgemeinen Decision-LoRA. In einer zweiten Demonstration machte ein benutzerdefiniertes Granite-Switch-Modell mit 3 Milliarden Parametern, das das Spiel Doom spielte, laut IBM 60 bis 100 Entscheidungen pro Sekunde. Für Jev wurden dagegen 10 Entscheidungen pro Sekunde angegeben. Anders als Jev kann das IBM-Modell während des Spielens außerdem kommentieren und Fragen beantworten.

Verfügbarkeit, Anforderungen und Einschränkungen

Beide Checkpoints stehen unter der Apache-2.0-Lizenz. Voraussetzungen sind Python 3.9 oder höher, PyTorch 2.11.0 oder höher sowie Transformers von Version 5.16 bis 5.17.0. Optional ist vLLM ab Version 0.26.0 und unterhalb von 0.28.0. Die dichte Decoder-only-Basisarchitektur verwendet Grouped-Query Attention (GQA), RoPE, SwiGLU und RMSNorm, unterstützt einen Kontext von 131.072 Tokens und führt Englisch, Deutsch, Spanisch, Französisch, Japanisch, Portugiesisch, Arabisch, Tschechisch, Italienisch, Koreanisch, Niederländisch und Chinesisch als unterstützte Sprachen auf.

Jeder kann ein benutzerdefiniertes Granite-Switch-Modell zusammenstellen, indem er Adapter aus dem Adapterkatalog des Projekts mit den dazugehörigen Composer-Werkzeugen kombiniert. IBM empfiehlt Mellea als Anwendungsschicht für den Einsatz von Granite-Switch-Adaptern. Mellea unterstützt bereits die Adapterfamilien der Granite Libraries, für den Decision-Adapter gibt es jedoch noch kein Mellea-Intrinsic; Unterstützung ist geplant. Außerdem plant IBM ein Adapter-SDK, mit dem sich in Mellea benutzerdefinierte Adapter und Adapter von Drittanbietern trainieren lassen, sowie Tutorials und Unterstützung für Granite Switch. IBM zufolge sollen in den Wochen nach der Ankündigung weitere Details und Daten zu Granite Switch veröffentlicht werden.

Die Modellkarten dokumentieren mehrere Einschränkungen. Die Sprachkaskade funktioniert nur auf Englisch und gibt Transkripte ausschließlich in Kleinbuchstaben und ohne Satzzeichen aus; eine Steuerung während der Dekodierung ist nicht möglich. Da der ASR-Encoder nicht gemeinsam mit dem Sprachmodell oder den Adaptern trainiert wird, kann eine fehlerhafte Transkription unbemerkt verändern, worauf das Modell oder ein Adapter reagiert. vLLM begrenzt Logprob-Anfragen für Entscheidungsoptionen auf 128 Token-IDs. Fragen mit mehr Antwortmöglichkeiten müssen daher in mehrere Teilanfragen aufgeteilt werden. Den Modellkarten zufolge ist guardian-core kein Ersatz für Sicherheitstests auf Anwendungsebene. Außerdem enthalten die Checkpoints nicht die Adapter der Guardian Library zur Erkennung und Korrektur faktischer Fehler sowie zur Durchsetzung von Richtlinien. Die Wahrscheinlichkeiten des Decision-Adapters sollten als Vorannahme verstanden werden, die in eine Entscheidung einfließt, nicht als zertifizierte Klassifizierung für Bereiche außerhalb seiner Trainingsdomäne.