IBM lance les modèles modulaires Granite Switch 4.1 en versions 8B et 30B

IBM a annoncé Granite Switch 4.1 le 15 octobre 2026, avec la sortie de deux modèles de langage modulaires de 8 et 30 milliards de paramètres, qui réunissent un modèle de base, un adaptateur décisionnel généraliste, un adaptateur de sécurité et un encodeur intégré de conversion de la parole en texte au sein d’un seul point de terminaison hébergé. L’article de blog IBM Granite annonçant cette sortie a été rédigé par Kate Soule, Subhajit Chaudhury, Hendrik Strobelt et Luis A Lastras.

La configuration 4.1

Cette sortie comprend Granite-Switch-4.1-8B et Granite-Switch-4.1-30B, basés sur les modèles de base granite-4.1-8b et granite-4.1-30b, qui comptent respectivement 8 et 30 milliards de paramètres et disposent d’une fenêtre de contexte de 128K. La fiche du modèle 8B et la fiche du modèle 30B indiquent une date de sortie au 14 octobre 2026, une licence Apache 2.0, ainsi que la prise en charge des interfaces Hugging Face Transformers et vLLM.

Chaque point de contrôle réunit trois composants au modèle de base : un LoRA activé (aLoRA) décisionnel pour la prise de décision généraliste ; guardian-core, un aLoRA de la bibliothèque Guardian d’IBM qui détecte les risques de sécurité liés aux préjudices, aux tentatives de contournement des protections, aux grossièretés, à la violence, aux contenus à caractère sexuel, aux biais sociaux et aux comportements contraires à l’éthique ; et Granite Speech 5.0 TurboCTC, un encodeur conformer CTC anglais non autorégressif de 470 millions de paramètres, intégré pour la transcription, qu’IBM présente comme le modèle de reconnaissance automatique de la parole le plus rapide du classement OpenASR. Selon IBM, ces trois technologies, associées au modèle de base, nécessitent à peu près autant de mémoire GPU que le modèle de base seul.

Les fiches répertorient également des versions d’aperçu sans audio (granite-switch-4.1-8b-preview, granite-switch-4.1-30b-preview et granite-switch-4.1-3b-preview), qui incluent l’ensemble complet d’adaptateurs Granite Libraries. IBM a présenté le projet Granite Switch au printemps 2026 comme une approche modulaire du développement de modèles ; sa précédente version Granite Libraries fournit le dépôt d’adaptateurs spécialisés pour la prise de décision et diverses tâches, qui peuvent être combinés dans des modèles Switch personnalisés.

Fonctionnement de la commutation

Granite Switch utilise ce que les fiches des modèles appellent une commutation d’experts à granularité grossière : un même adaptateur reste actif sur toutes les couches du décodeur pendant une séquence de jetons contiguë. Les utilisateurs activent un adaptateur en transmettant son nom au modèle de conversation, qui insère automatiquement le jeton de contrôle correspondant. Une couche de commutation légère reposant sur un mécanisme d’attention standard détecte ces jetons et produit des indices d’adaptateur pour chaque position, afin que chaque couche du décodeur applique les poids LoRA correspondants à cette séquence.

Les fiches énumèrent quatre caractéristiques de conception : chaque adaptateur ne lit que le cache KV du modèle de base et jamais l’état interne d’un autre adaptateur ; les adaptateurs sont développés, testés et publiés indépendamment, sans entraînement conjoint ; un même point de contrôle fonctionne avec Transformers et vLLM ; et la sélection des adaptateurs ne nécessite aucune modification du code. Selon IBM, la conception Activated LoRA, économe en cache, permet de réutiliser le cache KV généré par le modèle de base pour les décisions ultérieures reposant sur des adaptateurs. IBM attribue également la commutation rapide entre les requêtes de conversation, de décision et vocales à ses récentes contributions aux noyaux vLLM et à un encodeur ASR colocalisé.

L’adaptateur décisionnel reçoit un état et une question assortie de choix étiquetés, puis produit, en une seule passe de propagation avant, une distribution de probabilités softmax sur ces choix. L’encodeur vocal intégré transcrit les données audio entrantes, puis la transcription obtenue remplace l’audio dans le contexte de conversation : la transcription s’effectue donc sur le même point de terminaison que les conversations et les décisions, sans serveur vocal distinct ni changement dans la manière d’appeler le modèle. IBM héberge également un espace de démonstration Speech-to-Decisions où le modèle 8B transcrit les données audio entrantes, produit des résumés, vérifie la présence de contenus préjudiciables et évalue 15 indicateurs supplémentaires définis par l’utilisateur, le tout en temps réel sur un seul point de terminaison.

Benchmarks et comparaisons rapportés par IBM

IBM oppose son approche à des modèles décisionnels fermés comme Jev, qui, selon l’entreprise, privilégient la généralité. IBM affirme que l’adaptateur guardian-core surpasse en moyenne Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions et Clef-Flash dans les tâches de décision liées à la sécurité. Dans la comparaison publiée par IBM entre ses adaptateurs spécialisés Granite Libraries et des modèles décisionnels généralistes, le meilleur adaptateur Granite a obtenu un score supérieur de 2.3 points en OOD Safety, de 17.0 points en IFEval, de 11.0 points en BIO F1 et de 11.8 points en RAGTruth, mais inférieur de 2.6 points en LM-AggreFact, de 3.2 points en InfoBench-GPT4 et de 0.8 point en InfoBench-Human.

Les fiches des modèles indiquent les scores Decision Index de l’adaptateur décisionnel, mesurés sur le sous-ensemble rapide public du benchmark, qui comprend 1,068 lignes, avec la notation edition-v0.3 et l’adaptateur exécuté derrière un point de terminaison vLLM hébergé. L’adaptateur 8B a obtenu un score global de 42.9, avec 29.1 en connaissances, 48.9 en langue, 49.8 en recherche d’informations, 59.8 en outils et 18.0 en arts. L’adaptateur 30B a obtenu un score global de 50.1, avec 32.4 en connaissances, 58.6 en langue, 49.8 en recherche d’informations, 76.5 en outils et 26.4 en arts. Les fiches indiquent que les résultats obtenus avec le même adaptateur en local et en hébergement concordaient à environ 0.6 point près.

IBM rapporte également un test comparatif dans lequel Granite-Switch-4.1-30B, un modèle de base Granite figé doté de quatre aLoRA spécialisées, a exécuté un flux de travail RAG en cinq étapes dans des conditions réelles, beaucoup plus rapidement que Jev-27B, un modèle de base Qwen figé doté d’une seule LoRA de décision générique. Dans une deuxième démonstration, IBM indique qu’un modèle Granite Switch personnalisé de 3 milliards de paramètres, jouant au jeu Doom, a pris entre 60 et 100 décisions par seconde, contre 10 décisions par seconde rapportées pour Jev, et que, contrairement à Jev, son modèle peut commenter la partie et répondre à des questions tout en jouant.

Disponibilité, exigences et limites

Les deux points de contrôle sont sous licence Apache 2.0. Les exigences sont Python 3.9 ou version ultérieure, PyTorch 2.11.0 ou version ultérieure, Transformers de la version 5.16 à la version 5.17.0, et, en option, vLLM à partir de la version 0.26.0, mais avant la version 0.28.0. L’architecture de base dense à décodeur seul utilise l’attention à requêtes groupées (GQA), RoPE, SwiGLU et RMSNorm ; elle prend en charge un contexte de 131 072 jetons et indique comme langues prises en charge l’anglais, l’allemand, l’espagnol, le français, le japonais, le portugais, l’arabe, le tchèque, l’italien, le coréen, le néerlandais et le chinois.

Tout le monde peut composer un modèle Granite Switch personnalisé en combinant des adaptateurs issus du catalogue d’adaptateurs du projet à l’aide de ses outils de composition. IBM présente Mellea comme la couche applicative privilégiée pour exécuter les adaptateurs Granite Switch. Mellea prend déjà en charge les familles d’adaptateurs Granite Libraries, mais l’adaptateur de décision ne dispose pas encore d’une fonctionnalité native dans Mellea, dont la prise en charge est prévue. IBM prévoit également un SDK Adapter pour entraîner des adaptateurs personnalisés et tiers dans Mellea, ainsi que des tutoriels et la prise en charge de Granite Switch, et indique qu’elle publiera davantage de détails et de données sur Granite Switch dans les semaines suivant l’annonce.

Les fiches documentent plusieurs limites. La cascade vocale fonctionne uniquement en anglais et produit des transcriptions en minuscules, sans ponctuation ni guidage au moment du décodage. De plus, comme l’encodeur ASR n’est pas entraîné conjointement avec le modèle de langage ou les adaptateurs, une erreur de transcription peut modifier à l’insu de l’utilisateur la réponse du modèle ou d’un adaptateur. vLLM limite à 128 identifiants de jeton les demandes de log-probabilité des étiquettes d’options de décision ; les questions comportant davantage d’options doivent donc être réparties en requêtes par blocs. Les fiches précisent également que guardian-core ne remplace pas les tests de sécurité au niveau de l’application, que les points de contrôle n’incluent pas les adaptateurs de détection de la factualité, de correction de la factualité et de garde-fous de politique de Guardian Library, et que les probabilités de l’adaptateur de décision doivent être interprétées comme un a priori qui éclaire une décision, et non comme une classification certifiée pour les domaines extérieurs à son entraînement.