IBM lanza los modelos modulares Granite Switch 4.1 en tamaños de 8B y 30B

IBM anunció Granite Switch 4.1 el 15 de octubre de 2026 y lanzó dos modelos de lenguaje modulares, de 8.000 y 30.000 millones de parámetros, que combinan un modelo base, un adaptador de toma de decisiones de propósito general, un adaptador de seguridad y un codificador integrado de voz a texto en un único punto de acceso alojado. La entrada del blog de IBM Granite que anunció el lanzamiento fue escrita por Kate Soule, Subhajit Chaudhury, Hendrik Strobelt y Luis A Lastras.

La configuración 4.1

El lanzamiento incluye Granite-Switch-4.1-8B y Granite-Switch-4.1-30B, basados en los modelos base granite-4.1-8b y granite-4.1-30b, que tienen 8.000 y 30.000 millones de parámetros, respectivamente, y una ventana de contexto de 128K. La ficha del modelo 8B y la ficha del modelo 30B indican como fecha de lanzamiento el 14 de octubre de 2026, una licencia Apache 2.0 y compatibilidad con los backends Hugging Face Transformers y vLLM.

Cada punto de control combina tres componentes con el modelo base: un LoRA activado (aLoRA) de toma de decisiones para la toma de decisiones de propósito general; guardian-core, un aLoRA de la biblioteca Guardian de IBM que detecta riesgos de seguridad relacionados con daños, jailbreaks, lenguaje soez, violencia, contenido sexual, sesgo social y comportamiento poco ético; y Granite Speech 5.0 TurboCTC, un codificador conformador CTC no autorregresivo de 470 millones de parámetros, en inglés, integrado para la transcripción, que IBM describe como el modelo de reconocimiento automático del habla (ASR) más rápido de OpenASR Leaderboard. IBM afirma que las tres tecnologías, junto con el modelo base, requieren aproximadamente la misma memoria de GPU que el modelo base por sí solo.

Las fichas también incluyen variantes de vista previa sin audio (granite-switch-4.1-8b-preview, granite-switch-4.1-30b-preview y granite-switch-4.1-3b-preview) que incluyen el paquete completo de adaptadores Granite Libraries. IBM presentó el proyecto Granite Switch en la primavera de 2026 como un enfoque modular para el desarrollo de modelos, y su anterior lanzamiento Granite Libraries proporciona el repositorio de adaptadores especializados de toma de decisiones y tareas que pueden combinarse para crear modelos Switch personalizados.

Cómo funciona la conmutación

Granite Switch utiliza lo que las fichas de los modelos denominan conmutación de expertos de granularidad gruesa, en la que un único adaptador permanece activo en todas las capas del decodificador durante un tramo contiguo de tokens. Quienes lo invocan activan un adaptador pasando su nombre a la plantilla de chat, que inserta automáticamente el token de control correspondiente. Una capa de conmutación ligera, basada en la atención estándar, detecta esos tokens y genera índices de adaptador para cada posición, lo que indica a cada capa del decodificador que aplique los pesos LoRA correspondientes a ese tramo.

Las fichas enumeran cuatro características de diseño: cada adaptador solo lee la caché KV del modelo base y nunca el estado interno de otro adaptador; los adaptadores se desarrollan, prueban y publican de forma independiente, sin entrenamiento conjunto; un único punto de control funciona tanto con Transformers como con vLLM; y la selección de adaptadores no requiere cambios en el código. IBM afirma que el diseño Activated LoRA, eficiente en el uso de la caché, permite reutilizar la caché KV de una generación del modelo base para decisiones posteriores basadas en adaptadores, y atribuye la rápida conmutación entre solicitudes de chat, toma de decisiones y voz a sus recientes contribuciones al kernel de vLLM y a un codificador ASR ubicado junto al modelo.

El adaptador de toma de decisiones recibe un estado y una pregunta con opciones etiquetadas, y luego genera una distribución de probabilidad softmax sobre esas opciones en una sola pasada hacia delante. El codificador de voz integrado transcribe el audio entrante, y la transcripción resultante sustituye al audio dentro del contexto del chat; así, la transcripción se ejecuta en el mismo punto de acceso que el chat y la toma de decisiones, sin necesidad de un servidor de voz independiente ni de cambiar la forma de invocar el modelo. IBM también aloja un espacio de demostración de Speech-to-Decisions en el que el modelo 8B transcribe el audio entrante, genera resúmenes, detecta contenido dañino y evalúa 15 indicadores adicionales definidos por el usuario, todo en tiempo real y en un único punto de acceso.

Referencias y comparaciones comunicadas por IBM

IBM contrasta su enfoque con modelos cerrados de toma de decisiones como Jev, que, según afirma, se centran en la generalidad, y señala que, en promedio, el adaptador guardian-core supera a Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions y Clef-Flash en tareas de toma de decisiones relacionadas con la seguridad. En la comparación publicada por IBM entre sus adaptadores especializados de Granite Libraries y modelos generalistas de toma de decisiones, el mejor adaptador Granite obtuvo resultados superiores en OOD Safety por 2,3 puntos, en IFEval por 17,0, en BIO F1 por 11,0 y en RAGTruth por 11,8; en cambio, quedó por debajo en LM-AggreFact por 2,6, en InfoBench-GPT4 por 3,2 y en InfoBench-Human por 0,8.

Las fichas de los modelos informan las puntuaciones de Decision Index del adaptador de toma de decisiones, medidas en el subconjunto rápido público del benchmark, compuesto por 1.068 filas, con la puntuación de la edición v0.3 y el adaptador servido mediante un punto de acceso alojado de vLLM. El adaptador 8B obtuvo una puntuación global de 42,9, con 29,1 en Conocimiento, 48,9 en Lenguaje, 49,8 en Recuperación, 59,8 en Herramientas y 18,0 en Artes. El adaptador 30B obtuvo una puntuación global de 50,1, con 32,4 en Conocimiento, 58,6 en Lenguaje, 49,8 en Recuperación, 76,5 en Herramientas y 26,4 en Artes. Las fichas indican que los resultados al servir el mismo adaptador de forma local y alojada coincidieron con una diferencia de aproximadamente 0,6 puntos.

IBM también informa de una competición en la que Granite-Switch-4.1-30B, un modelo base Granite congelado con cuatro aLoRA especializados, completó un flujo de trabajo RAG de cinco pasos en condiciones reales mucho más rápido que Jev-27B, un modelo base Qwen congelado con un único LoRA genérico de toma de decisiones. En una segunda demostración, IBM afirma que un modelo personalizado Granite Switch de 3.000 millones de parámetros que jugaba al videojuego Doom tomó entre 60 y 100 decisiones por segundo, frente a las 10 decisiones por segundo que se indican para Jev, y que, a diferencia de Jev, su modelo puede narrar y responder preguntas mientras juega.

Disponibilidad, requisitos y limitaciones

Ambos puntos de control están sujetos a la licencia Apache 2.0. Los requisitos son Python 3.9 o posterior, PyTorch 2.11.0 o posterior, Transformers desde la versión 5.16 hasta la 5.17.0 y, de forma opcional, vLLM desde la versión 0.26.0 hasta antes de la 0.28.0. La arquitectura base densa y solo de decodificación utiliza atención de consultas agrupadas (GQA), RoPE, SwiGLU y RMSNorm; admite un contexto de 131.072 tokens; y enumera el inglés, el alemán, el español, el francés, el japonés, el portugués, el árabe, el checo, el italiano, el coreano, el neerlandés y el chino como idiomas compatibles.

Cualquier persona puede crear un modelo Granite Switch personalizado combinando adaptadores del catálogo de adaptadores del proyecto con las herramientas de composición. IBM presenta Mellea como la capa de aplicación preferida para ejecutar adaptadores de Granite Switch, y Mellea ya integra las familias de adaptadores de Granite Libraries, pero el adaptador de decisión aún no cuenta con una función intrínseca de Mellea; está previsto añadirla. IBM también planea ofrecer un SDK de adaptadores para entrenar adaptadores personalizados y de terceros en Mellea, junto con tutoriales y compatibilidad con Granite Switch, y afirma que publicará más detalles y datos sobre Granite Switch en las semanas posteriores al anuncio.

Las fichas documentan varias limitaciones. La cadena de procesamiento de voz funciona únicamente en inglés y genera transcripciones en minúsculas, sin puntuación ni posibilidad de dirigir la decodificación; además, como el codificador ASR no se entrena conjuntamente con el modelo de lenguaje ni con los adaptadores, un error de transcripción puede cambiar inadvertidamente la respuesta del modelo o de un adaptador. vLLM limita a 128 identificadores de token las solicitudes de logprob de etiquetas de opciones de decisión, por lo que las preguntas con más opciones deben dividirse en solicitudes por partes. Las fichas también indican que guardian-core no sustituye las pruebas de seguridad a nivel de aplicación, que los puntos de control no incluyen los adaptadores de detección de veracidad, corrección de veracidad y salvaguardas de políticas de Guardian Library, y que las probabilidades del adaptador de decisión deben interpretarse como una probabilidad previa que orienta una decisión, no como una clasificación certificada para ámbitos ajenos a su entrenamiento.