IBM lança modelos modulares Granite Switch 4.1 com 8B e 30B de parâmetros

A IBM anunciou o Granite Switch 4.1 em 15 de outubro de 2026, lançando dois modelos de linguagem modulares, com 8 bilhões e 30 bilhões de parâmetros, que combinam um modelo-base, um adaptador de decisão de uso geral, um adaptador de segurança e um codificador integrado de fala para texto em um único endpoint hospedado. A publicação no blog da IBM Granite que anunciou o lançamento foi escrita por Kate Soule, Subhajit Chaudhury, Hendrik Strobelt e Luis A Lastras.

A configuração 4.1

O lançamento inclui Granite-Switch-4.1-8B e Granite-Switch-4.1-30B, desenvolvidos com base nos modelos-base granite-4.1-8b e granite-4.1-30b, que têm, respectivamente, 8 bilhões e 30 bilhões de parâmetros e uma janela de contexto de 128K. O cartão do modelo 8B e o cartão do modelo 30B informam a data de lançamento de 14 de outubro de 2026, a licença Apache 2.0 e os back-ends Hugging Face Transformers e vLLM.

Cada checkpoint combina três componentes com o modelo-base: um LoRA ativado (aLoRA) de decisão para tomada de decisões de uso geral; o guardian-core, um aLoRA da biblioteca Guardian da IBM que detecta riscos de segurança relacionados a danos, jailbreak, linguagem obscena, violência, conteúdo sexual, preconceito social e comportamento antiético; e o Granite Speech 5.0 TurboCTC, um codificador conformer CTC não autorregressivo, em inglês e com 470 milhões de parâmetros, integrado para transcrição, que a IBM descreve como o modelo de reconhecimento automático de fala mais rápido no OpenASR Leaderboard. Segundo a IBM, as três tecnologias, junto com o modelo-base, exigem aproximadamente a mesma memória de GPU que o modelo-base sozinho.

Os cartões também listam variantes de pré-visualização sem áudio (granite-switch-4.1-8b-preview, granite-switch-4.1-30b-preview e granite-switch-4.1-3b-preview) que incluem o pacote completo de adaptadores Granite Libraries. A IBM apresentou o projeto Granite Switch na primavera de 2026 como uma abordagem modular para o desenvolvimento de modelos, e o lançamento anterior do Granite Libraries fornece o repositório de adaptadores especializados para decisões e tarefas, que podem ser combinados em modelos Switch personalizados.

Como funciona a comutação

O Granite Switch usa o que os cartões dos modelos chamam de comutação de especialistas em granularidade grossa, na qual um único adaptador permanece ativo em todas as camadas do decodificador ao longo de um trecho contínuo de tokens. Os usuários ativam um adaptador passando seu nome ao modelo de chat, que insere automaticamente o token de controle correspondente. Uma camada de comutação leve, baseada na atenção padrão, detecta esses tokens e gera índices de adaptador para cada posição, direcionando cada camada do decodificador a aplicar os pesos LoRA correspondentes naquele trecho.

Os cartões listam quatro propriedades de projeto: cada adaptador lê apenas o cache KV do modelo-base, nunca o estado interno de outro adaptador; os adaptadores são desenvolvidos, testados e publicados de forma independente, sem treinamento conjunto; um único checkpoint funciona tanto com Transformers quanto com vLLM; e a seleção de adaptadores não exige alterações no código. Segundo a IBM, o projeto Activated LoRA, eficiente no uso do cache, permite reutilizar o cache KV de uma geração do modelo-base em decisões subsequentes baseadas em adaptadores. A empresa também atribui a rápida alternância entre solicitações de chat, decisões e voz às suas contribuições recentes para o kernel do vLLM e a um codificador ASR co-localizado.

O adaptador de decisão recebe um estado e uma pergunta com opções identificadas por rótulos e, em seguida, gera uma distribuição de probabilidades softmax entre esses rótulos em uma única passagem direta. O codificador de fala integrado transcreve o áudio recebido, e a transcrição resultante substitui o áudio no contexto do chat. Assim, a transcrição é processada no mesmo endpoint que o chat e as decisões, sem um servidor de fala separado e sem alterações na forma de chamar o modelo. A IBM também está hospedando um espaço de demonstração Speech-to-Decisions no qual o modelo 8B transcreve o áudio recebido, gera resumos, verifica a presença de conteúdo nocivo e avalia 15 sinalizadores adicionais definidos pelo usuário, tudo em tempo real em um único endpoint.

Benchmarks e comparações divulgados pela IBM

A IBM compara sua abordagem com modelos de decisão fechados, como o Jev, que, segundo a empresa, são voltados à generalidade, e afirma que o adaptador guardian-core supera, em média, o Jev 1.13, o Microsoft-Decision-1, o GPT-Luna-Decisions e o Clef-Flash em tarefas de decisão relacionadas à segurança. Na comparação publicada pela IBM entre seus adaptadores especializados Granite Libraries e modelos de decisão generalistas, o melhor adaptador Granite ficou à frente em OOD Safety por 2,3 pontos, em IFEval por 17,0, em BIO F1 por 11,0 e em RAGTruth por 11,8; por outro lado, ficou atrás em LM-AggreFact por 2,6, em InfoBench-GPT4 por 3,2 e em InfoBench-Human por 0,8.

Os cartões dos modelos informam as pontuações do Decision Index para o adaptador de decisão, medidas no subconjunto público rápido do benchmark, com 1.068 linhas, segundo a pontuação edition-v0.3, com o adaptador disponibilizado por meio de um endpoint vLLM hospedado. O adaptador 8B obteve 42,9 no total: 29,1 em Knowledge, 48,9 em Language, 49,8 em Retrieval, 59,8 em Tools e 18,0 em Arts. O adaptador 30B obteve 50,1 no total: 32,4 em Knowledge, 58,6 em Language, 49,8 em Retrieval, 76,5 em Tools e 26,4 em Arts. Os cartões afirmam que os resultados do mesmo adaptador em execução local e hospedada diferiram em aproximadamente 0,6 ponto.

A IBM também relata uma disputa em que o Granite-Switch-4.1-30B, um modelo Granite de base congelado com quatro aLoRAs especializados, concluiu um fluxo de trabalho RAG de cinco etapas do mundo real muito mais rápido que o Jev-27B, um modelo Qwen de base congelado com um único LoRA genérico de decisão. Em uma segunda demonstração, a IBM afirma que um modelo Granite Switch personalizado de 3 bilhões de parâmetros, jogando Doom, tomou de 60 a 100 decisões por segundo, em comparação com as 10 decisões por segundo relatadas para o Jev, e que, ao contrário do Jev, seu modelo pode narrar e responder a perguntas enquanto joga.

Disponibilidade, requisitos e limitações

Ambos os checkpoints são licenciados sob a Apache 2.0. Os requisitos são Python 3.9 ou posterior, PyTorch 2.11.0 ou posterior, Transformers da versão 5.16 à 5.17.0 e, opcionalmente, vLLM 0.26.0 até antes da versão 0.28.0. A arquitetura de base densa, somente decodificador, usa atenção agrupada por consultas (GQA), RoPE, SwiGLU e RMSNorm; aceita um contexto de 131.072 tokens; e lista inglês, alemão, espanhol, francês, japonês, português, árabe, tcheco, italiano, coreano, neerlandês e chinês como idiomas compatíveis.

Qualquer pessoa pode criar um modelo Granite Switch personalizado combinando adaptadores do catálogo de adaptadores do projeto com as ferramentas de composição. A IBM apresenta o Mellea como a camada de aplicação preferencial para executar adaptadores Granite Switch, e o Mellea já integra as famílias de adaptadores da Granite Libraries, mas o adaptador de decisão ainda não tem um recurso intrínseco do Mellea, embora haja planos para oferecer suporte. A IBM também planeja lançar um SDK de adaptadores para treinar adaptadores personalizados e de terceiros no Mellea, além de tutoriais e suporte ao Granite Switch, e afirma que divulgará mais detalhes e dados sobre o Granite Switch nas semanas seguintes ao anúncio.

Os cartões dos modelos documentam várias limitações. A cascata de fala funciona apenas em inglês e retorna transcrições em letras minúsculas e sem pontuação, sem direcionamento durante a decodificação; como o codificador ASR não é treinado em conjunto com o modelo de linguagem ou os adaptadores, uma transcrição incorreta pode alterar silenciosamente a resposta do modelo ou de um adaptador. O vLLM limita a 128 IDs de token as solicitações de logprob dos rótulos das opções de decisão; portanto, perguntas com mais opções precisam ser divididas em solicitações menores. Os cartões também afirmam que o guardian-core não substitui os testes de segurança no nível da aplicação, que os checkpoints não incluem os adaptadores da Guardian Library para detecção de veracidade, correção de veracidade e salvaguardas de políticas, e que as probabilidades do adaptador de decisão devem ser interpretadas como uma probabilidade a priori que informa uma decisão, e não como uma classificação certificada para domínios fora de seu treinamento.