Baidu lança ERNIE 5.5 Flash Base para treinamento adicional

A equipe ERNIE da Baidu anunciou o ERNIE-5.5-Flash-Base em 5 de novembro de 2026, disponibilizando pesos para download de um modelo de mistura de especialistas, somente de texto, com 280 bilhões de parâmetros no total e 14 bilhões ativados por token. O checkpoint encerra o pré-treinamento, antes do treinamento intermediário ou do pós-treinamento, oferecendo aos desenvolvedores um ponto de partida comum para adaptação a domínios específicos, ajuste fino de instruções e pesquisa em aprendizado por reforço.

O lançamento também oferece uma linha de base fixa para comparações controladas entre métodos de treinamento. A Baidu informou que uma versão do ERNIE 5.5 Flash com pós-treinamento será lançada posteriormente.

Arquitetura e sistema de treinamento

O cartão do modelo informa que ele tem 43 camadas, dimensão oculta de 4.096 e 64 cabeças de atenção. Trinta e sete camadas usam atenção altamente comprimida: o cache armazena uma entrada para cada bloco de 128 tokens, além de uma pequena janela de tokens recentes não comprimidos. Seis camadas de atenção latente multi-head preservam o acesso ao contexto completo no nível dos tokens e usam um indexador para selecionar as posições anteriores com as pontuações mais altas. Segundo a Baidu, essa seleção esparsa mantém constante o custo da atenção principal por consulta à medida que o contexto aumenta.

Todas as camadas, exceto a primeira, usam um bloco de mistura de especialistas com 512 especialistas roteados, dos quais 10 são ativados, além de um especialista compartilhado. Os especialistas operam em um espaço latente de 2.048 dimensões, em vez de usar toda a largura da camada oculta do modelo. Segundo a Baidu, em comparação com especialistas de largura total, isso reduz aproximadamente pela metade o tráfego de roteamento e combinação dos especialistas e as operações de ponto flutuante dos especialistas. O projeto também inclui quatro fluxos residuais paralelos por meio de hiperconexões restritas a variedades e uma camada de saída MultiMax com temperatura por partes aprendível.

O pré-treinamento usou 33,5 trilhões de tokens, o otimizador Muon e precisão mista FP8. O contexto usado durante o treinamento foi ampliado gradualmente até 128 mil tokens; o ajuste fino e a inferência são compatíveis com 1 milhão de tokens. Além de dados multilíngues da web, o corpus inclui código e registros de desenvolvimento de software, como commits, issues, pull requests, revisões, testes gerados e correções verificadas por CI. Documentos longos selecionados, sequências com elementos distratores semanticamente semelhantes e dados sintéticos de recuperação e resposta a perguntas fornecem exemplos para o treinamento com contexto longo. Essas escolhas alinham o lançamento do modelo base ao raciocínio no nível de repositórios, à engenharia de software agêntica e ao processamento de entradas extensas.

O repositório do FlashMask que acompanha o lançamento documenta kernels de atenção para GPUs Hopper e Blackwell. Nas configurações Blackwell, as dimensões das cabeças podem chegar a 576 para consulta e chave e a 512 para valor. A Baidu relata ganhos de velocidade de até 175% na passagem direta e 74% na passagem reversa em relação ao FlashAttention-4 MaskMod em hardware SM100. O sistema distribuído Muon também combina a sincronização de parâmetros densos e de MoE em uma única operação coletiva e distribui o estado do otimizador de maneira mais uniforme entre os nós, sem alterar as atualizações do otimizador.

Resultados de benchmark da Baidu

A Baidu avaliou o ERNIE em comparação com os checkpoints DeepSeek-V4-Flash-Base, Hy3-preview-Base e MiMo-V2.5-Base, disponibilizados publicamente, usando a mesma infraestrutura de avaliação, os mesmos prompts e exemplos com poucas amostras, além do mesmo avaliador LLM para tarefas de resposta a perguntas em formato livre. Os resultados selecionados da tabela mostram em quais tarefas o modelo lidera e em quais fica atrás:

A comparação da Baidu depende da tarefa, em vez de mostrar uma vitória em todas elas: o ERNIE lidera nos resultados apresentados de MMLU e HumanEval+, enquanto o Hy3 lidera no FullStackBench e o DeepSeek, no InfiniteBench. A tabela aponta bons resultados em exames e programação na avaliação da Baidu, sem deixar de registrar essas exceções.

Condições de implantação e licença

Os downloads estão disponíveis nos formatos safetensors FP8 e BF16. O cartão do modelo documenta a disponibilização em produção com SGLang e vLLM por meio da API de completions, em conformidade com o status do checkpoint como modelo base. A receita do Megatron Bridge da NVIDIA acrescenta um fluxo de trabalho de ajuste fino supervisionado que abrange a preparação de dados, o treinamento e a exportação de volta para o formato Hugging Face. A receita para o modelo completo usa 16 nós, cada um com quatro GPUs GB300. A NVIDIA valida as receitas em sistemas Blackwell GB200 e GB300; os componentes são compatíveis com Hopper, mas não foram validados nessa plataforma.

O Contrato de licença do modelo ERNIE 5.5 Flash Base v1.0, elaborado especificamente para esse modelo, impõe condições territoriais e comerciais. A União Europeia, o Reino Unido e a Coreia do Sul estão excluídos do território autorizado, e atividades como uso, modificação e distribuição fora desse território não são autorizadas. O uso não comercial é isento de taxas de licença do modelo. O uso comercial por quem tenha receita anual de até 50 milhões de dólares com produtos ou serviços relacionados exige uma notificação única e a atribuição destacada “Desenvolvido com ERNIE”. Acima desse limite, os usuários precisam de autorização prévia, por escrito e em separado, da Baidu.

O contrato também proíbe o uso dos materiais licenciados, de modelos derivados ou de seus resultados para aprimorar um sistema de IA ou de aprendizado de máquina não relacionado. Essa restrição é importante para fluxos de trabalho de destilação e de dados sintéticos, que a licença aborda expressamente ao definir modelos derivados e limitar o uso dos resultados.

O ERNIE 5.5 Flash Base oferece a pesquisadores e desenvolvedores um ponto de verificação fixo para testar métodos de treinamento posteriores sem repetir a etapa de pré-treinamento da Baidu. Seu projeto se concentra no controle da computação ativa e dos custos associados a contextos longos, mas o alcance prático do lançamento é limitado pelo hardware necessário para o ajuste fino do modelo completo e por uma licença que restringe a localização geográfica, o uso comercial em maior escala e a transferência de capacidades para modelos não relacionados.