Baidu lanza ERNIE 5.5 Flash Base para continuar su entrenamiento

El equipo ERNIE de Baidu anunció ERNIE-5.5-Flash-Base el 5 de noviembre de 2026 y publicó los pesos descargables de un modelo de solo texto basado en una mezcla de expertos, con 280.000 millones de parámetros en total y 14.000 millones activados por token. El punto de control corresponde al final del preentrenamiento, antes del entrenamiento intermedio o posterior, y ofrece a los desarrolladores un punto de partida común para adaptar el modelo a distintos ámbitos, ajustar instrucciones e investigar el aprendizaje por refuerzo.

El lanzamiento también proporciona una referencia fija para comparar de forma controlada los métodos de entrenamiento. Baidu indicó que después de esta versión base lanzará un modelo ERNIE 5.5 Flash con entrenamiento posterior.

Arquitectura y sistema de entrenamiento

La ficha del modelo indica que tiene 43 capas, un tamaño oculto de 4.096 y 64 cabezas de atención. Treinta y siete capas usan atención altamente comprimida: su caché almacena una entrada por cada bloque de 128 tokens, además de una ventana breve de tokens recientes sin comprimir. Seis capas de atención latente multi-cabeza mantienen el acceso a nivel de token a todo el contexto y utilizan un indexador para elegir las posiciones anteriores con las puntuaciones más altas. Según Baidu, esta selección dispersa mantiene constante el costo de la atención principal por consulta a medida que crece el contexto.

Todas las capas, excepto la primera, usan un bloque de mezcla de expertos con 512 expertos enrutados, de los cuales se activan 10, además de un experto compartido. Los expertos operan en un espacio latente de 2.048 dimensiones, en lugar de hacerlo en todo el ancho de la capa oculta del modelo. Según Baidu, esto reduce aproximadamente a la mitad el tráfico de distribución y combinación de expertos, así como las operaciones de coma flotante de los expertos, frente a los expertos de ancho completo. El diseño también incluye cuatro flujos residuales paralelos mediante conexiones hiperdimensionales restringidas a una variedad y una capa de salida MultiMax con una temperatura por tramos que se puede aprender.

El preentrenamiento utilizó 33,5 billones de tokens, el optimizador Muon y precisión mixta FP8. Durante el entrenamiento, el contexto se amplió gradualmente hasta 128.000 tokens; el ajuste fino y la inferencia admiten 1 millón de tokens. Además de datos web multilingües, el corpus incluye código y registros de desarrollo de software, como confirmaciones, incidencias, solicitudes de incorporación de cambios, revisiones, pruebas generadas y correcciones verificadas mediante integración continua (CI). La formación con contextos largos se nutre de documentos extensos seleccionados, secuencias con elementos distractores semánticamente similares y datos sintéticos de recuperación de información y respuesta a preguntas. Estas decisiones orientan la versión base hacia el razonamiento a nivel de repositorio, la ingeniería de software con agentes y las entradas extensas.

El repositorio FlashMask que acompaña al modelo documenta kernels de atención para GPU Hopper y Blackwell; las configuraciones de Blackwell admiten dimensiones de cabeza de hasta 576 para consulta y clave, y de 512 para valor. Baidu informa de aumentos de velocidad de hasta el 175 % en la pasada hacia delante y del 74 % en la pasada hacia atrás frente a FlashAttention-4 MaskMod en hardware SM100. El sistema distribuido Muon también combina la sincronización de los parámetros densos y los de mezcla de expertos en una sola operación colectiva y distribuye el estado del optimizador de forma más uniforme entre los nodos, sin modificar sus actualizaciones.

Resultados de las pruebas comparativas de Baidu

Baidu evaluó ERNIE frente a los puntos de control publicados de DeepSeek-V4-Flash-Base, Hy3-preview-Base y MiMo-V2.5-Base con el mismo banco de pruebas, las mismas instrucciones y ejemplos de aprendizaje con pocos ejemplos, y el mismo modelo de lenguaje grande como evaluador para las preguntas abiertas. Los resultados seleccionados de su tabla muestran en qué aspectos el modelo aventaja a los demás y en cuáles queda por detrás:

La comparación de Baidu depende de la tarea y no supone una victoria absoluta: ERNIE encabeza los resultados mostrados de MMLU y HumanEval+, mientras que Hy3 lidera en FullStackBench y DeepSeek, en InfiniteBench. La tabla muestra un sólido desempeño en exámenes y programación en la evaluación de Baidu, sin dejar de reflejar esas excepciones.

Condiciones de implementación y licencia

Las descargas están disponibles en formatos safetensors FP8 y BF16. La ficha del modelo documenta la implementación en producción con SGLang y vLLM mediante la API de completions, en consonancia con el carácter de modelo base del punto de control. La receta de Megatron Bridge de NVIDIA añade un flujo de trabajo de ajuste fino supervisado que abarca la preparación de datos, el entrenamiento y la exportación de vuelta al formato de Hugging Face. La receta para el modelo completo utiliza 16 nodos, cada uno con cuatro GPU GB300. NVIDIA valida las recetas en sistemas Blackwell GB200 y GB300; los componentes son compatibles con Hopper, pero no se han validado en esa plataforma.

El Acuerdo de licencia del modelo ERNIE 5.5 Flash Base v1.0, de carácter personalizado, establece condiciones territoriales y comerciales. El territorio excluye la Unión Europea, el Reino Unido y Corea del Sur, y no autoriza actividades como el uso, la modificación y la distribución fuera de ese territorio. El uso no comercial está exento de cargos por licencia del modelo. Para el uso comercial, si los ingresos anuales procedentes de productos o servicios relacionados son de 50 millones de dólares o menos, se requiere un aviso único y la atribución destacada «Impulsado por ERNIE». Por encima de ese umbral, los usuarios necesitan autorización previa por escrito de Baidu.

El acuerdo también prohíbe utilizar los materiales con licencia, los modelos derivados o sus resultados para mejorar un sistema de IA o aprendizaje automático no relacionado. Esta restricción es importante para los flujos de trabajo de destilación y generación de datos sintéticos, que la licencia aborda expresamente al definir los modelos derivados y establecer límites al uso de los resultados.

ERNIE 5.5 Flash Base ofrece a investigadores y desarrolladores un punto de control fijo para probar métodos de entrenamiento posteriores sin repetir el proceso de preentrenamiento de Baidu. Su diseño se centra en controlar el cómputo activo y el coste de las secuencias largas, pero el alcance práctico del lanzamiento está limitado por el hardware necesario para ajustar el modelo completo y por una licencia que restringe el uso geográfico, el uso comercial a mayor escala y la transferencia de capacidades a modelos no relacionados.