Baidu lance ERNIE 5.5 Flash Base pour poursuivre son entraînement

L’équipe ERNIE de Baidu a annoncé ERNIE-5.5-Flash-Base le 5 novembre 2026 et publié les poids téléchargeables d’un modèle textuel à mélange d’experts comptant 280 milliards de paramètres au total, dont 14 milliards activés par jeton. Ce point de contrôle marque la fin du préentraînement, avant toute phase d’entraînement intermédiaire ou de post-entraînement, et offre aux développeurs un point de départ commun pour l’adaptation à un domaine, le réglage fin par instructions et la recherche sur l’apprentissage par renforcement.

Cette version fournit également une base de référence fixe pour comparer de manière contrôlée différentes méthodes d’entraînement. Baidu a indiqué qu’un modèle ERNIE 5.5 Flash ayant subi un post-entraînement suivrait cette version de base.

Architecture et système d’entraînement

La fiche du modèle indique 43 couches, une dimension cachée de 4 096 et 64 têtes d’attention. Trente-sept couches utilisent l’attention à compression poussée : leur cache contient une entrée pour chaque bloc de 128 jetons, ainsi qu’une courte fenêtre de jetons récents non compressés. Six couches d’attention latente multi-tête préservent l’accès au contexte complet au niveau des jetons et utilisent un indexeur pour sélectionner les positions antérieures obtenant les scores les plus élevés. Selon Baidu, cette sélection creuse maintient constant le coût de l’attention centrale par requête à mesure que le contexte s’allonge.

Toutes les couches, sauf la première, utilisent un bloc à mélange d’experts comprenant 512 experts acheminés, dont 10 sont activés, ainsi qu’un expert partagé. Les experts opèrent dans un espace latent de dimension 2 048, plutôt que dans toute la largeur cachée du modèle. Baidu indique que cela réduit d’environ moitié le trafic lié à la distribution et à la combinaison des experts, ainsi que le nombre d’opérations en virgule flottante (FLOP) des experts, par rapport à des experts utilisant toute la largeur. L’architecture comprend également quatre flux résiduels parallèles via des hyperconnexions contraintes par la variété, ainsi qu’une tête de sortie MultiMax dotée d’une température par morceaux apprenable.

Le préentraînement a utilisé 33,5 billions de jetons, l’optimiseur Muon et une précision mixte FP8. La longueur du contexte utilisé pendant l’entraînement a été progressivement portée à 128K jetons ; le réglage fin et l’inférence prennent en charge 1 million de jetons. Outre des données Web multilingues, le corpus comprend du code et des traces de développement logiciel, telles que des commits, des problèmes, des demandes de fusion, des revues, des tests générés et des correctifs vérifiés par intégration continue (CI). Des documents longs sélectionnés, des séquences contenant des éléments distracteurs sémantiquement similaires, ainsi que des données synthétiques de recherche d’information et de questions-réponses alimentent l’entraînement sur de longs contextes. Ces choix orientent cette version de base vers le raisonnement à l’échelle d’un dépôt, l’ingénierie logicielle agentique et le traitement d’entrées étendues.

Le dépôt FlashMask fourni avec le modèle décrit des noyaux d’attention pour les GPU Hopper et Blackwell ; les configurations Blackwell prennent en charge des dimensions de tête allant jusqu’à 576 pour les requêtes et les clés, et 512 pour les valeurs. Baidu fait état de gains de vitesse pouvant atteindre 175 % lors de la passe avant et 74 % lors de la passe arrière par rapport à FlashAttention-4 MaskMod sur du matériel SM100. Le système Muon distribué regroupe également la synchronisation des paramètres denses et des paramètres MoE en une seule opération collective et répartit plus uniformément l’état de l’optimiseur entre les nœuds, sans modifier les mises à jour de l’optimiseur.

Résultats de référence de Baidu

Baidu a évalué ERNIE face aux points de contrôle publiés DeepSeek-V4-Flash-Base, Hy3-preview-Base et MiMo-V2.5-Base, en utilisant le même banc d’essai, les mêmes invites et les mêmes exemples en apprentissage en quelques exemples, ainsi que le même modèle de langage comme évaluateur pour les réponses libres aux questions. Les résultats sélectionnés dans son tableau montrent les domaines où le modèle arrive en tête et ceux où il est devancé :

La comparaison de Baidu dépend de la tâche et ne constitue pas une victoire sans partage : ERNIE arrive en tête pour les résultats présentés sur MMLU et HumanEval+, tandis que Hy3 domine FullStackBench et DeepSeek, InfiniteBench. Le tableau confirme les solides performances du modèle aux examens et en programmation dans le cadre de l’évaluation de Baidu, tout en faisant ressortir ces exceptions.

Déploiement et conditions de licence

Les téléchargements sont proposés aux formats safetensors FP8 et BF16. La fiche du modèle décrit le déploiement en production avec SGLang et vLLM via l’API de complétion, conformément au statut de modèle de base du point de contrôle. La recette Megatron Bridge de NVIDIA ajoute un processus de réglage fin supervisé couvrant la préparation des données, l’entraînement et l’exportation au format Hugging Face. Sa recette pour le modèle complet utilise 16 nœuds dotés chacun de quatre GPU GB300. NVIDIA valide les recettes sur les systèmes Blackwell GB200 et GB300 ; les composants sont compatibles avec Hopper, mais n’y sont pas validés.

Le contrat de licence personnalisé ERNIE 5.5 Flash Base v1.0 impose des conditions territoriales et commerciales. Son territoire exclut l’Union européenne, le Royaume-Uni et la Corée du Sud ; les activités telles que l’utilisation, la modification et la distribution en dehors de ce territoire ne sont pas autorisées. L’utilisation non commerciale est gratuite et n’entraîne aucuns frais de licence du modèle. Pour une utilisation commerciale générant au plus 50 millions de dollars de revenus annuels provenant de produits ou services connexes, une notification unique et la mention bien visible « Powered by ERNIE » sont exigées. Au-delà de ce seuil, les utilisateurs doivent obtenir l’autorisation écrite préalable distincte de Baidu.

L’accord interdit également d’utiliser les éléments sous licence, les modèles dérivés ou leurs résultats pour améliorer un système d’IA ou d’apprentissage automatique sans rapport avec eux. Cette restriction est importante pour les processus de distillation et de génération de données synthétiques, que la licence traite expressément lorsqu’elle définit les modèles dérivés et les limites imposées à l’utilisation des résultats.

ERNIE 5.5 Flash Base fournit aux chercheurs et aux développeurs un point de contrôle fixe pour tester de nouvelles méthodes d’entraînement sans avoir à répéter le préentraînement de Baidu. Sa conception vise à maîtriser le calcul actif et le coût lié aux contextes longs, mais la portée pratique de cette version est limitée par le matériel nécessaire au réglage fin du modèle complet et par une licence qui restreint les zones géographiques, l’utilisation commerciale à grande échelle et le transfert de capacités à des modèles sans rapport avec lui.