Baseten apporte son expertise en inférence à la coalition Nemotron de NVIDIA

Baseten a annoncé le 5 novembre 2026 avoir rejoint la coalition NVIDIA Nemotron, à laquelle l’entreprise apporte des enseignements tirés de charges de travail en entreprise ainsi que son expertise en post-entraînement et en inférence pour le développement de modèles ouverts. Cette adhésion élargit sa collaboration avec NVIDIA dans les domaines du lancement de modèles, de l’apprentissage par renforcement, de la personnalisation et de l’inférence dédiée.

NVIDIA a lancé la coalition le 16 mars 2026 afin de mettre en commun la recherche, l’expertise, les données et les ressources de calcul autour de modèles ouverts de pointe. Dans son annonce de lancement, NVIDIA indiquait que le premier projet serait un modèle de base développé conjointement par Mistral AI et NVIDIA, entraîné sur NVIDIA DGX Cloud, publié en open source afin que les développeurs et les organisations puissent le spécialiser, et destiné à servir de fondement à la future famille Nemotron 4.

Baseten était partenaire du lancement de Nemotron 3.5 Super VL et de Nemotron 3 Ultra dès le premier jour. Son rôle au sein de la coalition va au-delà du déploiement de modèles finalisés : il englobe aussi des environnements d’entraînement et des connaissances opérationnelles façonnées par l’utilisation en entreprise. L’accent est mis concrètement sur la personnalisation en fonction des exigences propres à chaque entreprise, en considérant la qualité du déploiement, le coût et la flexibilité comme des enjeux liés.

Entraîner les modèles pour les charges de travail en production

L’entreprise a développé des environnements d’apprentissage par renforcement pour gérer des hiérarchies d’instructions complexes, en ignorant les informations superflues et en respectant des préférences stylistiques détaillées. D’autres environnements portent sur le raisonnement et la planification à long terme, au moyen de l’analyse statistique de jeux de données biologiques complexes, de la démonstration de théorèmes mathématiques et de jeux compétitifs. Ces tâches reproduisent la façon dont les instructions sont formulées en production, au travers des prompts système, des définitions d’outils, des messages de suivi des utilisateurs, des réponses des outils et des messages d’erreur.

Ses travaux multimodaux intègrent des tâches de raisonnement visuel et spatial ainsi que des appels d’outils en plusieurs étapes qui nécessitent une compréhension visuelle. Baseten indique que le post-entraînement a amélioré les résultats sur MMMU-Pro, un banc d’essai de raisonnement multimodal de niveau expert. Un article connexe, soumis le 5 octobre 2026, décrit un projecteur de 50 millions de paramètres reliant l’encodeur visuel de Kimi K2.6 à GLM 5.2 et GLM 5.3, tout en maintenant fixes les poids préentraînés, et présente des évaluations sur MMMU-Pro et BLINK.

Des résultats mesurables en matière de personnalisation

Le compte rendu de recherche du 11 août 2026 de CodeRabbit décrit un projet mené avec NVIDIA et Baseten, qui a consisté à personnaliser Nemotron 3.5 Lightning pour le routage des revues de code, au moyen d’un réglage fin supervisé, puis d’un apprentissage par renforcement avec des récompenses vérifiables. Lors d’une évaluation figée portant sur 1 000 tâches, le taux d’accord exact sur le routage est passé de 75,8 % pour le modèle de référence à 80,4 % après le réglage fin supervisé, puis à 80,7 % après l’entraînement avec récompenses. Le kappa de Cohen, une mesure de l’accord au-delà de celui attendu par hasard, est passé de 0,429 à 0,461, puis à 0,544.

CodeRabbit a considéré la variation finale de 0,3 point de pourcentage du taux d’accord sur le routage comme une absence de régression, et non comme une amélioration statistiquement concluante, car l’intervalle de confiance apparié incluait zéro. Selon son estimation, la comparaison des coûts d’inférence faisait apparaître une réduction de 50,4 % à débit saturé : la même évaluation coûtait 2,34 $ avec le modèle de référence et 1,16 $ sur un A100 de Baseten. Les vérifications en charge soutenue et sur du trafic de production restaient à effectuer lors d’une phase ultérieure.

Harvey constitue un autre cas de personnalisation. Baseten indique que la plateforme d’IA juridique effectue le post-entraînement de Nemotron sur Baseten pour des flux de travail spécialisés destinés à des dizaines de milliers d’avocats chaque jour. Dans des travaux de recherche publiés par Harvey et Baseten le 8 septembre 2026, une salle de données consacrée aux fusions-acquisitions a été chargée dans un environnement Python, où un agent principal pouvait déléguer des tâches de vérification bien délimitées à des sous-agents. Harvey a indiqué que, sur sept modèles évalués à partir de 50 salles de données mises de côté, le dispositif avait fait passer le taux moyen de réussite aux critères de la grille d’évaluation de 23,3 % à 62,4 %.

Le compte rendu de Harvey indique également que l’apprentissage par renforcement d’un modèle principal Qwen3.5-122B-A10B a fait passer son taux de réussite de 29,9 % à 63,0 % sur ces 50 salles de données. Il précise toutefois qu’il s’agit d’explorations initiales et que l’écart restant avec des taux de réussite quasi parfaits demeure important.

Déploiement et IA vocale

Baseten Loops relie les flux de travail gérés d’apprentissage par renforcement à l’inférence dédiée, tandis que les clients restent propriétaires des poids de leurs modèles entraînés. Loops prend en charge Nemotron 3.5 Super VL et Nemotron 3 Ultra ; Super VL est disponible pour l’entraînement en BF16 et en NVFP4.

Les entreprises évaluent également des agents vocaux alimentés par Nemotron dans des applications complètes, en tenant compte notamment de la qualité des modèles et de leur réactivité. Le banc d’essai de reconnaissance vocale du 4 août 2026 de Baseten indiquait qu’un seul NVIDIA H100 pouvait gérer jusqu’à 100 flux audio WebSocket simultanés en temps réel. La latence de finalisation — le délai entre la fin de la prise de parole et la disponibilité de la transcription finale — est passée de 98 millisecondes avec huit flux à 138 millisecondes avec 100 flux.

L’adhésion de Baseten à la coalition relie l’adaptation des modèles à l’infrastructure utilisée pour les déployer. Les résultats obtenus chez les clients apportent des éléments concrets à l’appui de cette approche, tandis que l’estimation de CodeRabbit à débit saturé et les vérifications de production encore inachevées, ainsi que les expériences préliminaires de Harvey, en définissent les limites. La question centrale est de savoir dans quelle mesure les gains mesurés se maintiennent lors d’une utilisation soutenue en production.