NVIDIA dévoile les modèles ouverts Nemotron 3.5 pour la vectorisation, le reclassement et l’analyse

Le 21 octobre 2026, NVIDIA a étoffé sa gamme Nemotron Retriever avec de nouveaux modèles ouverts et disponibles à des fins commerciales pour la vectorisation, le reclassement et l’extraction de documents : Nemotron 3.5 Embed en versions 8B BF16, 1B BF16 et 1B NVFP4, Nemotron 3.5 Rerank 8B BF16 et Nemotron 3.5 Parse, qui compte 631 millions de paramètres.

Dans une annonce rédigée par NVIDIA et publiée sur Hugging Face, l’entreprise a déclaré que cette publication visait les flux de travail d’agents en entreprise, en ajoutant des capacités de recherche multimodale, de classement par pertinence et de traitement de documents. NVIDIA a présenté la qualité de la recherche comme un facteur influant à la fois sur les réponses produites par un agent et sur le coût d’inférence du LLM associé à une tâche. L’entreprise a indiqué que, lorsque les éléments obtenus sont incomplets ou peu pertinents, les agents lancent davantage de recherches et examinent davantage de documents, consommant ainsi des jetons d’inférence supplémentaires avant de terminer.

Les quatre variantes Embed et Rerank répondent à des besoins de déploiement différents. Nemotron 3.5 Embed 8B BF16 est destiné aux recherches privilégiant la qualité dans des textes et des documents riches en éléments visuels. Le modèle 1B BF16 condense les capacités de recherche multimodale du modèle 8B dans un format plus compact, pour l’indexation multimodale et le traitement des requêtes. Le modèle 1B NVFP4 applique la quantification NVFP4 aux encodeurs de texte et d’image, en ciblant l’indexation de documents à grande échelle et la recherche à haut débit sur le matériel pris en charge. Nemotron 3.5 Rerank 8B BF16 attribue conjointement des scores aux paires requête-document afin d’affiner le classement par pertinence des éléments textuels et visuels, et de sélectionner les données utiles à la génération augmentée par la recherche et aux flux de travail agentiques. La recherche porte sur le texte des documents ainsi que sur des images telles que des tableaux, des graphiques, des infographies, des fiches techniques et des schémas. NVIDIA a évalué la recherche textuelle dans 34 langues et la recherche visuelle multilingue sur MIRACL Vision, qui couvre 18 langues, ainsi que sur KoViDoRe. L’entreprise précise que les modèles peuvent prendre en charge d’autres langues que celles évaluées.

Expériences de recherche agentique

Pour mesurer l’influence de la recherche sur le comportement des agents, NVIDIA a évalué Nemotron 3.5 Embed et Rerank sur ViDoRe v3, BRIGHT et BrowseComp-Plus. ViDoRe v3 utilise des entrées combinant texte et images, tandis que BRIGHT et BrowseComp-Plus utilisent uniquement du texte. Dans le processus testé, un agent recherche des informations dans un corpus à l’aide d’un outil de recherche, examine les éléments renvoyés, puis adapte ses requêtes suivantes. Pour les différents modèles, la matrice de tests a fait varier l’implémentation de l’outil de recherche dans des configurations utilisant uniquement la vectorisation ou la vectorisation associée au reclassement, tandis que le LLM, les outils, l’ensemble de tâches, le corpus et la politique d’exécution de l’agent restaient inchangés. L’évaluation a mesuré si l’agent trouvait les informations pertinentes pour chaque tâche, ainsi que le nombre total de jetons d’inférence de l’agent par tâche sur l’ensemble des tours, en comptant les jetons d’entrée et de sortie.

Selon NVIDIA, l’ajout de Nemotron 3.5 Rerank au processus a réduit d’environ 14 % le coût en jetons des agents par requête avec le modèle Embed 8B, et de 13 % avec le modèle 1B ; la précision de la recherche s’est améliorée dans les deux configurations. Associé au modèle Embed 8B, le reranker a obtenu un score nDCG@10 supérieur d’environ 0,9 point à celui de Qwen3-VL-Reranker-8B, pour un coût en jetons agentique comparable, indique NVIDIA.

Résultats des classements

Sur ViDoRe v3.1, NVIDIA indique que Nemotron 3.5 Embed 8B BF16 a obtenu un score nDCG@10 de 61,17, ce qui le plaçait en tête des modèles de recherche dense au 20 octobre 2026. L’entreprise décrit ce résultat comme une amélioration de 8,94 points par rapport au score de 52,23 obtenu par son modèle Llama Nemotron Embed VL 1B. Le modèle 1B BF16 distillé a atteint un score nDCG@10 de 58,38, soit 95,4 % du score du modèle enseignant 8B, selon NVIDIA. Sur MIRACL Vision, NVIDIA indique que le modèle 8B a obtenu un score nDCG@10 de 72,6, soit 4,3 points de plus que Qwen3-VL-Embedding-8B, et précise que les deux tailles du modèle Embed ont surpassé les modèles de référence Qwen sur KoViDoRe avec des entrées combinant images et texte.

NVIDIA lance, avec l’équipe MTEB, un classement de reclassement ViDoRe v3.1 couvrant les entrées contenant uniquement des images, uniquement du texte ou une combinaison des deux. NVIDIA indique que le reranker a obtenu un score nDCG@10 de 60,49 avec les entrées combinées, contre 59,17 pour Qwen3-VL-Reranker-8B, et qu’il se classait en tête de ce classement au 20 octobre 2026.

Débit et ajustement fin aux domaines

Pour les déploiements en production, NVIDIA indique que la variante NVFP4 offre un débit supérieur de 27,1 % à celui du modèle 1B BF16 sur NVIDIA GB200, avec 128,8 documents par seconde contre 101,3, tout en conservant 99,85 % de la précision de recherche du modèle BF16 sur ViDoRe v3 pour les entrées combinant images et texte. Lors des tests de l’entreprise sur un RTX PRO 6000 Blackwell Server Edition, NVIDIA NIM a traité 6 031 requêtes par seconde, soit environ 2,9 fois les 2 099 requêtes par seconde d’une configuration vLLM comparable, tandis que le débit de traitement des passages était qualifié de comparable.

NVIDIA a également publié une méthode d’ajustement fin des vecteurs multimodaux, qui présente la génération de données synthétiques, l’extraction de contre-exemples difficiles, l’ajustement fin avec NVIDIA NeMo AutoModel et l’évaluation dans un flux de travail unique. Les équipes peuvent ainsi élaborer des requêtes et des étiquettes de pertinence à partir de leurs propres collections de documents. Pour son propre test de la méthode, NVIDIA a utilisé 8 202 images de graphiques et d’infographies, ainsi que 8 591 requêtes synthétiques générées par Qwen3.8-Flash-Next, portant sur des questions à énumération et à réponse ouverte nécessitant plusieurs images pertinentes. Après une époque d’ajustement fin sur 6 872 requêtes, le score nDCG@10 du modèle 1B BF16 est passé de 37,34 à 44,12 sur 1 719 requêtes synthétiques mises de côté pour l’évaluation, ce que NVIDIA décrit comme un gain relatif de 18 % ; celui du modèle 8B BF16 est passé de 41,44 à 42,75, soit un gain relatif de 3 %.

Architecture et entraînement des modèles

Pour le modèle d’embedding 8B, NVIDIA s’est appuyé sur Ministral-3-8B-Instruct et a initialisé le composant linguistique à partir de Nemotron-3-Embed-8B-BF16, puis a appliqué un apprentissage contrastif sur des corpus d’images et de textes afin de produire des représentations multimodales pour la recherche d’informations. Les modèles 1B ont été distillés à partir du modèle 8B, au moyen de fonctions de perte fondées sur la similarité cosinus et l’erreur quadratique moyenne, qui alignaient les embeddings de l’étudiant sur ceux de l’enseignant ; leur composant linguistique a été initialisé à partir de Nemotron-3-Embed-1B-BF16. Comme le composant linguistique reste figé pendant l’entraînement des embeddings, NVIDIA indique que les embeddings exclusivement textuels devraient correspondre à ceux des modèles Nemotron 3 Embed correspondants, ce qui permet de réutiliser les embeddings textuels et les index vectoriels existants.

Nemotron 3.5 Rerank partage l’architecture de base du modèle d’embedding 8B, mais fonctionne comme un cross-encodeur : il encode conjointement chaque paire requête-document au lieu d’encoder séparément les requêtes et les documents pour calculer leur similarité. Une tête de notation fondée sur un perceptron multicouche produit ensuite un logit scalaire de pertinence. Tous les modèles ont été entraînés sur un mélange de données multilingues et multimodales accessibles au public et de données synthétiques ; les poids finaux publiés ont été obtenus par assemblage de points de contrôle. NVIDIA précise que des informations supplémentaires sur les données d’entraînement figurent dans la fiche du modèle sur Hugging Face.

Nemotron 3.5 Parse

Nemotron 3.5 Parse convertit les images de documents en texte lisible par machine tout en préservant la structure qui donne son sens au contenu. Le modèle détecte les éléments du document, leur position et l’ordre de lecture, puis restitue les tableaux et les graphiques sous forme de Markdown, de tableaux HTML et de blocs structurés que les développeurs peuvent indexer, rechercher et traiter en aval. NVIDIA indique que Parse obtient un score de 75.20 à ParseBench, à une vitesse de 10.5 pages par seconde sur un seul NVIDIA H100, ce qui le place en tête des modèles de moins de 1 milliard de paramètres au 20 octobre 2026. ParseBench évalue l’extraction de tableaux et de graphiques, la fidélité du contenu, le formatage sémantique et l’ancrage visuel.

Trois modes d’inférence permettent aux développeurs de trouver un compromis entre débit et précision avec le même modèle. En un seul passage, le modèle lit chaque page une fois et obtient 72.74, à une vitesse de 16.1 pages par seconde. En deux passages, il réexamine les tableaux et les graphiques signalés lors de l’analyse initiale de la page, pour atteindre 74.92 à 11.2 pages par seconde. En trois passages, il ajoute une étape de détection qui repère d’autres zones à affiner, pour atteindre 75.20 à 10.5 pages par seconde. NVIDIA décrit ces trois points de fonctionnement comme optimaux au sens de Pareto dans sa comparaison, car aucune des autres configurations comparées n’améliore simultanément la précision et le débit.

Les données d’entraînement de Parse couvraient des documents d’entreprise, des articles scientifiques, des formulaires, des tableaux, des graphiques et des textes multilingues ; un moteur de données synthétiques a élargi cet ensemble. NVIDIA fait état de performances élevées dans des évaluations couvrant 163 combinaisons de langues et de systèmes d’écriture. Pour le post-entraînement, NVIDIA a appliqué l’optimisation de politique relative au groupe (Group Relative Policy Optimization), avec des récompenses personnalisées pour les structures correctes et des pénalités en cas d’échec. Selon l’entreprise, cette méthode a réduit les boucles de génération répétitives et les blocs non fermés, rendu les tableaux plus cohérents et amélioré le respect des schémas de graphiques. NVIDIA a également remercié LightOn, précisant que les techniques open source partagées avaient joué un rôle déterminant dans l’amélioration du modèle.

Évaluations des partenaires et disponibilité

L’annonce présente les premières évaluations de partenaires entreprises. Selon l’article, pour Elastic, l’API d’inférence d’Elasticsearch expose les modèles d’embedding et de reclassement Nemotron Retriever par l’intermédiaire des points de terminaison d’inférence de NVIDIA. L’ajout de Nemotron 3 via Elastic Inference Service est prévu prochainement, tandis que la prise en charge du déploiement sur site figure sur la feuille de route. Vectorize a testé Nemotron 3.5 Embed dans Hindsight Agent Memory et, selon l’article, le modèle s’est classé premier sur deux bancs d’essai de mémoire à longue conversation, avec un rappel@10 de 93.8 % sur LoCoMo et de 65.9 % sur BEAM 100K, face à sept modèles d’embedding concurrents, ainsi qu’avec les meilleurs résultats en MRR et en rappel@5. L’évaluation de Perplexity a placé Nemotron 3.5 Rerank 8B en tête du score moyen sur le banc d’essai privé de reclassement de Perplexity, qui comprend 72 tâches ; de bons résultats ont été signalés dans les six domaines. Turbopuffer, qui a testé le modèle d’embedding 8B sur un banc d’essai de recherche dans des PDF d’entreprise, indique qu’il fournit environ 5 % de résultats plus pertinents en Recall@20 que le modèle suivant, et propose désormais les modèles comme option native d’embedding.

Les poids, les données et les recettes d’entraînement ouverts sont disponibles sur Hugging Face. Le déploiement en production est possible via NVIDIA NIM et des partenaires spécialisés dans le cloud et l’inférence pour l’IA : Baseten, DeepInfra et FriendliAI. Des recettes d’ajustement fin pour l’embedding et le reclassement sont publiées dans le dépôt GitHub NVIDIA NeMo Nemotron.