NVIDIA stellt offene Nemotron-3.5-Modelle für Einbettung, Neusortierung nach Relevanz und Parsing vor

NVIDIA erweiterte am 21. Oktober 2026 seine Nemotron-Retriever-Produktfamilie um neue offene, kommerziell verfügbare Modelle für Einbettung, Neusortierung nach Relevanz und Dokumentenextraktion: Nemotron 3.5 Embed in den Varianten 8B BF16, 1B BF16 und 1B NVFP4, Nemotron 3.5 Rerank 8B BF16 sowie Nemotron 3.5 Parse mit 631 Millionen Parametern.

In einer von NVIDIA verfassten und auf Hugging Face veröffentlichten Ankündigung erklärte das Unternehmen, die Veröffentlichung richte sich an agentenbasierte Unternehmensabläufe und erweitere deren Fähigkeiten um multimodale Informationssuche, Relevanzbewertung und Dokumentenverarbeitung. NVIDIA bezeichnete die Qualität der Informationssuche als einen Faktor sowohl für die Antworten eines Agenten als auch für die Inferenzkosten des LLM bei einer Aufgabe. Wenn die gefundenen Belege unvollständig oder irrelevant seien, führten Agenten weitere Suchvorgänge durch und prüften zusätzliche Dokumente, wodurch vor Abschluss der Aufgabe weitere Inferenz-Token verbraucht würden.

Die vier Embed- und Rerank-Varianten decken unterschiedliche Einsatzbereiche ab. Nemotron 3.5 Embed 8B BF16 ist auf eine hohe Suchqualität in Texten und visuell reichhaltigen Dokumenten ausgelegt. Das 1B-BF16-Modell überführt die multimodale Informationssuche des 8B-Modells in eine kompaktere Form und eignet sich für die multimodale Indexierung und die Verarbeitung von Suchanfragen. Das 1B-NVFP4-Modell wendet die NVFP4-Quantisierung sowohl auf den Text- als auch auf den Bildencoder an und zielt auf die Indexierung umfangreicher Dokumentbestände und eine hohe Abrufleistung auf unterstützter Hardware ab. Nemotron 3.5 Rerank 8B BF16 bewertet Suchanfrage-Dokument-Paare gemeinsam, um die Relevanzreihenfolge von Text- und Bildtreffern zu verbessern und Belege für die Retrieval-Augmented Generation sowie agentenbasierte Abläufe auszuwählen. Die Informationssuche umfasst neben Dokumenttexten auch Bilder wie Tabellen, Diagramme, Infografiken, Datenblätter und Schaubilder. NVIDIA bewertete die Textsuche in 34 Sprachen und die mehrsprachige visuelle Suche anhand von MIRACL Vision, das 18 Sprachen abdeckt, sowie KoViDoRe. Das Unternehmen wies darauf hin, dass die Modelle möglicherweise auch weitere, nicht getestete Sprachen verarbeiten können.

Experimente zur agentenbasierten Informationssuche

Um zu messen, wie sich die Informationssuche auf das Verhalten von Agenten auswirkt, bewertete NVIDIA Nemotron 3.5 Embed und Rerank anhand von ViDoRe v3, BRIGHT und BrowseComp-Plus. ViDoRe v3 verwendet kombinierte Text- und Bildeingaben, während BRIGHT und BrowseComp-Plus ausschließlich Texteingaben nutzen. In der getesteten Pipeline durchsucht ein Agent mithilfe eines Suchwerkzeugs einen Korpus, prüft die zurückgegebenen Belege und passt seine nächsten Suchanfragen an. In der Testmatrix wurde die Implementierung des Suchwerkzeugs in Konfigurationen mit reiner Einbettung sowie mit Einbettung und anschließender Neusortierung nach Relevanz ausgetauscht, wobei unterschiedliche Modelle zum Einsatz kamen. Das LLM des Agenten, seine Werkzeuge, der Aufgabensatz, der Korpus und die Ausführungsrichtlinie blieben unverändert. Bei der Bewertung wurde erfasst, ob der Agent für jede Aufgabe die relevanten Informationen fand, sowie die Gesamtzahl der Inferenz-Token des Agenten pro Aufgabe über alle Gesprächsrunden hinweg, einschließlich der Eingabe- und Ausgabetoken.

NVIDIA zufolge senkte die Einbindung von Nemotron 3.5 Rerank in die Pipeline die agentenbasierten Tokenkosten pro Suchanfrage zusammen mit dem 8B-Einbettungsmodell um rund 14 % und zusammen mit dem 1B-Modell um 13 %. Zugleich verbesserte sich die Suchgenauigkeit in beiden Konfigurationen. In Kombination mit dem 8B-Einbettungsmodell erzielte das Reranking-Modell laut NVIDIA bei vergleichbaren agentenbasierten Tokenkosten etwa 0,9 Punkte mehr beim nDCG@10 als Qwen3-VL-Reranker-8B.

Ergebnisse der Rangliste

Für ViDoRe v3.1 meldet NVIDIA für Nemotron 3.5 Embed 8B BF16 einen nDCG@10-Wert von 61,17. Damit lag das Modell am 20. Oktober 2026 unter den Modellen für dichte Informationssuche auf dem ersten Platz. Das Unternehmen beziffert die Verbesserung auf 8,94 Punkte gegenüber dem Wert von 52,23, den sein Modell Llama Nemotron Embed VL 1B erzielte. Das destillierte 1B-BF16-Modell erreichte einen nDCG@10-Wert von 58,38 und kam NVIDIA zufolge damit auf 95,4 % des Ergebnisses des 8B-Lehrermodells. Für MIRACL Vision meldet NVIDIA beim 8B-Modell einen nDCG@10-Wert von 72,6 und damit 4,3 Punkte mehr als bei Qwen3-VL-Embedding-8B. Außerdem erklärt das Unternehmen, dass beide Einbettungsmodellgrößen die Qwen-Baselines bei KoViDoRe mit kombinierten Bild- und Texteingaben übertrafen.

NVIDIA startet gemeinsam mit dem MTEB-Team eine Rangliste für das Reranking auf ViDoRe v3.1, die ausschließlich Bildeingaben, ausschließlich Texteingaben sowie kombinierte Bild- und Texteingaben abdeckt. NVIDIA zufolge erzielte das Reranking-Modell bei kombinierten Eingaben einen nDCG@10-Wert von 60,49 gegenüber 59,17 für Qwen3-VL-Reranker-8B und lag damit am 20. Oktober 2026 an der Spitze dieser Rangliste.

Durchsatz und domänenspezifische Feinabstimmung

Für den Produktiveinsatz meldet NVIDIA, dass die NVFP4-Variante auf NVIDIA GB200 einen um 27,1 % höheren Durchsatz als das 1B-BF16-Modell erreicht: 128,8 statt 101,3 Dokumente pro Sekunde. Bei kombinierten Bild- und Texteingaben behält sie auf ViDoRe v3 zugleich 99,85 % der Suchgenauigkeit des BF16-Modells bei. Bei Tests des Unternehmens auf einer RTX PRO 6000 Blackwell Server Edition verarbeitete NVIDIA NIM 6.031 Suchanfragen pro Sekunde – etwa das 2,9-Fache der 2.099 Anfragen pro Sekunde einer vergleichbaren vLLM-Konfiguration. Der Durchsatz bei der Verarbeitung von Textpassagen sei vergleichbar gewesen.

NVIDIA veröffentlichte außerdem ein Rezept zur Feinabstimmung multimodaler Einbettungsmodelle. Es führt die Generierung synthetischer Daten, das Hard-Negative-Mining, die Feinabstimmung mit NVIDIA NeMo AutoModel und die Bewertung als durchgängigen Arbeitsablauf zusammen. So können Teams anhand ihrer eigenen Dokumentensammlungen Suchanfragen und Relevanzkennzeichnungen erstellen. Für den eigenen Test des Rezepts verwendete NVIDIA 8.202 Diagramm- und Infografikbilder sowie 8.591 synthetische Suchanfragen, die von Qwen3.8-Flash-Next generiert wurden. Im Mittelpunkt standen aufzählende und offene Suchanfragen mit mehreren relevanten Bildern. Nach einer Epoche Feinabstimmung mit 6.872 Suchanfragen stieg der nDCG@10-Wert des 1B-BF16-Modells bei 1.719 zurückgehaltenen synthetischen Suchanfragen von 37,34 auf 44,12. NVIDIA bezeichnet dies als relativen Zuwachs von 18 %. Beim 8B-BF16-Modell stieg der Wert von 41,44 auf 42,75, ein relativer Zuwachs von 3 %.

Modellarchitektur und Training

Beim 8B-Einbettungsmodell baute NVIDIA auf Ministral-3-8B-Instruct auf und initialisierte die Sprachkomponente mit Nemotron-3-Embed-8B-BF16. Anschließend kam kontrastives Lernen mit Bild- und Textkorpora zum Einsatz, um multimodale Repräsentationen für den Information-Retrieval-Einsatz zu erzeugen. Die 1B-Modelle wurden aus dem 8B-Modell destilliert. Dabei glichen Kosinus- und mittlere quadratische Fehlerverluste die Einbettungen des Studenten an die des Lehrermodells an. Ihre Sprachkomponente wurde mit Nemotron-3-Embed-1B-BF16 initialisiert. Da die Sprachkomponente während des Einbettungstrainings eingefroren bleibt, sollten reine Texteibettungen laut NVIDIA denen der entsprechenden Nemotron 3 Embed-Modelle entsprechen. Bestehende Texteibettungen und Vektorindizes können daher weiterverwendet werden.

Nemotron 3.5 Rerank nutzt dieselbe Backbone-Architektur wie das 8B-Einbettungsmodell, arbeitet jedoch als Cross-Encoder: Statt Anfragen und Dokumente getrennt einzubetten, kodiert es jedes Anfrage-Dokument-Paar gemeinsam, um Ähnlichkeitswerte zu berechnen. Anschließend gibt ein Scoring-Kopf aus einem mehrschichtigen Perzeptron einen skalaren Relevanz-Logit aus. Alle Modelle wurden mit einer Mischung aus öffentlich verfügbaren und synthetischen mehrsprachigen, multimodalen Daten trainiert. Die endgültig veröffentlichten Gewichte wurden durch Checkpoint-Ensembling erzeugt. Weitere Einzelheiten zu den Trainingsdaten finden sich laut NVIDIA in der jeweiligen Modellkarte auf Hugging Face.

Nemotron 3.5 Parse

Nemotron 3.5 Parse wandelt Dokumentbilder in maschinenlesbaren Text um und bewahrt dabei die Struktur, die dem Inhalt seine Bedeutung verleiht. Das Modell erkennt Dokumentelemente, ihre Positionen und die Lesereihenfolge. Anschließend gibt es Tabellen und Diagramme als Markdown, HTML-Tabellen und strukturierte Blöcke aus, die Entwickler nachgelagert indexieren, durchsuchen und verarbeiten können. NVIDIA zufolge erreicht Parse auf ParseBench einen Wert von 75,20 bei 10,5 Seiten pro Sekunde auf einer einzelnen NVIDIA H100. Damit liegt das Modell am 20. Oktober 2026 bei Modellen mit weniger als 1 Milliarde Parametern auf dem ersten Platz. ParseBench prüft die Extraktion von Tabellen und Diagrammen, die Inhaltstreue, die semantische Formatierung und die visuelle Verankerung.

Drei Inferenzmodi ermöglichen es Entwicklern, mit demselben Modell den Durchsatz gegen die Genauigkeit abzuwägen. Bei einem einzelnen Durchlauf wird jede Seite einmal verarbeitet; dabei erzielt das Modell einen Wert von 72,74 bei 16,1 Seiten pro Sekunde. Bei einem doppelten Durchlauf werden Tabellen und Diagramme erneut verarbeitet, die bei der ersten Seitenauswertung markiert wurden. So erreicht das Modell 74,92 bei 11,2 Seiten pro Sekunde. Ein dreifacher Durchlauf fügt einen Erkennungsschritt hinzu, der weitere Bereiche zur Verfeinerung findet. Damit werden 75,20 bei 10,5 Seiten pro Sekunde erzielt. NVIDIA bezeichnet alle drei Betriebspunkte innerhalb des eigenen Vergleichs als Pareto-optimal, da keine der anderen verglichenen Konfigurationen Genauigkeit und Durchsatz gleichzeitig verbessert.

Die Trainingsdaten für Parse umfassten Unternehmensdokumente, wissenschaftliche Arbeiten, Formulare, Tabellen, Diagramme und mehrsprachige Texte. Eine synthetische Datenerzeugungs-Engine erweiterte den Datensatz. NVIDIA berichtet von einer starken Leistung in Auswertungen mit 163 Sprach- und Schriftsystemkombinationen. Für das Post-Training setzte NVIDIA Group Relative Policy Optimization mit eigens entwickelten Belohnungen für eine korrekte Struktur und Strafen für Fehler ein. Laut NVIDIA verringerte dies wiederholte Generierungsschleifen und nicht geschlossene Blöcke, sorgte für konsistentere Tabellen und verbesserte die Einhaltung von Diagrammschemata. NVIDIA dankte außerdem LightOn und erklärte, die gemeinsam genutzten Open-Source-Techniken seien entscheidend für die Verbesserung des Modells gewesen.

Bewertungen von Partnern und Verfügbarkeit

Die Ankündigung enthält erste Bewertungen von Unternehmenspartnern. Laut dem Beitrag stellt die Inference API in Elasticsearch für Elastic die Einbettungs- und Reranking-Modelle von Nemotron Retriever über NVIDIA-Inferenzendpunkte bereit. Nemotron 3 soll demnächst über Elastic Inference Service verfügbar sein; die Unterstützung für eine lokale Bereitstellung steht auf der Roadmap. Vectorize testete Nemotron 3.5 Embed in seiner Hindsight Agent Memory. Dem Beitrag zufolge belegte das Modell bei zwei Benchmarks für das Gedächtnis bei langen Gesprächen den ersten Platz: Es erzielte 93,8 % Recall@10 auf LoCoMo und 65,9 % auf BEAM 100K und lag damit vor sieben konkurrierenden Einbettungsmodellen. Außerdem erreichte es den höchsten MRR-Wert und Recall@5. In der Auswertung von Perplexity erzielte Nemotron 3.5 Rerank 8B den höchsten Durchschnittswert im privaten Reranking-Benchmark von Perplexity mit 72 Aufgaben. Für alle sechs Bereiche wurden starke Ergebnisse gemeldet. Turbopuffer, das das 8B-Einbettungsmodell in einem Benchmark für die Suche in Unternehmens-PDFs testete, berichtet von rund 5 % mehr relevanten Ergebnissen bei Recall@20 als beim nächstbesten Modell. Die Modelle sind dort nun auch als native Einbettungsoption verfügbar.

Offene Gewichte, Daten und Trainingsrezepte sind auf Hugging Face verfügbar. Die Bereitstellung in Produktionsumgebungen ist über NVIDIA NIM sowie über die KI-Cloud- und Inferenzpartner Baseten, DeepInfra und FriendliAI möglich. Rezepte zur Feinabstimmung von Einbettungs- und Reranking-Modellen wurden im NVIDIA NeMo Nemotron GitHub-Repository veröffentlicht.