NVIDIA introduceert open Nemotron 3.5-modellen voor embeddings, reranking en documentparsing

NVIDIA breidde op 21 oktober 2026 zijn Nemotron Retriever-collectie uit met nieuwe open modellen die commercieel beschikbaar zijn voor embeddings, reranking en documentextractie: Nemotron 3.5 Embed in de varianten 8B BF16, 1B BF16 en 1B NVFP4, Nemotron 3.5 Rerank 8B BF16 en Nemotron 3.5 Parse met 631 miljoen parameters.

In een door NVIDIA geschreven aankondiging die op Hugging Face is gepubliceerd, zei het bedrijf dat de release is gericht op agentworkflows voor bedrijven en mogelijkheden toevoegt voor multimodale retrieval, relevantierangschikking en documentverwerking. NVIDIA presenteerde de kwaliteit van retrieval als een factor die zowel van invloed is op de antwoorden van een agent als op de inferentiekosten van het LLM voor een taak. Het bedrijf stelde dat agents meer zoekopdrachten uitvoeren en meer documenten beoordelen wanneer het opgehaalde bewijsmateriaal onvolledig of irrelevant is, waardoor ze extra inferentietokens verbruiken voordat ze klaar zijn.

De vier Embed- en Rerank-varianten zijn bedoeld voor verschillende implementatierollen. Nemotron 3.5 Embed 8B BF16 is gericht op zoekopdrachten waarbij kwaliteit vooropstaat, in tekst en visueel rijke documenten. Het 1B BF16-model biedt de multimodale retrieval van het 8B-model in een kleiner formaat, voor multimodale indexering en het verwerken van zoekopdrachten. Het 1B NVFP4-model past NVFP4-kwantisering toe op zowel de tekst- als de beeldencoders en is bedoeld voor grootschalige documentindexering en retrieval met hoge doorvoersnelheid op ondersteunde hardware. Nemotron 3.5 Rerank 8B BF16 beoordeelt query-documentparen gezamenlijk om de rangschikking op relevantie van tekst- en beeldresultaten te verfijnen en bewijsmateriaal te selecteren voor retrieval-augmented generation en agentworkflows. Retrieval omvat zowel documenttekst als afbeeldingen, zoals tabellen, grafieken, infographics, datasheets en schema’s. NVIDIA heeft tekstuele retrieval geëvalueerd in 34 talen en meertalige visuele retrieval op MIRACL Vision, dat 18 talen omvat, en KoViDoRe. Volgens het bedrijf kunnen de modellen mogelijk ook overweg met andere talen dan de geteste talen.

Experimenten met agentische retrieval

Om te meten hoe retrieval het gedrag van agents beïnvloedt, heeft NVIDIA Nemotron 3.5 Embed en Rerank geëvalueerd op ViDoRe v3, BRIGHT en BrowseComp-Plus. ViDoRe v3 combineert tekst- en beeldinvoer, terwijl BRIGHT en BrowseComp-Plus alleen tekstinvoer gebruiken. In de geteste pipeline doorzoekt een agent een corpus met een zoektool, beoordeelt hij het opgehaalde bewijsmateriaal en past hij zijn volgende zoekopdrachten aan. In de testmatrix werd de implementatie van de zoektool verwisseld tussen configuraties met alleen embeddings en configuraties met embeddings en reranking, waarbij verschillende modellen werden gebruikt. Het LLM van de agent, de tools, de taken, het corpus en het uitvoeringsbeleid bleven daarbij hetzelfde. De evaluatie hield bij of de agent voor elke taak de relevante informatie vond, en registreerde ook het totale aantal inferentietokens van de agent per taak over alle beurten heen, inclusief zowel invoer- als uitvoertokens.

Volgens NVIDIA verlaagde het toevoegen van Nemotron 3.5 Rerank aan de pipeline de kosten in agenttokens per zoekopdracht met ongeveer 14% in combinatie met het 8B-embeddingmodel en met 13% in combinatie met het 1B-model. De retrievalnauwkeurigheid verbeterde in beide configuraties. In combinatie met het 8B-embeddingmodel behaalde de reranker ongeveer 0,9 nDCG@10-punten meer dan Qwen3-VL-Reranker-8B, bij vergelijkbare kosten in agenttokens, aldus NVIDIA.

Resultaten op klassementen

Voor ViDoRe v3.1 rapporteert NVIDIA voor Nemotron 3.5 Embed 8B BF16 een score van 61.17 nDCG@10. Daarmee stond het model op 20 oktober 2026 bovenaan onder de modellen voor dense retrieval. Volgens het bedrijf is dat een verbetering van 8,94 punten ten opzichte van de score van 52.23 van zijn Llama Nemotron Embed VL 1B-model. Het gedistilleerde 1B BF16-model behaalde 58.38 nDCG@10 en kwam volgens NVIDIA daarmee uit op 95,4% van de score van het 8B-teachermodel. Op MIRACL Vision rapporteert NVIDIA voor het 8B-model 72,6 nDCG@10, 4,3 punten meer dan Qwen3-VL-Embedding-8B. Het bedrijf zegt ook dat beide embeddingmodellen op KoViDoRe beter presteerden dan de Qwen-baselines voor gecombineerde beeld- en tekstinvoer.

NVIDIA lanceert samen met het MTEB-team een klassement voor reranking op ViDoRe v3.1, met beeldinvoer, tekstinvoer en gecombineerde beeld- en tekstinvoer. Volgens NVIDIA behaalde de reranker voor gecombineerde invoer een score van 60.49 nDCG@10, tegenover 59.17 voor Qwen3-VL-Reranker-8B. Daarmee stond de reranker op 20 oktober 2026 bovenaan dat klassement.

Doorvoersnelheid en domeinspecifieke finetuning

Voor implementatie in productieomgevingen rapporteert NVIDIA dat de NVFP4-variant op NVIDIA GB200 een 27,1% hogere doorvoersnelheid haalt dan het 1B BF16-model: 128,8 documenten per seconde tegenover 101,3. Daarbij behoudt de variant 99,85% van de retrievalnauwkeurigheid van het BF16-model op ViDoRe v3 met gecombineerde beeld- en tekstinvoer. Bij tests van het bedrijf op een RTX PRO 6000 Blackwell Server Edition verwerkte NVIDIA NIM 6.031 zoekopdrachten per seconde, ongeveer 2,9 keer zoveel als de 2.099 zoekopdrachten per seconde van een vergelijkbare vLLM-configuratie. De doorvoersnelheid voor het verwerken van passages werd als vergelijkbaar omschreven.

NVIDIA publiceerde ook een recept voor het finetunen van multimodale embeddings. Dat beschrijft het genereren van synthetische data, het selecteren van moeilijke negatieve voorbeelden, finetuning met NVIDIA NeMo AutoModel en evaluatie als één workflow, zodat teams zoekopdrachten en relevantielabels kunnen samenstellen op basis van hun eigen documentcollecties. Voor de eigen test met dit recept gebruikte NVIDIA 8.202 afbeeldingen van grafieken en infographics, met 8.591 synthetische zoekopdrachten die waren gegenereerd door Qwen3.8-Flash-Next. Die waren gericht op opsommende en open zoekopdrachten met meerdere relevante afbeeldingen. Na één finetuning-epoch op 6.872 zoekopdrachten steeg de nDCG@10 van het 1B BF16-model van 37.34 naar 44.12 op 1.719 achtergehouden synthetische zoekopdrachten. NVIDIA omschrijft dat als een relatieve winst van 18%. Het 8B BF16-model steeg van 41.44 naar 42.75, een relatieve winst van 3%.

Modelarchitectuur en training

Voor het 8B-embeddingmodel bouwde NVIDIA voort op Ministral-3-8B-Instruct en initialiseerden ze het taalonderdeel met Nemotron-3-Embed-8B-BF16. Vervolgens pasten ze contrastief leren toe op beeld- en tekstcorpora om multimodale representaties voor informatieopvraging te maken. De 1B-modellen werden gedistilleerd uit het 8B-model, met cosine- en mean squared error-verliesfuncties die de embeddings van het studentmodel afstemden op die van het leraarmodel. Het taalonderdeel werd geïnitialiseerd met Nemotron-3-Embed-1B-BF16. Omdat het taalonderdeel tijdens het trainen van de embeddings bevroren blijft, zouden tekstembeddings volgens NVIDIA overeen moeten komen met die van de bijbehorende Nemotron 3 Embed-modellen. Bestaande tekstembeddings en vectorindexen kunnen daardoor worden overgezet.

Nemotron 3.5 Rerank heeft dezelfde backbone-architectuur als het 8B-embeddingmodel, maar werkt als cross-encoder: het codeert elk query-documentpaar gezamenlijk in plaats van queries en documenten afzonderlijk te embedden voor het berekenen van overeenkomstsscores. Vervolgens geeft een scoring head met meerdere lagen een scalaire relevantielogit af. Alle modellen zijn getraind op een combinatie van openbaar beschikbare en synthetische meertalige, multimodale gegevens. De uiteindelijk vrijgegeven gewichten zijn tot stand gekomen door checkpoints te ensemblen. Volgens NVIDIA is meer informatie over de trainingsgegevens te vinden op de Hugging Face-modelkaart van elk model.

Nemotron 3.5 Parse

Nemotron 3.5 Parse zet documentafbeeldingen om in machineleesbare tekst, met behoud van de structuur die betekenis aan de inhoud geeft. Het model detecteert documentelementen, hun posities en de leesvolgorde. Vervolgens geeft het tabellen en grafieken weer als Markdown, HTML-tabellen en gestructureerde blokken die ontwikkelaars kunnen indexeren, doorzoeken en verder verwerken. NVIDIA meldt voor Parse een ParseBench-score van 75.20 bij 10.5 pagina’s per seconde op één NVIDIA H100. Daarmee staat het model per 20 oktober 2026 bovenaan onder de modellen met minder dan 1 miljard parameters. ParseBench test het extraheren van tabellen en grafieken, de getrouwheid aan de inhoud, semantische opmaak en visuele verankering.

Met drie inferentiemodi kunnen ontwikkelaars met hetzelfde model een afweging maken tussen verwerkingscapaciteit en nauwkeurigheid. In één doorgang wordt elke pagina eenmaal gelezen; de score bedraagt 72.74 bij 16.1 pagina’s per seconde. Bij een tweede doorgang worden tabellen en grafieken opnieuw bekeken die tijdens de eerste paginaverwerking zijn gemarkeerd. De score komt dan uit op 74.92 bij 11.2 pagina’s per seconde. Een derde doorgang voegt een detectiestap toe die extra gebieden vindt om nader te verfijnen. De score stijgt daarmee naar 75.20 bij 10.5 pagina’s per seconde. NVIDIA beschouwt alle drie de prestatiepunten binnen zijn vergelijking als Pareto-optimaal, omdat geen van de andere vergeleken configuraties zowel de nauwkeurigheid als de verwerkingscapaciteit tegelijk verbetert.

De trainingsgegevens voor Parse omvatten bedrijfsdocumenten, wetenschappelijke artikelen, formulieren, tabellen, grafieken en meertalige tekst. Een engine voor synthetische gegevens zorgde voor een bredere dataset. NVIDIA meldt sterke prestaties bij evaluaties met 163 combinaties van talen en schriftsystemen. Voor de training na de voortraining paste NVIDIA Group Relative Policy Optimization toe, met beloningen op maat voor een correcte structuur en strafpunten voor fouten. Volgens NVIDIA verminderde dit repetitieve generatielussen en niet-afgesloten blokken, werden tabellen consistenter en volgde het model schemas voor grafieken beter. NVIDIA bedankte ook LightOn en noemde de gedeelde open-sourcetechnieken doorslaggevend voor de verbetering van het model.

Evaluaties door partners en beschikbaarheid

De aankondiging bevat vroege evaluaties van zakelijke partners. Volgens het bericht biedt de Inference API in Elasticsearch toegang tot de embedding- en rerankingmodellen van Nemotron Retriever via inferentie-eindpunten van NVIDIA. Nemotron 3 wordt binnenkort toegevoegd via Elastic Inference Service; ondersteuning voor implementatie op locatie staat op de roadmap. Vectorize testte Nemotron 3.5 Embed in Hindsight Agent Memory. Volgens het bericht eindigde het model als eerste op twee benchmarks voor geheugen bij lange gesprekken: het behaalde een recall@10 van 93.8% op LoCoMo en 65.9% op BEAM 100K, tegenover zeven concurrerende embeddingmodellen. Ook behaalde het de hoogste MRR en recall@5. Uit de evaluatie van Perplexity bleek dat Nemotron 3.5 Rerank 8B de hoogste gemiddelde score behaalde op Perplexity’s private rerankingbenchmark met 72 taken. Er werden sterke resultaten gemeld op alle zes domeinen. Turbopuffer testte het 8B-embeddingmodel op een benchmark voor het doorzoeken van zakelijke pdf’s en meldt ongeveer 5% meer relevante resultaten bij Recall@20 dan het op één na beste model. De modellen zijn nu ook beschikbaar als ingebouwde embeddingoptie.

De gewichten, gegevens en trainingsrecepten zijn open beschikbaar op Hugging Face. Voor productie-implementatie zijn NVIDIA NIM en de AI-cloud- en inferentiepartners Baseten, DeepInfra en FriendliAI beschikbaar. Recepten voor het finetunen van embedding- en rerankingmodellen zijn gepubliceerd in de GitHub-repository NVIDIA NeMo Nemotron.