NVIDIA lanserer åpne Nemotron 3.5-modeller for embedding, omrangering og parsing

21. oktober 2026 utvidet NVIDIA Nemotron Retriever-serien med nye åpne modeller som er tilgjengelige for kommersiell bruk, for embedding, omrangering og dokumentuttrekk: Nemotron 3.5 Embed i variantene 8B BF16, 1B BF16 og 1B NVFP4, Nemotron 3.5 Rerank 8B BF16 og Nemotron 3.5 Parse med 631 millioner parametere.

I en kunngjøring skrevet av NVIDIA og publisert på Hugging Face sa selskapet at lanseringen er rettet mot agentarbeidsflyter i bedrifter, med nye funksjoner for multimodal gjenfinning, relevansrangering og dokumentbehandling. NVIDIA beskrev kvaliteten på gjenfinningen som en faktor både for svarene en agent gir, og for LLM-inferenskostnaden for en oppgave. Selskapet påpekte at når dokumentasjonen som hentes, er ufullstendig eller irrelevant, gjennomfører agentene flere søk og går gjennom flere dokumenter, noe som fører til at de bruker flere inferenstoken før de er ferdige.

De fire Embed- og Rerank-variantene dekker ulike bruksområder for utrulling. Nemotron 3.5 Embed 8B BF16 er beregnet på søk der kvaliteten står i sentrum, på tvers av tekst og visuelt innholdsrike dokumenter. 1B BF16-modellen samler den multimodale gjenfinningen fra 8B-modellen i en mindre modell, for multimodal indeksering og søk. 1B NVFP4-modellen bruker NVFP4-kvantisering på både tekst- og bildekoderne og er rettet mot storskala indeksering av dokumenter og gjenfinning med høy gjennomstrømning på støttet maskinvare. Nemotron 3.5 Rerank 8B BF16 vurderer søk–dokument-par samlet for å forbedre relevansrekkefølgen blant tekst- og bildekandidater, og velger ut dokumentasjon for gjenfinningstilpasset generering og agentbaserte arbeidsflyter. Gjenfinningen omfatter både dokumenttekst og bilder, som tabeller, diagrammer, infografikk, datablad og skjematiske tegninger. NVIDIA evaluerte tekstgjenfinning på 34 språk og flerspråklig visuell gjenfinning på MIRACL Vision, som omfatter 18 språk, og KoViDoRe. Selskapet bemerket at modellene kan håndtere flere språk enn dem som ble testet.

Eksperimenter med agentbasert gjenfinning

For å måle hvordan gjenfinning påvirker agentatferd evaluerte NVIDIA Nemotron 3.5 Embed og Rerank på ViDoRe v3, BRIGHT og BrowseComp-Plus. ViDoRe v3 bruker kombinerte tekst- og bildeinndata, mens BRIGHT og BrowseComp-Plus bare bruker tekstinndata. I den testede arbeidsflyten søker en agent i et korpus med et søkeverktøy, går gjennom dokumentasjonen som returneres, og tilpasser de neste søkene sine. I testmatrisen ble implementeringen av søkeverktøyet byttet ut mellom oppsett med bare embedding og oppsett med embedding og omrangering, med ulike modeller, mens agentens LLM, verktøy, oppgavesett, korpus og kjøringspolicy forble uendret. Evalueringen målte om agenten fant den relevante informasjonen for hver oppgave, samt det samlede antallet inferenstoken for agenten per oppgave gjennom alle turene, inkludert både inndata- og utdata-token.

Ifølge NVIDIA reduserte Nemotron 3.5 Rerank agentens tokenkostnad per søk med omtrent 14 % når den ble lagt til i arbeidsflyten sammen med 8B-embeddingmodellen, og med 13 % sammen med 1B-modellen. Samtidig ble gjenfinningsnøyaktigheten bedre i begge oppsettene. Sammen med 8B-embeddingmodellen oppnådde omrangeren omtrent 0,9 nDCG@10-poeng mer enn Qwen3-VL-Reranker-8B ved en sammenlignbar tokenkostnad for agenten, ifølge NVIDIA.

Resultater på topplistene

På ViDoRe v3.1 oppnådde Nemotron 3.5 Embed 8B BF16 en nDCG@10 på 61,17, ifølge NVIDIA. Det plasserte modellen øverst blant modeller for tett gjenfinning per 20. oktober 2026. Selskapet beskriver resultatet som en forbedring på 8,94 poeng sammenlignet med resultatet på 52,23 for selskapets Llama Nemotron Embed VL 1B-modell. Den destillerte 1B BF16-modellen oppnådde en nDCG@10 på 58,38, tilsvarende 95,4 % av resultatet til 8B-lærermodellen, ifølge NVIDIA. På MIRACL Vision oppnådde 8B-modellen en nDCG@10 på 72,6, som var 4,3 poeng høyere enn Qwen3-VL-Embedding-8B. NVIDIA opplyser også at begge embeddingstørrelsene slo Qwen-basismodellene på KoViDoRe med kombinerte bilde- og tekstinndata.

NVIDIA lanserer sammen med MTEB-teamet en toppliste for omrangering på ViDoRe v3.1, som dekker bare bildeinndata, bare tekstinndata og kombinerte bilde- og tekstinndata. NVIDIA opplyser at omrangeren oppnådde en nDCG@10 på 60,49 med kombinerte inndata, mot 59,17 for Qwen3-VL-Reranker-8B, og dermed toppet topplisten per 20. oktober 2026.

Gjennomstrømning og domenespesifikk finjustering

For produksjonsutrulling oppgir NVIDIA at NVFP4-varianten gir 27,1 % høyere gjennomstrømning enn 1B BF16-modellen på NVIDIA GB200: 128,8 dokumenter per sekund mot 101,3. Samtidig beholder den 99,85 % av BF16-modellens gjenfinningsnøyaktighet på ViDoRe v3 med kombinerte bilde- og tekstinndata. I selskapets testing på en RTX PRO 6000 Blackwell Server Edition behandlet NVIDIA NIM 6 031 søk per sekund, omtrent 2,9 ganger så mange som de 2 099 søkene per sekund i et sammenlignbart vLLM-oppsett. Gjennomstrømningen for behandling av tekstpassasjer ble beskrevet som sammenlignbar.

NVIDIA publiserte også en oppskrift på finjustering av multimodale embeddings. Den beskriver generering av syntetiske data, utvelgelse av vanskelige negative eksempler, finjustering med NVIDIA NeMo AutoModel og evaluering som én samlet arbeidsflyt, slik at team kan lage søk og relevansetiketter fra sine egne dokumentsamlinger. I NVIDIAs egen testing av oppskriften ble det brukt 8 202 diagrammer og infografikkbilder, med 8 591 syntetiske søk generert av Qwen3.8-Flash-Next. Disse var rettet mot oppregnende og åpne søk med flere relevante bilder. Etter én epoke med finjustering på 6 872 søk steg nDCG@10 for 1B BF16-modellen fra 37,34 til 44,12 på 1 719 syntetiske søk som var holdt utenfor treningen. NVIDIA beskriver dette som en relativ forbedring på 18 %. Resultatet for 8B BF16-modellen økte fra 41,44 til 42,75, en relativ forbedring på 3 %.

Modellarkitektur og trening

For 8B-embeddingmodellen bygget NVIDIA videre på Ministral-3-8B-Instruct og initialiserte språkkomponenten fra Nemotron-3-Embed-8B-BF16. Deretter brukte de kontrastiv læring på bilde- og tekstkorpuser for å lage multimodale representasjoner for gjenfinning. 1B-modellene ble destillert fra 8B-modellen ved hjelp av cosinus- og gjennomsnittlig kvadratfeil-tap som tilpasset studentmodellens embeddinger til lærerens, og språkkomponenten deres ble initialisert fra Nemotron-3-Embed-1B-BF16. Siden språkkomponenten holdes frosset under treningen av embeddingene, sier NVIDIA at tekstbaserte embeddinger skal samsvare med embeddingene i de tilsvarende Nemotron 3 Embed-modellene. Dermed kan eksisterende tekstembeddinger og vektorindekser videreføres.

Nemotron 3.5 Rerank har samme grunnarkitektur som 8B-embeddingmodellen, men fungerer som en kryssenkoder som koder hvert spørrings- og dokumentpar samlet, i stedet for å bygge inn spørringer og dokumenter hver for seg for likhetsskåring. Deretter beregner et poenggivende flerlagsperseptron en skalar relevanslogit. Alle modellene ble trent på en blanding av offentlig tilgjengelige og syntetiske flerspråklige, multimodale data, og de endelige vektene ble laget ved å kombinere kontrollpunkter. NVIDIA opplyser at flere detaljer om treningsdataene finnes i modellkortet til hver modell på Hugging Face.

Nemotron 3.5 Parse

Nemotron 3.5 Parse konverterer dokumentbilder til maskinlesbar tekst, samtidig som strukturen som gir innholdet mening, bevares. Modellen oppdager dokumentelementer, plasseringen deres og leserekkefølgen, og gir deretter tabeller og diagrammer som Markdown, HTML-tabeller og strukturerte blokker som utviklere kan indeksere, søke i og behandle videre. NVIDIA oppgir at Parse oppnår en ParseBench-skår på 75,20 med 10,5 sider per sekund på én enkelt NVIDIA H100. Det plasserer modellen på førsteplass blant modeller med under 1 milliard parametere per 20. oktober 2026. ParseBench tester uttrekk av tabeller og diagrammer, innholdstrofasthet, semantisk formatering og visuell forankring.

Tre inferensmoduser lar utviklere avveie gjennomstrømning mot nøyaktighet med samme modell. Én gjennomkjøring leser hver side én gang og oppnår 72,74 med 16,1 sider per sekund. To gjennomkjøringer går på nytt gjennom tabeller og diagrammer som ble flagget under den første sideanalysen, og oppnår 74,92 med 11,2 sider per sekund. Tre gjennomkjøringer legger til et deteksjonstrinn som finner flere områder som kan forbedres, og oppnår 75,20 med 10,5 sider per sekund. NVIDIA beskriver alle de tre driftsinnstillingene som Pareto-optimale i sammenligningen, siden ingen av de andre sammenlignede konfigurasjonene forbedrer nøyaktighet og gjennomstrømning samtidig.

Treningsdataene for Parse omfattet bedriftsdokumenter, vitenskapelige artikler, skjemaer, tabeller, diagrammer og flerspråklig tekst, utvidet med en syntetisk datamotor. NVIDIA rapporterer sterk ytelse på evalueringer som dekker 163 kombinasjoner av språk og skriftsystemer. I ettertreningen brukte NVIDIA Group Relative Policy Optimization med tilpassede belønninger for korrekt struktur og straffer for feil. Ifølge selskapet reduserte dette gjentatte genereringssløyfer og uavsluttede blokker, gjorde tabeller mer konsistente og forbedret etterlevelsen av skjemaer for diagrammer. NVIDIA takket også LightOn og sa at de delte teknikkene med åpen kildekode var avgjørende for å forbedre modellen.

Evalueringer fra partnere og tilgjengelighet

Kunngjøringen inneholder tidlige evalueringer fra bedriftspartnere. Ifølge innlegget gjør Inference API i Elasticsearch Nemotron Retriever-modellene for embedding og rangering tilgjengelige via inferensendepunkter fra NVIDIA. Nemotron 3 skal snart legges til gjennom Elastic Inference Service, og støtte for lokal utrulling står på veikartet. Vectorize testet Nemotron 3.5 Embed i Hindsight Agent Memory, og ifølge innlegget tok modellen førsteplassen på to referansetester for minne i lange samtaler. Den oppnådde 93,8 % recall@10 på LoCoMo og 65,9 % på BEAM 100K, mot sju konkurrerende embeddingmodeller, i tillegg til høyest MRR og recall@5. Perplexitys evaluering viste at Nemotron 3.5 Rerank 8B hadde den høyeste gjennomsnittsskåren på Perplexitys private referansetest for rangering med 72 oppgaver, med sterke resultater på alle de seks fagområdene. Turbopuffer testet 8B-embeddingmodellen på en referansetest for dokumentsøk i bedrifter og rapporterer om lag 5 % flere relevante resultater ved Recall@20 enn den nest beste modellen. Selskapet tilbyr nå modellene som et innebygd embeddingalternativ.

Åpne vekter, data og treningsoppskrifter er tilgjengelige på Hugging Face. Produksjonsutrulling tilbys gjennom NVIDIA NIM og via KI-sky- og inferenspartnerne Baseten, DeepInfra og FriendliAI. Oppskrifter for finjustering av embedding- og rangeringsmodeller er publisert i NVIDIA NeMo Nemotron-repositoriet på GitHub.