NVIDIA lancerer åbne Nemotron 3.5-modeller til indlejring, omrangering og parsing

Den 21. oktober 2026 udvidede NVIDIA sin Nemotron Retriever-serie med nye åbne modeller, der kan anvendes kommercielt, til indlejring, omrangering og dokumentudtræk: Nemotron 3.5 Embed i varianterne 8B BF16, 1B BF16 og 1B NVFP4, Nemotron 3.5 Rerank 8B BF16 samt Nemotron 3.5 Parse med 631 millioner parametre.

I en meddelelse skrevet af NVIDIA og offentliggjort på Hugging Face oplyste virksomheden, at udgivelsen er rettet mod virksomheders agentbaserede arbejdsgange og tilføjer funktioner til multimodal informationssøgning, relevansrangering og dokumentbehandling. NVIDIA fremhævede kvaliteten af informationssøgningen som en faktor, der påvirker både svarene fra en agent og omkostningerne til LLM-inferens for en opgave. Virksomheden forklarede, at når søgeresultaterne indeholder ufuldstændig eller irrelevant dokumentation, foretager agenterne flere søgninger og gennemgår flere dokumenter, hvilket bruger yderligere inferenstokens, før opgaven er fuldført.

De fire Embed- og Rerank-varianter dækker forskellige anvendelser. Nemotron 3.5 Embed 8B BF16 er målrettet søgning af høj kvalitet i tekst og visuelt indholdsrige dokumenter. 1B BF16-modellen samler 8B-modellens multimodale informationssøgning i en mindre model, der kan bruges til multimodal indeksering og håndtering af forespørgsler. 1B NVFP4-modellen anvender NVFP4-kvantisering på både tekst- og billedkoderen og er målrettet indeksering af store dokumentmængder og informationssøgning med høj gennemstrømning på understøttet hardware. Nemotron 3.5 Rerank 8B BF16 scorer forespørgsels- og dokumentpar samlet for at forbedre relevansrækkefølgen blandt tekst- og billedkandidater og udvælge dokumentation til retrieval-augmented generation og agentbaserede arbejdsgange. Informationssøgningen omfatter både dokumenttekst og billeder som tabeller, diagrammer, infografikker, dataark og skematiske tegninger. NVIDIA evaluerede tekstsøgning på 34 sprog og flersproget visuel søgning på MIRACL Vision, der omfatter 18 sprog, samt KoViDoRe. Virksomheden bemærkede, at modellerne muligvis kan håndtere flere sprog end dem, der blev testet.

Eksperimenter med agentbaseret informationssøgning

For at måle, hvordan informationssøgning påvirker agenters adfærd, evaluerede NVIDIA Nemotron 3.5 Embed og Rerank på ViDoRe v3, BRIGHT og BrowseComp-Plus. ViDoRe v3 bruger kombinerede tekst- og billedinput, mens BRIGHT og BrowseComp-Plus kun bruger tekstinput. I den afprøvede arbejdsgang søger en agent i et korpus ved hjælp af et søgeværktøj, gennemgår den returnerede dokumentation og tilpasser sine efterfølgende forespørgsler. I testopsætningen blev søgeværktøjets implementering udskiftet på tværs af opsætninger med kun indlejring og opsætninger med indlejring plus omrangering, hvor forskellige modeller blev anvendt. Agentens LLM, værktøjer, opgavesæt, korpus og udførelsespolitik forblev uændrede. Evalueringen målte, om agenten fandt de relevante oplysninger til hver opgave, samt det samlede antal inferenstokens for agenten pr. opgave på tværs af alle ture, inklusive både input- og outputtokens.

Ifølge NVIDIA reducerede indsættelse af Nemotron 3.5 Rerank i arbejdsgangen tokenomkostningen for agentbaseret søgning pr. forespørgsel med cirka 14 % sammen med 8B-indlejringsmodellen og 13 % sammen med 1B-modellen, samtidig med at søgenøjagtigheden blev forbedret i begge opsætninger. Sammen med 8B-indlejringsmodellen opnåede omrangeringen cirka 0,9 nDCG@10-point mere end Qwen3-VL-Reranker-8B ved en sammenlignelig tokenomkostning for agentbaseret søgning, oplyser NVIDIA.

Resultater på ranglister

På ViDoRe v3.1 opnåede Nemotron 3.5 Embed 8B BF16 en nDCG@10-score på 61,17 ifølge NVIDIA, hvilket placerede modellen øverst blandt modeller til tæt informationssøgning pr. 20. oktober 2026. Virksomheden beskriver resultatet som en forbedring på 8,94 point i forhold til scoren på 52,23 for dens Llama Nemotron Embed VL 1B-model. Den destillerede 1B BF16-model opnåede en nDCG@10-score på 58,38, svarende til 95,4 % af 8B-lærerens score ifølge NVIDIA. På MIRACL Vision opnåede 8B-modellen en nDCG@10-score på 72,6, hvilket var 4,3 point højere end Qwen3-VL-Embedding-8B. NVIDIA oplyser desuden, at begge indlejringsmodeller slog Qwen-basismodellerne på KoViDoRe med kombinerede billed- og tekstinput.

NVIDIA lancerer sammen med MTEB-teamet en rangliste over omrangering på ViDoRe v3.1, der omfatter input med kun billeder, kun tekst og kombinerede billeder og tekst. NVIDIA oplyser, at omrangeringen opnåede en nDCG@10-score på 60,49 med kombinerede input mod 59,17 for Qwen3-VL-Reranker-8B, hvilket placerede den øverst på ranglisten pr. 20. oktober 2026.

Gennemstrømning og domænetilpasning

Til produktionsbrug oplyser NVIDIA, at NVFP4-varianten leverer 27,1 % højere gennemstrømning end 1B BF16-modellen på NVIDIA GB200: 128,8 dokumenter i sekundet mod 101,3. Samtidig bevarer den 99,85 % af BF16-modellens søgenøjagtighed på ViDoRe v3 med kombinerede billed- og tekstinput. I virksomhedens test på en RTX PRO 6000 Blackwell Server Edition håndterede NVIDIA NIM 6.031 forespørgsler i sekundet, cirka 2,9 gange så mange som de 2.099 forespørgsler i sekundet i en tilsvarende vLLM-konfiguration. Gennemstrømningen ved behandling af passager beskrives som sammenlignelig.

NVIDIA offentliggjorde også en opskrift på finjustering af multimodale indlejringsmodeller, der gennemgår generering af syntetiske data, udvælgelse af svære negative eksempler, finjustering med NVIDIA NeMo AutoModel og evaluering som én samlet arbejdsgang. Dermed kan teams opbygge forespørgsler og relevansmærkater ud fra deres egne dokumentsamlinger. I NVIDIAs egen test af opskriften indgik 8.202 billeder af diagrammer og infografikker samt 8.591 syntetiske forespørgsler genereret af Qwen3.8-Flash-Next. Testen fokuserede på forespørgsler, der kræver opremsning, og åbne forespørgsler med flere relevante billeder. Efter én epoke med finjustering på 6.872 forespørgsler steg 1B BF16-modellens nDCG@10-score fra 37,34 til 44,12 på 1.719 syntetiske forespørgsler, der var holdt uden for træningen. NVIDIA beskriver dette som en relativ forbedring på 18 %. 8B BF16-modellens score steg fra 41,44 til 42,75, en relativ forbedring på 3 %.

Modelarkitektur og træning

Til 8B-indlejringsmodellen tog NVIDIA udgangspunkt i Ministral-3-8B-Instruct og initialiserede sprogkomponenten med Nemotron-3-Embed-8B-BF16. Derefter anvendte virksomheden kontrastiv læring på billed- og tekstkorpora for at skabe multimodale repræsentationer til informationssøgning. 1B-modellerne blev destilleret fra 8B-modellen ved hjælp af cosinus- og middelkvadratfejltab, der tilpassede elevmodellens indlejringer til lærerens, og deres sprogkomponent blev initialiseret med Nemotron-3-Embed-1B-BF16. Da sprogkomponenten forbliver fastfrosset under træningen af indlejringerne, bør tekstbaserede indlejringer ifølge NVIDIA svare til dem i de tilsvarende Nemotron 3 Embed-modeller, så eksisterende tekstindlejringer og vektorindeks kan videreføres.

Nemotron 3.5 Rerank deler grundarkitektur med 8B-indlejringsmodellen, men fungerer som en krydsencoder, der koder hvert forespørgsels-dokument-par samlet i stedet for at indlejre forespørgsler og dokumenter hver for sig for at beregne lighedsscorer. Derefter leverer et scoringshoved med et flerlagsperceptron et skalarlogit for relevans. Alle modellerne blev trænet på en blanding af offentligt tilgængelige og syntetiske, flersprogede og multimodale data, og de endelige vægte blev fremstillet ved hjælp af en sammenstilling af checkpoints. NVIDIA oplyser, at yderligere oplysninger om træningsdataene findes på hver models Hugging Face-modelkort.

Nemotron 3.5 Parse

Nemotron 3.5 Parse omdanner dokumentbilleder til maskinlæsbar tekst, samtidig med at den struktur, der giver indholdet mening, bevares. Modellen registrerer dokumentelementer, deres placering og læserækkefølge og gengiver derefter tabeller og diagrammer som Markdown, HTML-tabeller og strukturerede blokke, som udviklere kan indeksere, søge i og behandle efterfølgende. NVIDIA oplyser, at Parse opnåede en ParseBench-score på 75,20 ved 10,5 sider i sekundet på en enkelt NVIDIA H100, hvilket placerede modellen øverst blandt modeller med under 1 milliard parametre pr. 20. oktober 2026. ParseBench tester udtræk af tabeller og diagrammer, indholdstrofasthed, semantisk formatering og visuel forankring.

Tre inferenstilstande lader udviklere afveje gennemløb mod nøjagtighed med den samme model. Ved én gennemgang læses hver side én gang, og modellen opnår 72,74 ved 16,1 sider i sekundet. Ved to gennemgange genbesøges tabeller og diagrammer, der blev markeret under den indledende sideanalyse, og resultatet bliver 74,92 ved 11,2 sider i sekundet. En tredje gennemgang tilføjer et registreringstrin, der finder yderligere områder, som kan forfines, og resultatet bliver 75,20 ved 10,5 sider i sekundet. NVIDIA beskriver alle tre driftspunkter som Pareto-optimale i sin sammenligning, eftersom ingen af de øvrige sammenlignede konfigurationer forbedrer både nøjagtighed og gennemløb på samme tid.

Træningsdataene til Parse omfattede virksomhedsdokumenter, videnskabelige artikler, formularer, tabeller, diagrammer og flersproget tekst og blev udvidet med en syntetisk datamotor. NVIDIA oplyser, at modellen klarer sig godt på tværs af evalueringer, der omfatter 163 kombinationer af sprog og skriftsystemer. Til eftertræningen anvendte NVIDIA Group Relative Policy Optimization med specialtilpassede belønninger for korrekt struktur og straf for fejl. Ifølge virksomheden reducerede dette gentagne genereringssløjfer og uafsluttede blokke, gjorde tabeller mere ensartede og forbedrede overholdelsen af diagrammers skemaer. NVIDIA takkede også LightOn og sagde, at de delte open source-metoder var afgørende for at forbedre modellen.

Partnernes evalueringer og tilgængelighed

Meddelelsen indeholder tidlige evalueringer fra virksomhedspartnere. Ifølge indlægget gør Inferens-API’en i Elasticsearch Nemotron Retriever-indlejrings- og omrangeringsmodeller tilgængelige via NVIDIAs inferensendepunkter. Nemotron 3 føjes snart til via Elastic Inference Service, og understøttelse af lokal implementering er på køreplanen. Vectorize testede Nemotron 3.5 Embed i sin Hindsight Agent Memory, og ifølge indlægget indtog modellen førstepladsen på to benchmarks for hukommelse af lange samtaler med en recall@10 på 93,8 % på LoCoMo og 65,9 % på BEAM 100K over for syv konkurrerende indlejringsmodeller samt den højeste MRR og recall@5. Perplexitys evaluering placerede Nemotron 3.5 Rerank 8B øverst målt på gennemsnitsscore i Perplexitys private benchmark med 72 omrangeringsopgaver, og der blev rapporteret stærke resultater inden for alle seks domæner. Turbopuffer, der testede 8B-indlejringsmodellen på et benchmark for søgning i virksomheds-PDF’er, rapporterer omkring 5 % flere relevante resultater ved Recall@20 end den næstbedste model og tilbyder nu modellerne som en indbygget indlejringsmulighed.

Åbne vægte, data og træningsopskrifter er tilgængelige på Hugging Face, og produktionsimplementering kan ske via NVIDIA NIM og AI-cloud- og inferenspartnerne Baseten, DeepInfra og FriendliAI. Opskrifter til finjustering af indlejrings- og omrangeringsmodeller er udgivet i NVIDIA NeMo Nemotron GitHub-arkivet.