NVIDIA lanserar öppna Nemotron 3.5-modeller för inbäddning, omrankning och dokumenttolkning

Den 21 oktober 2026 utökade NVIDIA sin Nemotron Retriever-portfölj med nya öppna modeller som får användas kommersiellt för inbäddning, omrankning och dokumentextraktion: Nemotron 3.5 Embed i varianterna 8B BF16, 1B BF16 och 1B NVFP4, Nemotron 3.5 Rerank 8B BF16 samt Nemotron 3.5 Parse med 631 miljoner parametrar.

I ett tillkännagivande författat av NVIDIA och publicerat på Hugging Face uppgav företaget att lanseringen riktar sig till agentbaserade arbetsflöden i företag och tillför funktioner för multimodal informationshämtning, relevansrankning och dokumenthantering. NVIDIA framhöll att kvaliteten på informationshämtningen påverkar både svaren som en agent ger och kostnaden för LLM-inferens för en uppgift. Företaget uppgav att när den hämtade informationen är ofullständig eller irrelevant gör agenter fler sökningar och granskar fler dokument, vilket förbrukar ytterligare inferenstoken innan de blir klara.

De fyra Embed- och Rerank-varianterna är avsedda för olika typer av driftsättning. Nemotron 3.5 Embed 8B BF16 är utformad för sökningar med höga kvalitetskrav i text och visuellt innehållsrika dokument. 1B BF16-modellen komprimerar 8B-modellens multimodala informationshämtning till ett mindre format för multimodal indexering och hantering av sökfrågor. 1B NVFP4-modellen kvantiserar både text- och bildkodarna med NVFP4 och riktar sig till storskalig dokumentindexering och informationshämtning med hög genomströmning på maskinvara som stöds. Nemotron 3.5 Rerank 8B BF16 poängsätter sökfråge- och dokumentpar gemensamt för att förbättra relevansordningen bland text- och bildkandidater och välja ut underlag för generering med förstärkt informationshämtning och agentbaserade arbetsflöden. Informationshämtningen omfattar både dokumenttext och bilder, till exempel tabeller, diagram, infografik, datablad och scheman. NVIDIA utvärderade textsökning på 34 språk och flerspråkig visuell sökning på MIRACL Vision, som omfattar 18 språk, samt KoViDoRe. Företaget noterade att modellerna kan hantera fler språk än de som testades.

Experiment med agentbaserad informationshämtning

För att mäta hur informationshämtning påverkar agenters beteende utvärderade NVIDIA Nemotron 3.5 Embed och Rerank på ViDoRe v3, BRIGHT och BrowseComp-Plus. ViDoRe v3 använder kombinerade text- och bildindata, medan BRIGHT och BrowseComp-Plus endast använder textindata. I den testade processen söker en agent i en korpus med hjälp av ett sökverktyg, granskar det underlag som verktyget returnerar och anpassar sina efterföljande sökfrågor. I testmatrisen byttes sökverktygets implementation ut mellan olika modeller och konfigurationer med enbart inbäddning respektive inbäddning och omrankning, medan agentens LLM, verktyg, uppsättning uppgifter, korpus och exekveringspolicy förblev desamma. Utvärderingen mätte om agenten hittade relevant information för varje uppgift samt det totala antalet inferenstoken för agenten per uppgift över alla turer, inklusive både indata- och utdatatoken.

Enligt NVIDIA minskade kostnaden i agenttoken per sökning med cirka 14 procent när Nemotron 3.5 Rerank lades till i processen tillsammans med inbäddningsmodellen 8B, och med 13 procent tillsammans med 1B-modellen. Samtidigt förbättrades träffsäkerheten i informationshämtningen i båda konfigurationerna. NVIDIA uppger att omrankningsmodellen, i kombination med inbäddningsmodellen 8B, fick cirka 0,9 nDCG@10-poäng mer än Qwen3-VL-Reranker-8B vid jämförbar kostnad i agenttoken.

Resultat på topplistor

På ViDoRe v3.1 fick Nemotron 3.5 Embed 8B BF16 61,17 nDCG@10, enligt NVIDIA, vilket placerade modellen först bland modeller för tät informationshämtning den 20 oktober 2026. Företaget beskriver resultatet som en förbättring med 8,94 poäng jämfört med resultatet 52,23 för dess Llama Nemotron Embed VL 1B-modell. Den destillerade 1B BF16-modellen fick 58,38 nDCG@10 och nådde enligt NVIDIA 95,4 procent av 8B-lärarmodellens resultat. På MIRACL Vision fick 8B-modellen 72,6 nDCG@10, enligt NVIDIA, vilket är 4,3 poäng mer än Qwen3-VL-Embedding-8B. Företaget uppger också att båda storlekarna på inbäddningsmodellen slog Qwen-baslinjerna på KoViDoRe för kombinerade bild- och textindata.

NVIDIA lanserar tillsammans med MTEB-teamet en topplista för omrankning på ViDoRe v3.1, som omfattar enbart bildindata, enbart textindata och kombinerade bild- och textindata. NVIDIA uppger att omrankningsmodellen fick 60,49 nDCG@10 på kombinerade indata, jämfört med 59,17 för Qwen3-VL-Reranker-8B, och därmed toppade topplistan den 20 oktober 2026.

Genomströmning och finjustering för specifika områden

För produktionsdriftsättning uppger NVIDIA att NVFP4-varianten ger 27,1 procent högre genomströmning än 1B BF16-modellen på NVIDIA GB200 och når 128,8 dokument per sekund jämfört med 101,3. Samtidigt behåller den 99,85 procent av BF16-modellens träffsäkerhet vid informationshämtning på ViDoRe v3 för kombinerade bild- och textindata. I företagets tester på en RTX PRO 6000 Blackwell Server Edition hanterade NVIDIA NIM 6 031 sökfrågor per sekund, cirka 2,9 gånger fler än de 2 099 sökfrågorna per sekund som en jämförbar vLLM-konfiguration hanterade. Genomströmningen vid bearbetning av textpassager beskrivs som jämförbar.

NVIDIA publicerade också en metod för finjustering av multimodala inbäddningsmodeller, med en genomgång av syntetisk datagenerering, utvinning av svåra negativa exempel, finjustering med NVIDIA NeMo AutoModel och utvärdering som ett sammanhängande arbetsflöde. Med metoden kan team skapa sökfrågor och relevansetiketter utifrån sina egna dokumentsamlingar. I NVIDIAs eget test av metoden användes 8 202 bilder av diagram och infografik samt 8 591 syntetiska sökfrågor genererade av Qwen3.8-Flash-Next. Frågorna var inriktade på uppräkningar och öppna svar och hade flera relevanta bilder. Efter en epok av finjustering på 6 872 sökfrågor ökade 1B BF16-modellens nDCG@10 från 37,34 till 44,12 på 1 719 syntetiska sökfrågor som inte ingick i träningen. NVIDIA beskriver detta som en relativ förbättring på 18 procent. 8B BF16-modellens resultat ökade från 41,44 till 42,75, en relativ förbättring på 3 procent.

Modellarkitektur och träning

För 8B-inbäddningsmodellen utgick NVIDIA från Ministral-3-8B-Instruct och initierade språkkomponenten från Nemotron-3-Embed-8B-BF16. Därefter användes kontrastiv inlärning på bild- och textkorpusar för att skapa multimodala representationer för informationssökning. 1B-modellerna destillerades från 8B-modellen med cosinusförlust och medelkvadratfel som anpassade studentmodellens inbäddningar till lärarmodellens. Deras språkkomponent initierades från Nemotron-3-Embed-1B-BF16. Eftersom språkkomponenten förblir fryst under träningen av inbäddningarna bör textbaserade inbäddningar enligt NVIDIA motsvara dem i de tillhörande Nemotron 3 Embed-modellerna, så befintliga textinbäddningar och vektorindex kan återanvändas.

Nemotron 3.5 Rerank har samma backbone-arkitektur som 8B-inbäddningsmodellen, men fungerar som en korskodare som kodar varje fråge–dokumentpar gemensamt i stället för att bädda in frågor och dokument separat för likhetspoängsättning. Därefter ger ett poängsättningshuvud i form av ett flerskiktsperceptron en skalär relevanslogit. Alla modeller tränades på en blandning av offentligt tillgängliga och syntetiska flerspråkiga, multimodala data. De slutliga vikterna som släpptes skapades genom ensemblning av kontrollpunkter. NVIDIA uppger att mer information om träningsdata finns i modellkorten för respektive modell på Hugging Face.

Nemotron 3.5 Parse

Nemotron 3.5 Parse omvandlar dokumentbilder till maskinläsbar text och bevarar samtidigt den struktur som ger innehållet mening. Modellen identifierar dokumentelement, deras positioner och läsordning och återger sedan tabeller och diagram som Markdown, HTML-tabeller och strukturerade block som utvecklare kan indexera, söka i och bearbeta vidare. NVIDIA rapporterar att Parse fick 75,20 poäng i ParseBench med en hastighet på 10,5 sidor per sekund på en enda NVIDIA H100. Den placerade sig därmed först bland modeller med färre än 1 miljard parametrar den 20 oktober 2026. ParseBench testar extrahering av tabeller och diagram, innehållstrohet, semantisk formatering och visuell förankring.

Tre inferenslägen låter utvecklare väga genomströmning mot noggrannhet med samma modell. Ett enda genomlopp läser varje sida en gång och uppnår 72,74 poäng med en hastighet på 16,1 sidor per sekund. Ett dubbelt genomlopp går igenom tabeller och diagram på nytt om de flaggats vid den första sidtolkningen, och når 74,92 poäng med en hastighet på 11,2 sidor per sekund. Ett tredubbelt genomlopp lägger till ett detekteringssteg som hittar fler områden att förfina, och når 75,20 poäng med en hastighet på 10,5 sidor per sekund. NVIDIA beskriver alla tre driftspunkterna som Paretooptimala i jämförelsen, eftersom ingen av de andra jämförda konfigurationerna förbättrar både noggrannhet och genomströmning samtidigt.

Träningsdata för Parse omfattade företagsdokument, vetenskapliga artiklar, formulär, tabeller, diagram och flerspråkig text, och breddades med hjälp av en motor för syntetiska data. NVIDIA rapporterar starka resultat i utvärderingar som täckte 163 språk- och skriptkombinationer. Vid efterträningen använde NVIDIA Group Relative Policy Optimization med specialanpassade belöningar för korrekt struktur och påföljder för fel. Enligt NVIDIA minskade detta upprepade genereringsloopar och oavslutade block, gjorde tabellerna mer konsekventa och förbättrade följsamheten till diagramscheman. NVIDIA tackade också LightOn och uppgav att de gemensamma teknikerna med öppen källkod var avgörande för att förbättra modellen.

Utvärderingar från partner och tillgänglighet

Tillkännagivandet innehåller tidiga utvärderingar från företagspartner. Enligt inlägget gör Inference API i Elasticsearch Nemotron Retriever-modellerna för inbäddning och omrangordning tillgängliga via NVIDIAs inferensendpunkter. Nemotron 3 ska läggas till via Elastic Inference Service inom kort, och stöd för lokal driftsättning finns med i färdplanen. Vectorize testade Nemotron 3.5 Embed i Hindsight Agent Memory och modellen kom enligt inlägget på första plats i två riktmärken för minne vid långa konversationer. Den uppnådde 93,8 % recall@10 på LoCoMo och 65,9 % på BEAM 100K, före sju konkurrerande inbäddningsmodeller, och hade även högst MRR och recall@5. Perplexitys utvärdering placerade Nemotron 3.5 Rerank 8B högst i genomsnitt i Perplexitys privata riktmärke för omrangordning med 72 uppgifter, med starka resultat inom samtliga sex domäner. Turbopuffer, som testade 8B-inbäddningsmodellen med ett riktmärke för sökning i företags-PDF:er, rapporterar cirka 5 % fler relevanta resultat vid Recall@20 än den näst bästa modellen och erbjuder nu modellerna som ett inbyggt alternativ för inbäddning.

Öppna vikter, data och träningsrecept finns på Hugging Face. Produktionsdriftsättning erbjuds via NVIDIA NIM och genom AI-moln- och inferenspartnerna Baseten, DeepInfra och FriendliAI. Recept för finjustering av inbäddnings- och omrangordningsmodeller finns publicerade i NVIDIA NeMo Nemotron GitHub-arkivet.