NVIDIA představuje otevřené modely Nemotron 3.5 pro tvorbu vektorových reprezentací, přerovnávání podle relevance a parsování

NVIDIA 21. října 2026 rozšířila svou kolekci Nemotron Retriever o nové otevřené modely dostupné pro komerční využití, určené k tvorbě vektorových reprezentací, přerovnávání podle relevance a extrakci informací z dokumentů: Nemotron 3.5 Embed ve variantách 8B BF16, 1B BF16 a 1B NVFP4, Nemotron 3.5 Rerank 8B BF16 a Nemotron 3.5 Parse s 631 miliony parametrů.

V oznámení zveřejněném na Hugging Face, které připravila NVIDIA, společnost uvedla, že novinka je určena pro podnikové agentní workflow a přináší funkce multimodálního vyhledávání, řazení podle relevance a zpracování dokumentů. NVIDIA označila kvalitu vyhledávání za jeden z faktorů, který ovlivňuje jak odpovědi agenta, tak náklady na inferenci LLM při plnění úkolu. Uvedla, že když jsou vrácené důkazy neúplné nebo nerelevantní, agenti provádějí více vyhledávání a procházejí více dokumentů, čímž spotřebují další inferenční tokeny, než úkol dokončí.

Čtyři varianty Embed a Rerank pokrývají různé způsoby nasazení. Nemotron 3.5 Embed 8B BF16 je určen k vyhledávání s důrazem na kvalitu v textu i vizuálně bohatých dokumentech. Model 1B BF16 přináší multimodální vyhledávání modelu 8B v menších nárocích na prostředky a je určen k multimodálnímu indexování a obsluze dotazů. Model 1B NVFP4 používá kvantizaci NVFP4 u textového i obrazového kodéru a cílí na rozsáhlé indexování dokumentů a vysokou propustnost vyhledávání na podporovaném hardwaru. Nemotron 3.5 Rerank 8B BF16 společně vyhodnocuje dvojice dotaz–dokument, aby zpřesnil pořadí podle relevance u textových i obrazových kandidátů, a vybírá důkazy pro generování s rozšířením o vyhledané informace a agentní workflow. Vyhledávání zahrnuje text dokumentů i obrázky, například tabulky, grafy, infografiky, datové listy a schémata. NVIDIA vyhodnotila vyhledávání v textu ve 34 jazycích a vícejazyčné vizuální vyhledávání v sadě MIRACL Vision, která zahrnuje 18 jazyků, a v sadě KoViDoRe; uvedla přitom, že modely mohou zvládat i další jazyky, které nebyly testovány.

Experimenty s agentním vyhledáváním

Aby NVIDIA změřila, jak vyhledávání ovlivňuje chování agentů, vyhodnotila Nemotron 3.5 Embed a Rerank na sadách ViDoRe v3, BRIGHT a BrowseComp-Plus. ViDoRe v3 využívá kombinované textové a obrazové vstupy, zatímco BRIGHT a BrowseComp-Plus pracují pouze s textovými vstupy. V testovaném postupu agent pomocí vyhledávacího nástroje prohledá korpus, zkontroluje vrácené důkazy a upraví podle nich následné dotazy. V testovací matici se měnila implementace vyhledávacího nástroje v nastaveních využívajících pouze tvorbu vektorových reprezentací nebo jejich tvorbu společně s přerovnáváním podle relevance, a to s různými modely; LLM agenta, jeho nástroje, sada úloh, korpus i zásady provádění přitom zůstaly stejné. Vyhodnocení sledovalo, zda agent pro každý úkol našel relevantní informace, a také celkový počet inferenčních tokenů agenta na úkol za všechna kola, včetně vstupních i výstupních tokenů.

Podle NVIDIA snížilo zařazení Nemotron 3.5 Rerank do postupu náklady na tokeny agentního vyhledávání na jeden dotaz přibližně o 14 % při použití modelu Embed 8B a o 13 % při použití modelu 1B; přesnost vyhledávání se přitom v obou konfiguracích zlepšila. Při použití s modelem Embed 8B dosáhl reranker podle NVIDIA přibližně o 0,9 bodu nDCG@10 vyššího skóre než Qwen3-VL-Reranker-8B při srovnatelných nákladech na agentní tokeny.

Výsledky v žebříčcích

NVIDIA uvádí, že model Nemotron 3.5 Embed 8B BF16 dosáhl v sadě ViDoRe v3.1 skóre 61,17 nDCG@10, a k 20. říjnu 2026 se tak umístil na prvním místě mezi modely pro husté vyhledávání. Společnost popisuje tento výsledek jako zlepšení o 8,94 bodu oproti skóre 52,23, kterého dosáhl její model Llama Nemotron Embed VL 1B. Destilovaný model 1B BF16 dosáhl skóre 58,38 nDCG@10, tedy podle NVIDIA 95,4 % skóre učitelského modelu 8B. V sadě MIRACL Vision dosáhl model 8B podle NVIDIA skóre 72,6 nDCG@10, což je o 4,3 bodu více než u Qwen3-VL-Embedding-8B. Společnost také uvádí, že obě velikosti modelu Embed překonaly v sadě KoViDoRe základní modely Qwen při kombinovaných obrazových a textových vstupech.

NVIDIA společně s týmem MTEB spouští žebříček modelů pro přerovnávání výsledků v sadě ViDoRe v3.1, který zahrnuje pouze obrazové, pouze textové i kombinované obrazové a textové vstupy. NVIDIA uvádí, že reranker dosáhl u kombinovaných vstupů skóre 60,49 nDCG@10 oproti 59,17 u Qwen3-VL-Reranker-8B, a k 20. říjnu 2026 tak vedl v tomto žebříčku.

Propustnost a dolaďování pro konkrétní domény

NVIDIA uvádí, že varianta NVFP4 pro produkční nasazení dosahuje na NVIDIA GB200 o 27,1 % vyšší propustnosti než model 1B BF16: zpracuje 128,8 dokumentu za sekundu oproti 101,3, přičemž u kombinovaných obrazových a textových vstupů si v sadě ViDoRe v3 zachovává 99,85 % přesnosti vyhledávání modelu BF16. Při testování na RTX PRO 6000 Blackwell Server Edition obsloužil NVIDIA NIM 6 031 požadavků na dotaz za sekundu, tedy přibližně 2,9krát více než srovnatelná konfigurace vLLM s 2 099 požadavky za sekundu; propustnost zpracování pasáží byla podle popisu srovnatelná.

NVIDIA zveřejnila také postup pro dolaďování multimodálních modelů pro tvorbu vektorových reprezentací, který v rámci jednoho pracovního postupu provádí generování syntetických dat, vyhledávání obtížných negativních příkladů, dolaďování pomocí NVIDIA NeMo AutoModel a vyhodnocení. Týmy tak mohou vytvářet dotazy a štítky relevance z vlastních kolekcí dokumentů. NVIDIA při vlastním testování tohoto postupu použila 8 202 obrázků grafů a infografik a 8 591 syntetických dotazů vygenerovaných modelem Qwen3.8-Flash-Next. Zaměřila se na výčtové dotazy a dotazy s otevřeným koncem, které měly více relevantních obrázků. Po jedné epoše dolaďování na 6 872 dotazech vzrostlo skóre nDCG@10 modelu 1B BF16 z 37,34 na 44,12 u 1 719 vyhrazených syntetických dotazů; NVIDIA tento výsledek popisuje jako relativní nárůst o 18 %. Model 8B BF16 se zlepšil z 41,44 na 42,75, což představuje relativní nárůst o 3 %.

Architektura a trénování modelů

U modelu pro tvorbu embeddingů 8B vyšla společnost NVIDIA z modelu Ministral-3-8B-Instruct a jazykovou část inicializovala pomocí Nemotron-3-Embed-8B-BF16. Poté aplikovala kontrastivní učení nad obrazovými a textovými korpusy, aby vytvořila multimodální reprezentace pro vyhledávání. Modely 1B byly destilovány z modelu 8B pomocí kosinové ztrátové funkce a střední kvadratické chyby, které zarovnávaly embeddingy žákovského modelu s embeddingy učitelského modelu; jejich jazyková část byla inicializována pomocí Nemotron-3-Embed-1B-BF16. Protože jazyková část zůstává během trénování embeddingů zmrazená, podle NVIDIA by se textové embeddingy měly shodovat s embeddingy odpovídajících modelů Nemotron 3 Embed, takže lze převzít stávající textové embeddingy i vektorové indexy.

Model Nemotron 3.5 Rerank sdílí architekturu základní sítě s modelem pro tvorbu embeddingů 8B, funguje však jako křížový kodér: každý pár dotazu a dokumentu kóduje společně, místo aby dotazy a dokumenty samostatně převáděl na embeddingy pro výpočet podobnosti. Skórovací hlava s vícevrstvým perceptronem pak vrací skalární logit relevance. Všechny modely byly trénovány na směsi veřejně dostupných a syntetických vícejazyčných a multimodálních dat; výsledné zveřejněné váhy vznikly metodou ensemblingu kontrolních bodů. NVIDIA uvádí, že další podrobnosti o trénovacích datech jsou k dispozici v kartě každého modelu na Hugging Face.

Nemotron 3.5 Parse

Nemotron 3.5 Parse převádí obrázky dokumentů na strojově čitelný text a přitom zachovává strukturu, která dává obsahu smysl. Model rozpoznává prvky dokumentu, jejich umístění a pořadí čtení a poté převádí tabulky a grafy do formátu Markdown, HTML tabulek a strukturovaných bloků, které mohou vývojáři indexovat, prohledávat a dále zpracovávat. NVIDIA uvádí, že model Parse dosahuje skóre 75.20 v testu ParseBench při rychlosti 10.5 stránky za sekundu na jednom zařízení NVIDIA H100, a k 20. říjnu 2026 tak mezi modely s méně než 1 miliardou parametrů zaujímá první místo. ParseBench testuje extrakci tabulek a grafů, věrnost obsahu, sémantické formátování a vizuální ukotvení.

Tři režimy inference umožňují vývojářům u stejného modelu volit mezi propustností a přesností. Při jednom průchodu se každá stránka načte jednou a model dosahuje skóre 72.74 při rychlosti 16.1 stránky za sekundu. Při dvojitém průchodu se znovu zpracují tabulky a grafy označené při úvodním parsování stránky; skóre tak dosahuje 74.92 při rychlosti 11.2 stránky za sekundu. Trojitý průchod přidává detekční krok, který vyhledá další oblasti určené k upřesnění, a dosahuje skóre 75.20 při rychlosti 10.5 stránky za sekundu. NVIDIA popisuje všechny tři provozní body jako Pareto optimální v rámci svého srovnání, protože žádná z ostatních porovnávaných konfigurací současně nezlepšuje přesnost i propustnost.

Trénovací data pro Parse zahrnovala firemní dokumenty, vědecké články, formuláře, tabulky, grafy a vícejazyčné texty; jejich rozsah rozšířil generátor syntetických dat. NVIDIA uvádí, že model dosahuje silných výsledků v hodnoceních zahrnujících 163 kombinací jazyků a písem. Při následném trénování NVIDIA použila optimalizaci relativní politiky skupiny (Group Relative Policy Optimization) s vlastními odměnami za správnou strukturu a penalizacemi za chyby. Podle společnosti se tím omezily opakující se smyčky při generování a neuzavřené bloky, tabulky se staly konzistentnějšími a zlepšilo se dodržování schémat grafů. NVIDIA také poděkovala společnosti LightOn s tím, že sdílené techniky s otevřeným zdrojovým kódem zásadně přispěly ke zlepšení modelu.

Hodnocení partnerů a dostupnost

Oznámení obsahuje první hodnocení od podnikových partnerů. Příspěvek uvádí, že u společnosti Elastic zpřístupňuje Inference API v Elasticsearch embeddingové a rerankovací modely Nemotron Retriever prostřednictvím inferenčních endpointů NVIDIA. Model Nemotron 3 má být brzy přidán prostřednictvím služby Elastic Inference Service a podpora místního nasazení je na plánu. Společnost Vectorize testovala Nemotron 3.5 Embed v rámci svého systému Hindsight Agent Memory; podle příspěvku model obsadil první místo ve dvou benchmarcích paměti pro dlouhé konverzace, kde dosáhl 93.8% recall@10 v LoCoMo a 65.9% v BEAM 100K v porovnání se sedmi konkurenčními embeddingovými modely. Zároveň dosáhl nejvyššího MRR a recall@5. Hodnocení společnosti Perplexity přisoudilo modelu Nemotron 3.5 Rerank 8B nejvyšší průměrné skóre v jejím neveřejném benchmarku rerankingu se 72 úlohami; silné výsledky vykázal ve všech šesti doménách. Společnost Turbopuffer, která testovala model pro tvorbu embeddingů 8B v benchmarku vyhledávání v podnikových PDF, uvádí přibližně o 5 % relevantnějších výsledků při Recall@20 než u dalšího nejlepšího modelu. Nyní tyto modely nabízí jako nativní možnost pro tvorbu embeddingů.

Otevřené váhy, data a postupy trénování jsou k dispozici na Hugging Face. Produkční nasazení je možné prostřednictvím NVIDIA NIM a partnerů v oblasti cloudových služeb s umělou inteligencí a inference Baseten, DeepInfra a FriendliAI. Postupy pro dolaďování embeddingových a rerankovacích modelů jsou zveřejněny v repozitáři NVIDIA NeMo Nemotron na GitHub.