NVIDIA lansează modelele deschise Nemotron 3.5 pentru generarea de embeddinguri, rerangare și parsarea documentelor

Pe 21 octombrie 2026, NVIDIA și-a extins gama Nemotron Retriever cu noi modele deschise, disponibile comercial, pentru generarea de embeddinguri, rerangare și extragerea de informații din documente: Nemotron 3.5 Embed în variantele 8B BF16, 1B BF16 și 1B NVFP4, Nemotron 3.5 Rerank 8B BF16 și Nemotron 3.5 Parse, cu 631 de milioane de parametri.

Într-un anunț redactat de NVIDIA și publicat pe Hugging Face, compania a declarat că lansarea vizează fluxurile de lucru enterprise cu agenți, adăugând capabilități de căutare multimodală, clasificare după relevanță și procesare a documentelor. NVIDIA a prezentat calitatea căutării drept un factor care influențează atât răspunsurile generate de un agent, cât și costul inferenței LLM pentru o sarcină, afirmând că, atunci când dovezile recuperate sunt incomplete sau irelevante, agenții efectuează mai multe căutări și analizează mai multe documente, consumând tokenuri de inferență suplimentare înainte de a termina.

Cele patru variante Embed și Rerank acoperă roluri distincte de implementare. Nemotron 3.5 Embed 8B BF16 este conceput pentru căutări în care calitatea este prioritară, atât în texte, cât și în documente cu conținut vizual bogat. Modelul 1B BF16 comprimă funcționalitatea de căutare multimodală a modelului 8B într-un format mai compact, destinat indexării multimodale și servirii interogărilor. Modelul 1B NVFP4 aplică cuantizarea NVFP4 atât codificatoarelor de text, cât și celor de imagine, fiind destinat indexării documentelor la scară largă și căutării cu debit ridicat pe hardware compatibil. Nemotron 3.5 Rerank 8B BF16 evaluează împreună perechile interogare–document pentru a îmbunătăți ordonarea rezultatelor după relevanță, atât pentru candidații textuali, cât și pentru cei vizuali, selectând dovezile necesare generării augmentate prin recuperare și fluxurilor de lucru cu agenți. Căutarea cuprinde atât textul documentelor, cât și imagini precum tabele, grafice, infografice, fișe tehnice și scheme. NVIDIA a evaluat căutarea textuală în 34 de limbi și căutarea vizuală multilingvă pe MIRACL Vision, care acoperă 18 limbi, și KoViDoRe, menționând că modelele pot funcționa și în alte limbi decât cele testate.

Experimente privind căutarea cu agenți

Pentru a măsura modul în care căutarea influențează comportamentul agenților, NVIDIA a evaluat Nemotron 3.5 Embed și Rerank pe ViDoRe v3, BRIGHT și BrowseComp-Plus. ViDoRe v3 folosește intrări care combină text și imagini, în timp ce BRIGHT și BrowseComp-Plus folosesc doar intrări textuale. În fluxul testat, un agent caută într-un corpus cu ajutorul unui instrument de căutare, analizează dovezile returnate și își ajustează interogările ulterioare. Matricea de testare a folosit implementări diferite ale instrumentului de căutare în configurații doar cu embeddinguri și în configurații cu embeddinguri și rerangare, păstrând neschimbate modelul LLM al agentului, instrumentele, setul de sarcini, corpusul și politica de execuție. Evaluarea a urmărit dacă agentul a găsit informațiile relevante pentru fiecare sarcină, precum și numărul total de tokenuri de inferență folosite de agent pentru fiecare sarcină, pe parcursul tuturor etapelor, incluzând atât tokenurile de intrare, cât și pe cele de ieșire.

Potrivit NVIDIA, introducerea Nemotron 3.5 Rerank în fluxul de lucru a redus cu aproximativ 14% costul în tokenuri per interogare al agentului, în combinație cu modelul Embed 8B, și cu 13% în combinație cu modelul 1B, îmbunătățind totodată precizia căutării în ambele configurații. În combinație cu modelul Embed 8B, rerankerul a obținut cu aproximativ 0,9 puncte nDCG@10 mai mult decât Qwen3-VL-Reranker-8B, la un cost comparabil în tokenuri pentru agent, relatează NVIDIA.

Rezultatele clasamentelor

Pe ViDoRe v3.1, Nemotron 3.5 Embed 8B BF16 a obținut un scor nDCG@10 de 61,17, potrivit NVIDIA, clasându-se pe primul loc între modelele de căutare densă la 20 octombrie 2026. Compania descrie rezultatul drept o îmbunătățire cu 8,94 puncte față de scorul de 52,23 obținut de modelul său Llama Nemotron Embed VL 1B. Modelul 1B BF16 distilat a obținut un scor nDCG@10 de 58,38, păstrând 95,4% din scorul modelului profesor 8B, conform NVIDIA. Pe MIRACL Vision, NVIDIA raportează un scor nDCG@10 de 72,6 pentru modelul 8B, cu 4,3 puncte peste Qwen3-VL-Embedding-8B, și afirmă că ambele dimensiuni ale modelului Embed au depășit modelele de referință Qwen pe KoViDoRe pentru intrări care combină imagini și text.

NVIDIA lansează, împreună cu echipa MTEB, un clasament pentru rerangare pe ViDoRe v3.1, care acoperă intrări doar cu imagini, doar cu text și intrări care combină imagini și text. NVIDIA raportează că rerankerul a obținut un scor nDCG@10 de 60,49 pentru intrările combinate, față de 59,17 pentru Qwen3-VL-Reranker-8B, ocupând primul loc în clasament la 20 octombrie 2026.

Debit și ajustare fină pentru anumite domenii

Pentru implementarea în producție, NVIDIA afirmă că varianta NVFP4 oferă un debit cu 27,1% mai mare decât modelul 1B BF16 pe NVIDIA GB200, ajungând la 128,8 documente pe secundă față de 101,3, păstrând în același timp 99,85% din precizia de căutare a modelului BF16 pe ViDoRe v3, pentru intrări care combină imagini și text. În testele companiei pe un RTX PRO 6000 Blackwell Server Edition, NVIDIA NIM a procesat 6.031 de solicitări de interogare pe secundă, de aproximativ 2,9 ori mai multe decât cele 2.099 de solicitări pe secundă obținute cu o configurație vLLM comparabilă; debitul de procesare a pasajelor a fost descris ca fiind comparabil.

NVIDIA a publicat și o rețetă de ajustare fină pentru embeddinguri multimodale, care prezintă într-un singur flux de lucru generarea de date sintetice, identificarea exemplelor negative dificile, ajustarea fină cu NVIDIA NeMo AutoModel și evaluarea, astfel încât echipele să poată crea interogări și etichete de relevanță pornind de la propriile colecții de documente. În testarea proprie a rețetei, NVIDIA a folosit 8.202 de imagini cu grafice și infografice, precum și 8.591 de interogări sintetice generate de Qwen3.8-Flash-Next, axate pe interogări enumerative și deschise, cu mai multe imagini relevante. După o epocă de ajustare fină pe 6.872 de interogări, scorul nDCG@10 al modelului 1B BF16 a crescut de la 37,34 la 44,12 pe un set de 1.719 de interogări sintetice rezervate pentru testare; NVIDIA descrie această creștere drept un câștig relativ de 18%. Scorul modelului 8B BF16 a crescut de la 41,44 la 42,75, un câștig relativ de 3%.

Arhitectura și antrenarea modelelor

Pentru modelul de embedding 8B, NVIDIA s-a bazat pe Ministral-3-8B-Instruct și a inițializat componenta lingvistică pornind de la Nemotron-3-Embed-8B-BF16, apoi a aplicat învățarea contrastivă pe corpusuri de imagini și texte pentru a genera reprezentări multimodale destinate regăsirii informațiilor. Modelele 1B au fost distilate din modelul 8B, folosind funcții de pierdere bazate pe similaritatea cosinus și pe eroarea medie pătratică, pentru a alinia reprezentările vectoriale ale modelului student cu cele ale modelului profesor; componenta lor lingvistică a fost inițializată pornind de la Nemotron-3-Embed-1B-BF16. Deoarece componenta lingvistică rămâne înghețată în timpul antrenării pentru embedding, NVIDIA afirmă că embeddingurile exclusiv text ar trebui să corespundă celor ale modelelor Nemotron 3 Embed aferente, astfel încât embeddingurile text și indexurile vectoriale existente să poată fi preluate și reutilizate.

Nemotron 3.5 Rerank are aceeași arhitectură de bază ca modelul de embedding 8B, dar funcționează ca un cross-encoder, codificând împreună fiecare pereche interogare–document, în loc să genereze embeddinguri separate pentru interogări și documente în vederea calculării scorurilor de similaritate; apoi, un cap de scorare bazat pe un perceptron multistrat produce un logit scalar de relevanță. Toate modelele au fost antrenate pe un amestec de date multilingve și multimodale disponibile public și date sintetice, iar ponderile finale lansate au fost obținute prin combinarea checkpointurilor. NVIDIA afirmă că informații suplimentare despre datele de antrenare sunt disponibile în fișa fiecărui model de pe Hugging Face.

Nemotron 3.5 Parse

Nemotron 3.5 Parse transformă imaginile documentelor în text care poate fi citit automat, păstrând totodată structura care conferă sens conținutului. Modelul detectează elementele documentului, pozițiile acestora și ordinea de citire, apoi redă tabelele și graficele în format Markdown, ca tabele HTML și sub formă de blocuri structurate pe care dezvoltatorii le pot indexa, căuta și prelucra ulterior. NVIDIA raportează pentru Parse un scor ParseBench de 75.20, la o viteză de 10.5 pagini pe secundă pe un singur NVIDIA H100, ceea ce îl plasează pe primul loc între modelele cu mai puțin de 1 miliard de parametri, la 20 octombrie 2026. ParseBench evaluează extragerea tabelelor și a graficelor, fidelitatea conținutului, formatarea semantică și ancorarea vizuală.

Cele trei moduri de inferență le permit dezvoltatorilor să facă un compromis între debit și acuratețe folosind același model. O singură trecere citește fiecare pagină o dată și obține un scor de 72.74, la 16.1 pagini pe secundă. O trecere dublă reanalizează tabelele și graficele semnalate la parsarea inițială a paginii, obținând un scor de 74.92, la 11.2 pagini pe secundă. O trecere triplă adaugă o etapă de detectare care identifică regiuni suplimentare pentru rafinare, obținând un scor de 75.20, la 10.5 pagini pe secundă. NVIDIA descrie toate cele trei configurații de funcționare ca fiind optime Pareto în cadrul comparației sale, deoarece niciuna dintre celelalte configurații comparate nu îmbunătățește simultan acuratețea și debitul.

Datele de antrenare pentru Parse au inclus documente de afaceri, lucrări științifice, formulare, tabele, grafice și texte în mai multe limbi, diversitatea lor fiind extinsă cu ajutorul unui motor de generare a datelor sintetice. NVIDIA raportează performanțe ridicate în evaluări care au acoperit 163 de combinații de limbi și sisteme de scriere. Pentru etapa de post-antrenare, NVIDIA a aplicat optimizarea relativă a politicii de grup, cu recompense personalizate pentru structura corectă și penalizări pentru erori. Potrivit companiei, această metodă a redus buclele repetitive de generare și blocurile neînchise, a asigurat o mai mare consecvență a tabelelor și a îmbunătățit respectarea schemelor pentru grafice. NVIDIA a mulțumit, de asemenea, companiei LightOn, afirmând că tehnicile open-source împărtășite de aceasta au avut un rol esențial în îmbunătățirea modelului.

Evaluări ale partenerilor și disponibilitate

Anunțul include evaluări preliminare realizate de parteneri din mediul de afaceri. Potrivit postării, pentru Elastic, Inference API din Elasticsearch pune la dispoziție modelele de embedding și reranking Nemotron Retriever prin intermediul endpointurilor de inferență NVIDIA. Nemotron 3 urmează să fie adăugat în curând prin Elastic Inference Service, iar suportul pentru implementarea locală este prevăzut în foaia de parcurs. Vectorize a testat Nemotron 3.5 Embed în cadrul Hindsight Agent Memory și, potrivit postării, modelul s-a clasat pe primul loc la două benchmarkuri pentru memoria conversațiilor lungi, obținând un recall@10 de 93.8% pe LoCoMo și de 65.9% pe BEAM 100K, în fața a șapte modele de embedding concurente, precum și cele mai mari valori MRR și recall@5. Evaluarea realizată de Perplexity a plasat Nemotron 3.5 Rerank 8B pe primul loc în privința scorului mediu la benchmarkul privat de reranking al companiei, care cuprinde 72 de sarcini, fiind raportate rezultate solide în toate cele șase domenii. Turbopuffer, care a testat modelul de embedding 8B pe un benchmark de căutare în PDF-uri de afaceri, raportează cu aproximativ 5% mai multe rezultate relevante la Recall@20 decât modelul clasat pe locul al doilea și oferă acum modelele ca opțiune nativă de embedding.

Ponderile, datele și rețetele de antrenare cu sursă deschisă sunt disponibile pe Hugging Face, iar implementarea în producție se poate face prin NVIDIA NIM și prin intermediul partenerilor cloud pentru IA și inferență Baseten, DeepInfra și FriendliAI. Rețetele de ajustare fină pentru embedding și reranking sunt publicate în depozitul GitHub NVIDIA NeMo Nemotron.