NVIDIA prezentuje otwarte modele Nemotron 3.5 do tworzenia embeddingów, rerankingu i parsowania

21 października 2026 r. NVIDIA rozszerzyła kolekcję Nemotron Retriever o nowe otwarte modele dostępne komercyjnie, przeznaczone do tworzenia embeddingów, rerankingu i ekstrakcji danych z dokumentów: Nemotron 3.5 Embed w wariantach 8B BF16, 1B BF16 i 1B NVFP4, Nemotron 3.5 Rerank 8B BF16 oraz Nemotron 3.5 Parse z 631 milionami parametrów.

W komunikacie opublikowanym na Hugging Face, którego autorem jest NVIDIA, firma poinformowała, że premiera jest skierowana do korporacyjnych procesów pracy z agentami i wprowadza możliwości wyszukiwania multimodalnego, rankingu trafności oraz przetwarzania dokumentów. NVIDIA przedstawiła jakość wyszukiwania jako czynnik wpływający zarówno na odpowiedzi generowane przez agenta, jak i na koszt wnioskowania LLM w ramach zadania. Jak zaznaczyła, gdy zwracane materiały źródłowe są niekompletne lub nieistotne, agenci przeprowadzają więcej wyszukiwań i analizują więcej dokumentów, zużywając dodatkowe tokeny wnioskowania, zanim zakończą zadanie.

Cztery warianty Embed i Rerank odpowiadają różnym zastosowaniom wdrożeniowym. Nemotron 3.5 Embed 8B BF16 jest przeznaczony do wyszukiwania nastawionego na wysoką jakość w tekstach i dokumentach bogatych w treści wizualne. Model 1B BF16 oferuje multimodalne wyszukiwanie modelu 8B w mniejszej skali, dzięki czemu nadaje się do multimodalnego indeksowania i obsługi zapytań. Model 1B NVFP4 stosuje kwantyzację NVFP4 zarówno do enkoderów tekstu, jak i obrazu, z myślą o indeksowaniu dużych zbiorów dokumentów i wyszukiwaniu o wysokiej przepustowości na obsługiwanym sprzęcie. Nemotron 3.5 Rerank 8B BF16 wspólnie ocenia pary zapytanie–dokument, aby poprawić kolejność wyników według trafności wśród kandydatów tekstowych i obrazowych oraz wybrać materiały źródłowe na potrzeby generowania wspomaganego wyszukiwaniem i procesów pracy z agentami. Wyszukiwanie obejmuje tekst dokumentów, a także obrazy, takie jak tabele, wykresy, infografiki, arkusze danych i schematy. NVIDIA oceniła wyszukiwanie tekstowe w 34 językach oraz wielojęzyczne wyszukiwanie wizualne na zbiorze MIRACL Vision, obejmującym 18 języków, i KoViDoRe. Firma zaznaczyła, że modele mogą obsługiwać także języki inne niż te uwzględnione w testach.

Eksperymenty z wyszukiwaniem agentowym

Aby zmierzyć wpływ wyszukiwania na zachowanie agentów, NVIDIA przetestowała Nemotron 3.5 Embed i Rerank na zbiorach ViDoRe v3, BRIGHT i BrowseComp-Plus. ViDoRe v3 wykorzystuje łącznie dane tekstowe i obrazy, natomiast BRIGHT i BrowseComp-Plus opierają się wyłącznie na tekście. W testowanym procesie agent przeszukuje korpus za pomocą narzędzia wyszukiwania, analizuje zwrócone materiały źródłowe, a następnie dostosowuje kolejne zapytania. W macierzy testów podmieniano implementację narzędzia wyszukiwania w konfiguracjach wykorzystujących wyłącznie embeddingi oraz embeddingi z rerankingiem, stosując różne modele; LLM agenta, jego narzędzia, zestaw zadań, korpus i zasady wykonywania pozostały bez zmian. W ramach ewaluacji sprawdzano, czy agent znalazł informacje istotne dla każdego zadania, a także liczono łączną liczbę tokenów wnioskowania agenta na zadanie we wszystkich turach, uwzględniając zarówno tokeny wejściowe, jak i wyjściowe.

Według NVIDIA dodanie Nemotron 3.5 Rerank do procesu obniżyło koszt tokenów w zadaniu agentowym na zapytanie o około 14% w połączeniu z modelem Embed 8B i o 13% w połączeniu z modelem 1B, a dokładność wyszukiwania wzrosła w obu konfiguracjach. Jak podaje NVIDIA, w połączeniu z modelem Embed 8B reranker uzyskał wynik nDCG@10 wyższy o około 0,9 punktu niż Qwen3-VL-Reranker-8B przy porównywalnym koszcie tokenów w zadaniu agentowym.

Wyniki w rankingach

Jak podaje NVIDIA, w teście ViDoRe v3.1 model Nemotron 3.5 Embed 8B BF16 uzyskał wynik 61,17 nDCG@10, zajmując pierwsze miejsce wśród modeli do wyszukiwania gęstego według stanu na 20 października 2026 r. Firma określa ten wynik jako poprawę o 8,94 punktu w porównaniu z wynikiem 52,23 uzyskanym przez jej model Llama Nemotron Embed VL 1B. Destylowany model 1B BF16 uzyskał wynik 58,38 nDCG@10, co według NVIDIA stanowi 95,4% wyniku modelu nauczyciela 8B. W teście MIRACL Vision NVIDIA podaje wynik 72,6 nDCG@10 dla modelu 8B, o 4,3 punktu wyższy niż w przypadku Qwen3-VL-Embedding-8B. Firma informuje również, że oba rozmiary modelu Embed przewyższyły modele bazowe Qwen w teście KoViDoRe dla łączonych danych obrazowych i tekstowych.

NVIDIA wraz z zespołem MTEB uruchamia ranking rerankerów ViDoRe v3.1, obejmujący dane wyłącznie obrazowe, wyłącznie tekstowe oraz łączące obrazy i tekst. NVIDIA podaje, że reranker uzyskał wynik 60,49 nDCG@10 dla danych łączonych, wobec 59,17 w przypadku Qwen3-VL-Reranker-8B, i zajmował pierwsze miejsce w tym rankingu według stanu na 20 października 2026 r.

Przepustowość i dostrajanie do konkretnych dziedzin

W kontekście wdrożeń produkcyjnych NVIDIA podaje, że wariant NVFP4 zapewnia o 27,1% wyższą przepustowość niż model 1B BF16 na platformie NVIDIA GB200: przetwarza 128,8 dokumentu na sekundę wobec 101,3, zachowując przy tym 99,85% dokładności wyszukiwania modelu BF16 w teście ViDoRe v3 dla łączonych danych obrazowych i tekstowych. W testach firmy NVIDIA NIM obsługiwał 6031 zapytań na sekundę na serwerze RTX PRO 6000 Blackwell Server Edition, czyli około 2,9 raza więcej niż porównywalna konfiguracja vLLM, która obsługiwała 2099 zapytań na sekundę. Przepustowość przetwarzania fragmentów tekstu określono jako porównywalną.

NVIDIA opublikowała również przepis na dostrajanie multimodalnych modeli embeddingowych, opisujący generowanie danych syntetycznych, wyszukiwanie trudnych przykładów negatywnych, dostrajanie za pomocą NVIDIA NeMo AutoModel i ewaluację w ramach jednego procesu. Dzięki temu zespoły mogą tworzyć zapytania i etykiety trafności na podstawie własnych zbiorów dokumentów. W swoich testach tego przepisu NVIDIA wykorzystała 8202 obrazy wykresów i infografik oraz 8591 zapytań syntetycznych wygenerowanych przez Qwen3.8-Flash-Next; testy koncentrowały się na pytaniach wymagających wyliczenia oraz pytaniach otwartych, dla których istotnych było wiele obrazów. Po jednej epoce dostrajania na 6872 zapytaniach wynik nDCG@10 modelu 1B BF16 wzrósł z 37,34 do 44,12 w przypadku 1719 syntetycznych zapytań odłożonych do testów. NVIDIA określa to jako względny wzrost o 18%. Wynik modelu 8B BF16 wzrósł z 41,44 do 42,75, co stanowi względny wzrost o 3%.

Architektura i trenowanie modeli

W przypadku modelu embeddingowego 8B NVIDIA wykorzystała Ministral-3-8B-Instruct i zainicjalizowała komponent językowy na podstawie Nemotron-3-Embed-8B-BF16, a następnie zastosowała uczenie kontrastywne na zbiorach danych zawierających obrazy i tekst, aby uzyskać multimodalne reprezentacje do wyszukiwania. Modele 1B poddano destylacji z modelu 8B, stosując funkcje straty oparte na podobieństwie cosinusowym i błędzie średniokwadratowym, które dopasowywały wektory osadzeń modelu ucznia do wektorów modelu nauczyciela; ich komponent językowy zainicjalizowano na podstawie Nemotron-3-Embed-1B-BF16. Ponieważ podczas trenowania modelu embeddingowego komponent językowy pozostaje zamrożony, jak podaje NVIDIA, osadzenia tekstowe powinny być zgodne z osadzeniami odpowiednich modeli Nemotron 3 Embed, dzięki czemu można nadal korzystać z istniejących osadzeń tekstowych i indeksów wektorowych.

Nemotron 3.5 Rerank ma taką samą architekturę bazową jak model embeddingowy 8B, ale działa jako koder krzyżowy: wspólnie koduje każdą parę zapytanie–dokument, zamiast osobno tworzyć osadzenia zapytań i dokumentów na potrzeby oceny podobieństwa. Następnie głowica oceniająca w postaci wielowarstwowego perceptronu zwraca skalarną wartość logitu istotności. Wszystkie modele trenowano na mieszance publicznie dostępnych i syntetycznych danych wielojęzycznych oraz multimodalnych, a ostateczne udostępnione wagi uzyskano przez uśrednianie punktów kontrolnych. NVIDIA informuje, że dodatkowe informacje o danych treningowych można znaleźć na karcie każdego modelu w serwisie Hugging Face.

Nemotron 3.5 Parse

Nemotron 3.5 Parse przekształca obrazy dokumentów w tekst możliwy do odczytu maszynowego, zachowując strukturę, która nadaje treści znaczenie. Model wykrywa elementy dokumentu, ich położenie i kolejność odczytu, a następnie zapisuje tabele i wykresy jako Markdown, tabele HTML oraz ustrukturyzowane bloki, które programiści mogą indeksować, przeszukiwać i dalej przetwarzać. Według NVIDIA model Parse uzyskał wynik 75.20 w teście ParseBench przy szybkości 10.5 strony na sekundę na pojedynczym układzie NVIDIA H100, zajmując pierwsze miejsce wśród modeli o liczbie parametrów poniżej 1 miliarda na dzień 20 października 2026 r. ParseBench ocenia ekstrakcję tabel i wykresów, wierność treści, formatowanie semantyczne i odwzorowanie elementów wizualnych.

Trzy tryby wnioskowania pozwalają programistom wybrać kompromis między przepustowością a dokładnością, korzystając z tego samego modelu. Tryb jednokrotnego przebiegu odczytuje każdą stronę raz i uzyskuje wynik 72.74 przy szybkości 16.1 strony na sekundę. W trybie dwukrotnego przebiegu model ponownie analizuje tabele i wykresy wskazane podczas wstępnego przetwarzania strony, uzyskując wynik 74.92 przy szybkości 11.2 strony na sekundę. Tryb trzykrotnego przebiegu dodaje etap wykrywania, który znajduje kolejne obszary do dopracowania; model uzyskuje w nim wynik 75.20 przy szybkości 10.5 strony na sekundę. NVIDIA określa wszystkie trzy konfiguracje jako optymalne w sensie Pareto w ramach swojego porównania, ponieważ żadna z pozostałych testowanych konfiguracji nie poprawia jednocześnie dokładności i przepustowości.

Dane treningowe modelu Parse obejmowały dokumenty biznesowe, artykuły naukowe, formularze, tabele, wykresy i teksty w wielu językach; ich zakres poszerzono za pomocą silnika generującego dane syntetyczne. NVIDIA informuje, że model osiąga dobre wyniki w testach obejmujących 163 kombinacje języków i systemów pisma. W ramach dostrajania po treningu NVIDIA zastosowała optymalizację polityki względem grupy z niestandardowymi nagrodami za poprawną strukturę i karami za błędy. Jak podaje firma, ograniczyło to powtarzające się pętle generowania i niezamknięte bloki, zapewniło większą spójność tabel oraz poprawiło zgodność ze schematami wykresów. NVIDIA podziękowała również firmie LightOn, podkreślając, że udostępnione techniki open source miały kluczowe znaczenie dla udoskonalenia modelu.

Oceny partnerów i dostępność

Ogłoszenie zawiera wstępne oceny od partnerów biznesowych. Według wpisu w przypadku Elastic interfejs Inference API w Elasticsearch udostępnia modele embeddingowe i modele do rerankingu Nemotron Retriever za pośrednictwem punktów końcowych wnioskowania NVIDIA. Nemotron 3 ma wkrótce zostać dodany do Elastic Inference Service, a obsługa wdrożeń lokalnych jest ujęta w planach rozwoju. Firma Vectorize przetestowała Nemotron 3.5 Embed w ramach rozwiązania Hindsight Agent Memory i, jak podano we wpisie, model zajął pierwsze miejsce w dwóch testach porównawczych pamięci długich rozmów, uzyskując 93.8% recall@10 w LoCoMo i 65.9% w BEAM 100K, wyprzedzając siedem konkurencyjnych modeli embeddingowych; osiągnął też najwyższe wyniki MRR i recall@5. W ocenie Perplexity model Nemotron 3.5 Rerank 8B uzyskał najwyższy średni wynik w prywatnym teście porównawczym Perplexity obejmującym 72 zadania rerankingu, a także dobre wyniki we wszystkich sześciu obszarach. Firma Turbopuffer, która przetestowała model embeddingowy 8B w teście wyszukiwania w plikach PDF klasy biznesowej, informuje, że model zapewnia około 5% więcej trafnych wyników przy Recall@20 niż kolejny najlepszy model. Obecnie oferuje te modele jako natywną opcję tworzenia osadzeń.

Otwarte wagi, dane i receptury treningowe są dostępne w serwisie Hugging Face, a wdrożenie produkcyjne można przeprowadzić za pośrednictwem NVIDIA NIM oraz partnerów oferujących chmurę AI i usługi wnioskowania: Baseten, DeepInfra i FriendliAI. Receptury dostrajania modeli embeddingowych i modeli do rerankingu opublikowano w repozytorium NVIDIA NeMo Nemotron w serwisie GitHub.