NVIDIA esittelee avoimet Nemotron 3.5 -mallit upotuksiin, uudelleenjärjestämiseen ja jäsennykseen

NVIDIA laajensi 21. lokakuuta 2026 Nemotron Retriever -mallistoaan uusilla avoimilla, kaupallisesti saatavilla olevilla malleilla upotuksia, uudelleenjärjestämistä ja asiakirjojen poimintaa varten: Nemotron 3.5 Embed -mallista on saatavilla 8B BF16-, 1B BF16- ja 1B NVFP4 -versiot, lisäksi tarjolla ovat Nemotron 3.5 Rerank 8B BF16 ja 631 miljoonan parametrin Nemotron 3.5 Parse.

NVIDIAn Hugging Facessa julkaisemassa ilmoituksessa yhtiö kertoi julkaisun kohdistuvan yritysten agenttityönkulkuihin ja tuovan niihin multimodaalisen haun, osuvuuden järjestämisen ja asiakirjojen käsittelyn ominaisuuksia. NVIDIA kuvaili haun laatua tekijäksi, joka vaikuttaa sekä agentin tuottamiin vastauksiin että tehtävän LLM-päättelyn kustannuksiin. Yhtiön mukaan jos haun tulokset ovat puutteellisia tai epäolennaisia, agentit tekevät enemmän hakuja ja tarkastelevat useampia asiakirjoja, mikä kuluttaa lisää päättelytokeneita ennen tehtävän valmistumista.

Neljä Embed- ja Rerank-malliversiota palvelevat erilaisia käyttöönoton tarpeita. Nemotron 3.5 Embed 8B BF16 on suunniteltu laadukasta hakua varten tekstistä ja visuaalisesti rikkaista asiakirjoista. 1B BF16 -malli tiivistää 8B-mallin multimodaalisen haun pienempään kokoon multimodaalista indeksointia ja kyselyjen käsittelyä varten. 1B NVFP4 -mallissa sekä teksti- että kuvakoodaimet kvantisoidaan NVFP4-muotoon. Malli on tarkoitettu suurten asiakirjamäärien indeksointiin ja suuren läpimenon hakuun tuetulla laitteistolla. Nemotron 3.5 Rerank 8B BF16 pisteyttää kyselyjen ja asiakirjojen pareja yhdessä parantaakseen tekstistä ja kuvista löytyvien ehdokkaiden osuvuuden mukaista järjestystä sekä valitakseen aineistoa hakua hyödyntävää generointia ja agenttityönkulkuja varten. Haku kattaa asiakirjojen tekstin lisäksi esimerkiksi taulukoiden, kaavioiden, infografiikoiden, tietolehtisten ja kaaviokuvien kaltaiset kuvat. NVIDIA arvioi tekstihakua 34 kielellä ja monikielistä visuaalista hakua 18 kieltä kattavilla MIRACL Vision- ja KoViDoRe-aineistoilla. Yhtiö huomautti, että mallit saattavat toimia myös muilla kuin testatuilla kielillä.

Agenttihakua koskevat kokeet

NVIDIA arvioi Nemotron 3.5 Embed- ja Rerank-malleja ViDoRe v3-, BRIGHT- ja BrowseComp-Plus-aineistoilla selvittääkseen, miten haku vaikuttaa agentin toimintaan. ViDoRe v3 käyttää yhdistettyjä teksti- ja kuvasyötteitä, kun taas BRIGHT ja BrowseComp-Plus käyttävät vain tekstisyötteitä. Testatussa työnkulussa agentti hakee aineistosta hakutyökalulla, tarkastelee palautettuja hakutuloksia ja muokkaa niiden perusteella seuraavia kyselyjään. Testimatriisissa hakutyökalun toteutusta vaihdettiin eri malleja käyttävissä pelkkään upotukseen perustuvissa sekä upotusta ja uudelleenjärjestämistä yhdistävissä kokoonpanoissa, mutta agentin LLM, työkalut, tehtäväjoukko, aineisto ja suoritusperiaatteet pidettiin samoina. Arvioinnissa seurattiin, löysikö agentti kussakin tehtävässä olennaiset tiedot, sekä tehtäväkohtaisten päättelytokenien kokonaismäärää kaikilla vuoroilla. Mukaan laskettiin sekä syöte- että tulostetokenit.

NVIDIAn mukaan Nemotron 3.5 Rerankin lisääminen työnkulkuun pienensi agenttityönkulun tokenkustannusta kyselyä kohti noin 14 % yhdessä 8B-upotusmallin kanssa ja 13 % yhdessä 1B-mallin kanssa, ja haun tarkkuus parani molemmissa kokoonpanoissa. Kun uudelleenjärjestäjää käytettiin 8B-upotusmallin kanssa, sen tulos oli noin 0,9 nDCG@10-pistettä parempi kuin Qwen3-VL-Reranker-8B:n tulos agenttityönkulun tokenkustannuksen pysyessä vertailukelpoisena, NVIDIA kertoo.

Tulokset tulostaulukoissa

NVIDIAn mukaan Nemotron 3.5 Embed 8B BF16 saavutti ViDoRe v3.1 -testissä tuloksen 61,17 nDCG@10 ja sijoittui 20. lokakuuta 2026 tiheiden hakumallien joukossa ensimmäiseksi. Yhtiön mukaan tulos on 8,94 pistettä parempi kuin sen Llama Nemotron Embed VL 1B -mallin saavuttama 52,23. Tislatun 1B BF16 -mallin tulos oli 58,38 nDCG@10, mikä vastaa NVIDIAn mukaan 95,4 %:a 8B-opettajamallin tuloksesta. MIRACL Vision -testissä 8B-mallin tulos oli NVIDIAn mukaan 72,6 nDCG@10 eli 4,3 pistettä Qwen3-VL-Embedding-8B:tä parempi. Yhtiö kertoo myös, että molemmat upotusmallien koot päihittivät KoViDoRe-testissä Qwen-vertailumallit, kun syötteissä oli yhdistetty kuvaa ja tekstiä.

NVIDIA ja MTEB-tiimi avaavat yhdessä ViDoRe v3.1 -uudelleenjärjestämistulostaulukon, joka kattaa pelkät kuvat, pelkän tekstin sekä yhdistetyt kuva- ja tekstisyötteet. NVIDIAn mukaan uudelleenjärjestäjän tulos yhdistetyillä syötteillä oli 60,49 nDCG@10, kun Qwen3-VL-Reranker-8B:n tulos oli 59,17. Näin malli nousi tulostaulukon kärkeen 20. lokakuuta 2026 tilanteen mukaan.

Läpimeno ja toimialakohtainen hienosäätö

Tuotantokäyttöä varten NVFP4-version läpimeno on NVIDIAn mukaan 27,1 % suurempi kuin 1B BF16 -mallin läpimeno NVIDIA GB200 -laitteistolla: malli käsittelee 128,8 asiakirjaa sekunnissa 101,3 asiakirjaan verrattuna. Samalla sen hakutarkkuus säilyttää 99,85 % BF16-mallin tarkkuudesta ViDoRe v3 -testissä yhdistetyillä kuva- ja tekstisyötteillä. Yhtiön RTX PRO 6000 Blackwell Server Edition -laitteistolla tekemissä testeissä NVIDIA NIM käsitteli 6 031 kyselypyyntöä sekunnissa, noin 2,9 kertaa enemmän kuin vertailukelpoinen vLLM-kokoonpano, joka käsitteli 2 099 pyyntöä sekunnissa. Katkelmien käsittelyn läpimenon kerrotaan olleen vertailukelpoinen.

NVIDIA julkaisi myös multimodaalisten upotusten hienosäätöohjeen, jossa käydään yhtenä työnkulkuna läpi synteettisen datan tuottaminen, vaikeiden negatiivisten esimerkkien louhinta, hienosäätö NVIDIA NeMo AutoModelilla ja arviointi. Näin tiimit voivat muodostaa kyselyitä ja osuvuusmerkintöjä omista asiakirjakokoelmistaan. NVIDIA testasi ohjetta 8 202 chart- ja infografiikkakuvalla sekä 8 591 Qwen3.8-Flash-Nextillä tuotetulla synteettisellä kyselyllä. Kyselyt keskittyivät luettelomaisiin ja avoimiin kysymyksiin, joihin oli useita olennaisia kuvia. Kun mallia oli hienosäädetty yhdellä kierroksella 6 872 kyselyllä, 1B BF16 -mallin nDCG@10 nousi 37,34:stä 44,12:een 1 719 testiin varatussa synteettisessä kyselyssä. NVIDIA kuvailee tätä 18 %:n suhteelliseksi parannukseksi. 8B BF16 -mallin tulos nousi 41,44:stä 42,75:een, mikä vastaa 3 %:n suhteellista parannusta.

Mallien arkkitehtuuri ja koulutus

8B:n upotusmallissa NVIDIA hyödynsi Ministral-3-8B-Instruct-mallia ja alusti kielikomponentin Nemotron-3-Embed-8B-BF16-mallista. Sen jälkeen se sovelsi kontrastiivista oppimista kuva- ja tekstiaineistoihin tuottaakseen multimodaalisia hakuesityksiä. 1B-mallit tislautettiin 8B-mallista kosini- ja keskineliövirhehäviöfunktioiden avulla siten, että opiskelijamallin upotukset sovitettiin opettajamallin upotuksiin. Niiden kielikomponentti alustettiin Nemotron-3-Embed-1B-BF16-mallista. Koska kielikomponentti pysyy jäädytettynä upotusten koulutuksen aikana, tekstipohjaisten upotusten pitäisi NVIDIAn mukaan vastata vastaavien Nemotron 3 Embed -mallien upotuksia. Näin nykyisiä tekstipohjaisia upotuksia ja vektori-indeksejä voidaan käyttää edelleen.

Nemotron 3.5 Rerank käyttää samaa runkoarkkitehtuuria kuin 8B:n upotusmalli, mutta toimii ristikkäis-enkooderina: se koodaa kunkin kysely–dokumentti-parin yhdessä sen sijaan, että upottaisi kyselyt ja dokumentit erikseen samankaltaisuuden pisteytystä varten. Tämän jälkeen monikerroksinen perceptron-pisteytyspää tuottaa skalaariarvoisen relevanssilogitin. Kaikki mallit koulutettiin julkisesti saatavilla olevan ja synteettisen monikielisen ja multimodaalisen aineiston yhdistelmällä. Lopulliset julkaistut painot tuotettiin yhdistämällä tarkistuspisteitä. NVIDIAn mukaan kunkin mallin Hugging Face -mallikortissa on lisätietoja koulutusaineistosta.

Nemotron 3.5 Parse

Nemotron 3.5 Parse muuntaa dokumenttikuvat koneellisesti luettavaksi tekstiksi ja säilyttää samalla sisällölle merkityksen antavan rakenteen. Malli tunnistaa dokumentin elementit, niiden sijainnit ja lukujärjestyksen ja tuottaa sitten taulukot ja kaaviot Markdown-muodossa, HTML-taulukoina ja jäsenneltyinä lohkoina, joita kehittäjät voivat indeksoida, hakea ja käsitellä jatkokäytössä. NVIDIA ilmoittaa Parsen ParseBench-tulokseksi 75,20, kun käsittelynopeus on 10,5 sivua sekunnissa yhdellä NVIDIA H100 -näytönohjaimella. Tulos sijoittaa mallin ensimmäiseksi alle miljardin parametrin mallien joukossa 20. lokakuuta 2026 tilanteen mukaan. ParseBench testaa taulukoiden ja kaavioiden poimintaa, sisällön uskollisuutta, semanttista muotoilua ja visuaalista kohdistusta.

Kolmen päättelytilan avulla kehittäjät voivat samalla mallilla vaihtaa läpimenonopeutta tarkkuuteen. Yhden läpikäynnin tilassa kukin sivu luetaan kerran, ja tulos on 72,74 käsittelynopeuden ollessa 16,1 sivua sekunnissa. Kahden läpikäynnin tilassa palataan taulukoihin ja kaavioihin, jotka on merkitty tarkistettaviksi sivun ensimmäisessä jäsennyksessä. Tällöin tulos on 74,92 ja käsittelynopeus 11,2 sivua sekunnissa. Kolmen läpikäynnin tilassa lisätään tunnistusvaihe, joka etsii muita tarkennettavia alueita. Tulos on tällöin 75,20 ja käsittelynopeus 10,5 sivua sekunnissa. NVIDIA kuvaa kaikkia kolmea toimintapistettä Pareto-optimaalisiksi omassa vertailussaan, sillä mikään muu vertailtu kokoonpano ei paranna samanaikaisesti sekä tarkkuutta että läpimenonopeutta.

Parsen koulutusaineisto sisälsi yritysdokumentteja, tieteellisiä artikkeleita, lomakkeita, taulukoita, kaavioita ja monikielistä tekstiä, ja synteettisen datan tuottamisjärjestelmä laajensi aineistoa. NVIDIA kertoo mallin suoriutuneen vahvasti arvioinneissa, jotka kattoivat 163 kieli- ja kirjoitusjärjestelmäyhdistelmää. Jälkikoulutuksessa NVIDIA käytti Group Relative Policy Optimization -menetelmää ja räätälöityjä palkkioita oikeasta rakenteesta sekä rangaistuksia virheistä. NVIDIAn mukaan tämä vähensi toistuvia generointisilmukoita ja sulkemattomia lohkoja, teki taulukoista yhtenäisempiä ja paransi kaavioskeemojen noudattamista. NVIDIA kiitti myös LightOnia ja totesi, että jaetut avoimen lähdekoodin menetelmät olivat ratkaisevan tärkeitä mallin parantamisessa.

Kumppanien arviot ja saatavuus

Julkistuksessa esitellään yrityskumppanien varhaisia arvioita. Elasticin osalta julkaisussa kerrotaan, että Elasticsearchin Inference API tarjoaa Nemotron Retriever -upotus- ja uudelleenjärjestelymallit NVIDIA-päättelypäätepisteiden kautta. Nemotron 3 on määrä lisätä pian Elastic Inference Serviceen, ja paikallisen käyttöönoton tuki on tiekartalla. Vectorize testasi Nemotron 3.5 Embed -mallia Hindsight Agent Memory -järjestelmässään. Julkaisun mukaan malli sijoittui ensimmäiseksi kahdessa pitkien keskustelujen muistia mittaavassa vertailussa: sen recall@10-tulos oli LoCoMossa 93,8 % ja BEAM 100K:ssa 65,9 % seitsemää kilpailevaa upotusmallia vastaan. Lisäksi sen MRR- ja recall@5-tulokset olivat korkeimmat. Perplexityn arvioinnissa Nemotron 3.5 Rerank 8B sai korkeimman keskiarvon Perplexityn yksityisessä, 72 tehtävää sisältävässä uudelleenjärjestelyn vertailutestissä, ja tulosten kerrotaan olleen vahvoja kaikilla kuudella osa-alueella. Turbopuffer testasi 8B:n upotusmallia yrityskäyttöön tarkoitetussa PDF-hakuhaasteessa ja raportoi sen tuottavan Recall@20-arvolla noin 5 % enemmän osuvia tuloksia kuin seuraavaksi paras malli. Nyt mallit ovat saatavilla myös natiivina upotusvaihtoehtona.

Avoimet painot, data ja koulutusreseptit ovat saatavilla Hugging Facessa. Tuotantokäyttöön mallit voi ottaa käyttöön NVIDIA NIMin kautta sekä tekoälypilvi- ja inferenssikumppanien Basetenin, DeepInfran ja FriendliAI:n palveluissa. Upotusmallien ja uudelleenjärjestelymallien hienosäätöreseptit on julkaistu NVIDIA NeMo Nemotron -GitHub-tietovarastossa.