NVIDIA представляє відкриті моделі Nemotron 3.5 для створення векторних подань, повторного ранжування та парсингу

21 жовтня 2026 року NVIDIA розширила лінійку Nemotron Retriever новими відкритими моделями, доступними для комерційного використання, для створення векторних подань, повторного ранжування та вилучення даних із документів: Nemotron 3.5 Embed у варіантах 8B BF16, 1B BF16 і 1B NVFP4, Nemotron 3.5 Rerank 8B BF16 і Nemotron 3.5 Parse із 631 мільйоном параметрів.

У повідомленні, підготовленому NVIDIA й опублікованому на Hugging Face компанія зазначила, що реліз призначений для корпоративних агентних процесів і додає можливості мультимодального пошуку, ранжування за релевантністю та обробки документів. NVIDIA назвала якість пошуку чинником, що впливає як на відповіді агента, так і на витрати на інференс LLM для виконання завдання: за словами компанії, коли знайдені докази неповні або нерелевантні, агенти виконують більше пошукових запитів і переглядають більше документів, витрачаючи додаткові токени інференсу, перш ніж завершити завдання.

Чотири варіанти Embed і Rerank призначені для різних сценаріїв розгортання. Nemotron 3.5 Embed 8B BF16 призначена для пошуку з акцентом на якість у текстах і документах із насиченим візуальним вмістом. Модель 1B BF16 забезпечує мультимодальний пошук, як і модель 8B, але займає менше місця, що дає змогу використовувати її для мультимодальної індексації та обробки пошукових запитів. У моделі 1B NVFP4 квантування NVFP4 застосовується і до текстового, і до візуального енкодерів; вона призначена для масштабної індексації документів і пошуку з високою пропускною здатністю на підтримуваному обладнанні. Nemotron 3.5 Rerank 8B BF16 спільно оцінює пари «запит — документ», щоб точніше впорядковувати текстові й візуальні результати за релевантністю та вибирати докази для генерації з доповненням пошуковими даними й агентних процесів. Пошук охоплює текст документів, а також зображення, зокрема таблиці, графіки, інфографіку, технічні характеристики та схеми. NVIDIA оцінила пошук тексту 34 мовами й мультимодальний візуальний пошук на MIRACL Vision, що охоплює 18 мов, і KoViDoRe. Компанія зауважила, що моделі можуть працювати й з іншими мовами, крім тих, які перевіряли.

Експерименти з агентним пошуком

Щоб виміряти вплив пошуку на поведінку агентів, NVIDIA протестувала Nemotron 3.5 Embed і Rerank на ViDoRe v3, BRIGHT і BrowseComp-Plus. ViDoRe v3 використовує комбіновані текстові й візуальні вхідні дані, тоді як BRIGHT і BrowseComp-Plus — лише текстові. У тестованому процесі агент шукає інформацію в корпусі за допомогою пошукового інструмента, аналізує отримані докази й коригує наступні запити. У межах тестування змінювали реалізацію пошукового інструмента для конфігурацій лише з векторизацією та з векторизацією і повторним ранжуванням, використовуючи різні моделі; водночас LLM агента, інструменти, набір завдань, корпус і політика виконання залишалися незмінними. Під час оцінювання відстежували, чи знаходив агент релевантну інформацію для кожного завдання, а також загальну кількість токенів інференсу агента на завдання за всі ходи, враховуючи і вхідні, і вихідні токени.

За даними NVIDIA, додавання Nemotron 3.5 Rerank до процесу зменшило витрати токенів на агентні запити приблизно на 14% у поєднанні з моделлю Embed 8B і на 13% — із моделлю 1B; точність пошуку зросла в обох конфігураціях. За даними компанії, у парі з моделлю Embed 8B модуль повторного ранжування показав результат приблизно на 0,9 пункту nDCG@10 вищий, ніж Qwen3-VL-Reranker-8B, за порівнянних витрат токенів на агентні запити.

Результати в таблицях лідерів

За даними NVIDIA, на ViDoRe v3.1 модель Nemotron 3.5 Embed 8B BF16 набрала 61,17 nDCG@10 і станом на 20 жовтня 2026 року посіла перше місце серед моделей щільного пошуку. Компанія називає це покращенням на 8,94 пункту порівняно з результатом 52,23, якого досягла її модель Llama Nemotron Embed VL 1B. Дистильована модель 1B BF16 набрала 58,38 nDCG@10 і, за даними NVIDIA, зберегла 95,4% результату моделі-вчителя 8B. На MIRACL Vision модель 8B набрала 72,6 nDCG@10 — на 4,3 пункту більше, ніж Qwen3-VL-Embedding-8B. NVIDIA також повідомляє, що обидві моделі Embed перевершили базові моделі Qwen на KoViDoRe для комбінованих текстових і візуальних вхідних даних.

NVIDIA разом із командою MTEB запускає таблицю лідерів із повторного ранжування на ViDoRe v3.1, яка охоплюватиме лише зображення, лише текст, а також комбіновані текстові й візуальні вхідні дані. За даними NVIDIA, модуль повторного ранжування набрав 60,49 nDCG@10 на комбінованих вхідних даних проти 59,17 у Qwen3-VL-Reranker-8B і станом на 20 жовтня 2026 року очолив цю таблицю лідерів.

Пропускна здатність і донавчання для конкретних предметних галузей

Для розгортання у виробничому середовищі варіант NVFP4, за даними NVIDIA, забезпечує на NVIDIA GB200 пропускну здатність на 27,1% вищу, ніж модель 1B BF16: 128,8 документа на секунду проти 101,3. Водночас на ViDoRe v3 для комбінованих текстових і візуальних вхідних даних він зберігає 99,85% точності пошуку моделі BF16. Під час тестування компанії на RTX PRO 6000 Blackwell Server Edition NVIDIA NIM обробляла 6 031 пошуковий запит за секунду — приблизно у 2,9 раза більше, ніж порівнянна конфігурація vLLM, яка обробляла 2 099 запитів за секунду; пропускна здатність обробки фрагментів тексту була, за описом компанії, порівнянною.

NVIDIA також опублікувала інструкцію з донавчання мультимодальної моделі векторних подань. Вона охоплює створення синтетичних даних, відбір складних негативних прикладів, донавчання за допомогою NVIDIA NeMo AutoModel і оцінювання як єдиний робочий процес, щоб команди могли створювати запити й мітки релевантності на основі власних колекцій документів. У власному тестуванні інструкції NVIDIA використала 8 202 зображення графіків та інфографіки й 8 591 синтетичний запит, створений за допомогою Qwen3.8-Flash-Next. Тестування було зосереджене на перелікових і відкритих запитах, для яких релевантними були кілька зображень. Після одного циклу донавчання на 6 872 запитах показник nDCG@10 моделі 1B BF16 зріс із 37,34 до 44,12 на 1 719 відкладених синтетичних запитах; NVIDIA описує це як відносний приріст на 18%. Результат моделі 8B BF16 зріс із 41,44 до 42,75 — відносний приріст на 3%.

Архітектура та навчання моделей

Для моделі ембеддингу 8B NVIDIA використала як основу Ministral-3-8B-Instruct і ініціалізувала мовний компонент на основі Nemotron-3-Embed-8B-BF16, а потім застосувала контрастивне навчання на корпусах зображень і текстів, щоб створити мультимодальні представлення для пошуку. Моделі 1B дистилювали з моделі 8B за допомогою функцій втрат на основі косинусної подібності та середньоквадратичної помилки, які вирівнювали ембеддинги студентської моделі з ембеддингами вчительської; мовний компонент цих моделей ініціалізували на основі Nemotron-3-Embed-1B-BF16. Оскільки під час навчання ембеддингів мовний компонент залишається замороженим, за словами NVIDIA, текстові ембеддинги мають збігатися з ембеддингами відповідних моделей Nemotron 3 Embed, тож можна й надалі використовувати наявні текстові ембеддинги та векторні індекси.

Nemotron 3.5 Rerank використовує ту саму архітектуру базової мережі, що й модель ембеддингу 8B, але працює як крос-кодувальник: він спільно кодує кожну пару «запит — документ», а не створює окремі ембеддинги запитів і документів для оцінювання подібності. Потім оцінювальна голова на основі багатошарового перцептрона видає скалярний логіт релевантності. Усі моделі навчалися на суміші загальнодоступних і синтетичних мультимодальних даних багатьма мовами, а остаточні опубліковані ваги отримали за допомогою ансамблювання контрольних точок. За словами NVIDIA, докладнішу інформацію про навчальні дані наведено в картці кожної моделі на Hugging Face.

Nemotron 3.5 Parse

Nemotron 3.5 Parse перетворює зображення документів на машинозчитуваний текст, зберігаючи структуру, завдяки якій зміст набуває сенсу. Модель виявляє елементи документа, їхнє розташування та порядок читання, а потім виводить таблиці й діаграми у форматах Markdown і HTML, а також у вигляді структурованих блоків, які розробники можуть індексувати, шукати в них інформацію та обробляти надалі. За даними NVIDIA, Parse набирає 75,20 бала в тесті ParseBench зі швидкістю 10,5 сторінки за секунду на одному NVIDIA H100, посідаючи перше місце серед моделей із менш ніж 1 мільярдом параметрів станом на 20 жовтня 2026 року. ParseBench оцінює вилучення таблиць і діаграм, точність передавання змісту, семантичне форматування та візуальне зіставлення.

Три режими інференсу дають змогу розробникам знаходити баланс між пропускною здатністю та точністю, використовуючи ту саму модель. Під час одного проходу модель зчитує кожну сторінку один раз і набирає 72,74 бала зі швидкістю 16,1 сторінки за секунду. Подвійний прохід повторно обробляє таблиці й діаграми, позначені під час початкового аналізу сторінки, і дає результат 74,92 бала зі швидкістю 11,2 сторінки за секунду. Потрійний прохід додає етап виявлення, який знаходить додаткові ділянки для уточнення, і дає результат 75,20 бала зі швидкістю 10,5 сторінки за секунду. NVIDIA називає всі три режими оптимальними за Парето в межах свого порівняння, оскільки жодна з інших порівнюваних конфігурацій не забезпечує одночасного підвищення точності та пропускної здатності.

Для навчання Parse використовували дані з корпоративних документів, наукових статей, форм, таблиць, діаграм і багатомовних текстів; їхній обсяг розширили за допомогою рушія синтетичних даних. NVIDIA повідомляє про високу ефективність моделі в оцінюваннях, що охоплювали 163 поєднання мов і систем письма. Під час донавчання NVIDIA застосувала оптимізацію відносної політики групи з індивідуально налаштованими винагородами за правильну структуру та штрафами за помилки. За словами компанії, це зменшило кількість повторюваних циклів генерації та незакритих блоків, зробило таблиці послідовнішими й поліпшило відповідність схемам діаграм. NVIDIA також подякувала LightOn, зазначивши, що спільні методи з відкритим кодом відіграли вирішальну роль у вдосконаленні моделі.

Оцінювання партнерів і доступність

В анонсі наведено попередні оцінки від корпоративних партнерів. У дописі зазначено, що для Elastic API інференсу в Elasticsearch надає доступ до моделей ембеддингу та ранжування Nemotron Retriever через кінцеві точки інференсу NVIDIA; Nemotron 3 незабаром планують додати через Elastic Inference Service, а підтримка локального розгортання є в дорожній карті. Vectorize протестувала Nemotron 3.5 Embed у складі свого Hindsight Agent Memory і, згідно з дописом, модель посіла перше місце в двох тестах пам’яті для тривалих розмов, показавши повноту відтворення recall@10 на рівні 93,8% у LoCoMo та 65,9% у BEAM 100K серед семи конкуруючих моделей ембеддингу, а також найвищі показники MRR і recall@5. За результатами оцінювання Perplexity, Nemotron 3.5 Rerank 8B набрала найвищий середній бал у закритому бенчмарку Perplexity для ранжування за 72 завданнями; високі результати зафіксовано в усіх шести сферах. Turbopuffer протестувала модель ембеддингу 8B на корпоративному бенчмарку пошуку в PDF-документах і повідомляє, що вона знаходить приблизно на 5% більше релевантних результатів за показником Recall@20, ніж найближча за результатами модель. Тепер компанія пропонує ці моделі як вбудований варіант для створення ембеддингів.

Відкриті ваги, дані та рецепти навчання доступні на Hugging Face; для виробничого розгортання можна скористатися NVIDIA NIM, а також хмарними ШІ-платформами й сервісами інференсу партнерів Baseten, DeepInfra та FriendliAI. Рецепти донавчання моделей ембеддингу та ранжування опубліковано в репозиторії NVIDIA NeMo Nemotron на GitHub.