NVIDIA представляет открытые модели Nemotron 3.5 для создания эмбеддингов, переранжирования и разбора документов

21 октября 2026 года NVIDIA расширила линейку Nemotron Retriever, выпустив новые открытые модели, доступные для коммерческого использования и предназначенные для создания эмбеддингов, переранжирования и извлечения данных из документов: Nemotron 3.5 Embed в вариантах 8B BF16, 1B BF16 и 1B NVFP4, Nemotron 3.5 Rerank 8B BF16 и Nemotron 3.5 Parse с 631 миллионом параметров.

В объявлении, подготовленном NVIDIA и опубликованном на Hugging Face компания сообщила, что этот выпуск предназначен для корпоративных рабочих процессов с агентами и добавляет возможности мультимодального поиска, ранжирования по релевантности и обработки документов. NVIDIA отметила, что качество поиска влияет как на ответы агента, так и на затраты на инференс LLM для выполнения задачи: если найденные данные неполны или не имеют отношения к запросу, агенты проводят больше поисков и просматривают больше документов, расходуя дополнительные токены инференса, прежде чем завершить работу.

Четыре варианта Embed и Rerank предназначены для разных сценариев развертывания. Nemotron 3.5 Embed 8B BF16 позиционируется как решение для поиска с упором на качество по тексту и документам с насыщенным визуальным содержимым. Модель 1B BF16 обеспечивает мультимодальный поиск модели 8B в более компактном формате — для мультимодальной индексации и обработки запросов. В модели 1B NVFP4 квантование NVFP4 применяется как к текстовому, так и к визуальному энкодеру; она рассчитана на крупномасштабную индексацию документов и высокую пропускную способность при поиске на поддерживаемом оборудовании. Nemotron 3.5 Rerank 8B BF16 совместно оценивает пары «запрос — документ», чтобы точнее упорядочивать по релевантности текстовые и визуальные результаты и отбирать данные для генерации с дополнением поиском и агентных рабочих процессов. Поиск охватывает как текст документов, так и изображения, например таблицы, графики, инфографику, технические спецификации и схемы. NVIDIA оценила поиск по тексту на 34 языках, а мультиязычный визуальный поиск — на MIRACL Vision, охватывающем 18 языков, и KoViDoRe; компания отметила, что модели могут работать и с другими языками, помимо проверенных.

Эксперименты с агентным поиском

Чтобы измерить влияние поиска на поведение агента, NVIDIA оценила Nemotron 3.5 Embed и Rerank на ViDoRe v3, BRIGHT и BrowseComp-Plus. ViDoRe v3 использует одновременно текстовые и визуальные входные данные, тогда как BRIGHT и BrowseComp-Plus работают только с текстом. В проверяемом конвейере агент ищет информацию в корпусе с помощью поискового инструмента, анализирует полученные данные и корректирует последующие запросы. В ходе испытаний меняли реализацию поискового инструмента в конфигурациях только с построением эмбеддингов и с построением эмбеддингов и переранжированием, используя разные модели; при этом LLM агента, инструменты, набор задач, корпус и политика выполнения оставались неизменными. В ходе оценки отслеживали, находил ли агент нужную информацию для каждой задачи, а также общее число токенов инференса агента на задачу за все этапы взаимодействия, включая входные и выходные токены.

По данным NVIDIA, добавление Nemotron 3.5 Rerank в конвейер снизило затраты на токены для агентной обработки одного запроса примерно на 14% при использовании модели Embed 8B и на 13% — при использовании модели 1B; точность поиска улучшилась в обеих конфигурациях. По данным NVIDIA, в сочетании с моделью Embed 8B переранжировщик показал результат примерно на 0,9 пункта nDCG@10 выше, чем Qwen3-VL-Reranker-8B, при сопоставимых затратах на токены для агентной обработки.

Результаты в рейтингах

По данным NVIDIA, на ViDoRe v3.1 модель Nemotron 3.5 Embed 8B BF16 набрала 61,17 nDCG@10 и заняла первое место среди моделей плотного поиска по состоянию на 20 октября 2026 года. Компания оценивает это как улучшение на 8,94 пункта по сравнению с результатом 52,23, которого достигла ее модель Llama Nemotron Embed VL 1B. Дистиллированная модель 1B BF16 набрала 58,38 nDCG@10, сохранив, по данным NVIDIA, 95,4% результата модели-учителя 8B. На MIRACL Vision модель 8B, по данным NVIDIA, набрала 72,6 nDCG@10 — на 4,3 пункта больше, чем Qwen3-VL-Embedding-8B. Компания также сообщает, что обе модели Embed превосходят базовые модели Qwen на KoViDoRe при обработке совместных визуальных и текстовых входных данных.

NVIDIA совместно с командой MTEB запускает рейтинг переранжирования ViDoRe v3.1, охватывающий только изображения, только текст, а также совместные визуальные и текстовые входные данные. По данным NVIDIA, переранжировщик набрал 60,49 nDCG@10 на совместных входных данных против 59,17 у Qwen3-VL-Reranker-8B и занял первое место в этом рейтинге по состоянию на 20 октября 2026 года.

Пропускная способность и дообучение для конкретных предметных областей

Для развертывания в производственной среде, по данным NVIDIA, вариант NVFP4 обеспечивает на NVIDIA GB200 пропускную способность на 27,1% выше, чем модель 1B BF16: 128,8 документа в секунду против 101,3. При этом на ViDoRe v3 для совместных визуальных и текстовых входных данных он сохраняет 99,85% точности поиска модели BF16. В тестировании компании на RTX PRO 6000 Blackwell Server Edition NVIDIA NIM обрабатывала 6 031 запрос в секунду — примерно в 2,9 раза больше, чем сопоставимая конфигурация vLLM, обрабатывавшая 2 099 запросов в секунду; при этом пропускная способность обработки фрагментов текста, по описанию компании, была сопоставимой.

NVIDIA также опубликовала рецепт дообучения мультимодальной модели эмбеддингов, в котором генерация синтетических данных, поиск сложных отрицательных примеров, дообучение с помощью NVIDIA NeMo AutoModel и оценка объединены в единый рабочий процесс. Это позволяет командам создавать запросы и метки релевантности на основе собственных коллекций документов. В собственном тестировании NVIDIA использовала 8 202 изображения графиков и инфографики, а также 8 591 синтетический запрос, сгенерированный Qwen3.8-Flash-Next; запросы были перечислительными и открытыми, с несколькими релевантными изображениями для каждого. После одного цикла дообучения на 6 872 запросах показатель nDCG@10 модели 1B BF16 вырос с 37,34 до 44,12 на 1 719 отложенных синтетических запросах. NVIDIA характеризует это как относительный прирост на 18%. Результат модели 8B BF16 увеличился с 41,44 до 42,75, что соответствует относительному приросту на 3%.

Архитектура и обучение моделей

Для модели эмбеддингов 8B NVIDIA использовала в качестве основы Ministral-3-8B-Instruct и инициализировала языковой компонент на базе Nemotron-3-Embed-8B-BF16, а затем применила контрастивное обучение на корпусах изображений и текстов, чтобы получить мультимодальные представления для поиска. Модели 1B были дистиллированы из модели 8B с использованием косинусной функции потерь и среднеквадратичной ошибки, которые помогали приблизить эмбеддинги ученической модели к эмбеддингам учительской; их языковой компонент был инициализирован на базе Nemotron-3-Embed-1B-BF16. Поскольку во время обучения эмбеддингов языковой компонент остаётся замороженным, текстовые эмбеддинги, по словам NVIDIA, должны совпадать с эмбеддингами соответствующих моделей Nemotron 3 Embed, поэтому существующие текстовые эмбеддинги и векторные индексы можно использовать и дальше.

Nemotron 3.5 Rerank использует ту же архитектуру базовой модели, что и модель эмбеддингов 8B, но работает как кросс-энкодер: он совместно кодирует каждую пару «запрос — документ», а не создаёт отдельные эмбеддинги запросов и документов для оценки сходства. Затем оценочная голова на основе многослойного перцептрона выдаёт скалярный логит релевантности. Все модели обучались на смеси общедоступных и синтетических мультиязычных мультимодальных данных; итоговые выпущенные веса были получены с помощью ансамблирования чекпойнтов. По словам NVIDIA, дополнительные сведения об обучающих данных приведены в карточке каждой модели на Hugging Face.

Nemotron 3.5 Parse

Nemotron 3.5 Parse преобразует изображения документов в машиночитаемый текст, сохраняя структуру, которая придаёт содержимому смысл. Модель распознаёт элементы документа, их расположение и порядок чтения, а затем выдаёт таблицы и диаграммы в формате Markdown, в виде HTML-таблиц и структурированных блоков, которые разработчики могут индексировать, искать в них информацию и обрабатывать их на последующих этапах. По данным NVIDIA, Parse набрала 75,20 балла в тесте ParseBench при скорости 10,5 страницы в секунду на одном NVIDIA H100, заняв первое место среди моделей с числом параметров менее 1 миллиарда по состоянию на 20 октября 2026 года. ParseBench оценивает извлечение таблиц и диаграмм, точность передачи содержания, семантическое форматирование и привязку к визуальным элементам.

Три режима инференса позволяют разработчикам выбирать баланс между пропускной способностью и точностью, используя одну и ту же модель. При однопроходной обработке каждая страница считывается один раз; результат составляет 72,74 балла при скорости 16,1 страницы в секунду. При двухпроходной обработке повторно анализируются таблицы и диаграммы, отмеченные при первоначальном разборе страницы; результат достигает 74,92 балла при скорости 11,2 страницы в секунду. Трёхпроходная обработка добавляет этап обнаружения, на котором находятся дополнительные области для уточнения; результат достигает 75,20 балла при скорости 10,5 страницы в секунду. NVIDIA характеризует все три варианта как оптимальные по Парето в рамках своего сравнения, поскольку ни одна из остальных сравниваемых конфигураций не обеспечивает одновременно более высокую точность и пропускную способность.

Для обучения Parse использовались корпоративные документы, научные статьи, формы, таблицы, диаграммы и тексты на разных языках; набор данных был расширен с помощью механизма генерации синтетических данных. По данным NVIDIA, модель показывает высокие результаты в тестах, охватывающих 163 сочетания языков и письменностей. На этапе дообучения NVIDIA применила оптимизацию относительной политики группы, добавив специальные вознаграждения за правильную структуру и штрафы за ошибки. По словам компании, это сократило число повторяющихся циклов генерации и незакрытых блоков, сделало таблицы более последовательными и улучшило соответствие схемам диаграмм. NVIDIA также поблагодарила LightOn, отметив, что совместно разработанные методы с открытым исходным кодом сыграли ключевую роль в улучшении модели.

Оценки партнёров и доступность

В анонсе приведены предварительные оценки корпоративных партнёров. Согласно публикации, у Elastic API инференса в Elasticsearch предоставляет доступ к моделям эмбеддингов и ранжирования Nemotron Retriever через конечные точки инференса NVIDIA; добавление Nemotron 3 через Elastic Inference Service ожидается в ближайшее время, а поддержка локального развёртывания указана в дорожной карте. Vectorize протестировала Nemotron 3.5 Embed в составе своей системы памяти агента Hindsight Agent Memory и, согласно публикации, модель заняла первое место в двух тестах памяти на основе длинных диалогов: показатель recall@10 составил 93,8% в LoCoMo и 65,9% в BEAM 100K в сравнении с семью конкурирующими моделями эмбеддингов; кроме того, были получены самые высокие показатели MRR и recall@5. По результатам оценки Perplexity, Nemotron 3.5 Rerank 8B показала самый высокий средний балл во внутреннем тесте Perplexity по ранжированию, включавшем 72 задания, и продемонстрировала высокие результаты во всех шести областях. Turbopuffer протестировала модель эмбеддингов 8B на корпоративном тесте поиска по PDF-файлам и сообщает, что при Recall@20 она находит примерно на 5% больше релевантных результатов, чем следующая по результатам модель. Теперь компания также предлагает эти модели в качестве встроенного варианта для создания эмбеддингов.

Веса, данные и рецепты обучения с открытым доступом опубликованы на Hugging Face. Развёртывать модели в производственной среде можно с помощью NVIDIA NIM, а также через партнёров в сфере облачных ИИ-решений и инференса Baseten, DeepInfra и FriendliAI. Рецепты дообучения моделей эмбеддингов и ранжирования опубликованы в репозитории NVIDIA NeMo Nemotron на GitHub.