NVIDIA presenta los modelos abiertos Nemotron 3.5 para generar embeddings, reordenar resultados y analizar documentos

El 21 de octubre de 2026, NVIDIA amplió su colección Nemotron Retriever con nuevos modelos abiertos y disponibles para uso comercial para generar embeddings, reordenar resultados y extraer información de documentos: Nemotron 3.5 Embed en las variantes 8B BF16, 1B BF16 y 1B NVFP4; Nemotron 3.5 Rerank 8B BF16; y Nemotron 3.5 Parse, con 631 millones de parámetros.

En un anuncio publicado en Hugging Face y redactado por NVIDIA, la empresa afirmó que el lanzamiento está dirigido a flujos de trabajo empresariales con agentes e incorpora capacidades de recuperación multimodal, clasificación por relevancia y procesamiento de documentos. NVIDIA presentó la calidad de la recuperación como un factor que influye tanto en las respuestas que genera un agente como en el costo de inferencia del LLM para una tarea. Señaló que, cuando la evidencia obtenida es incompleta o irrelevante, los agentes realizan más búsquedas y revisan más documentos, lo que consume tokens de inferencia adicionales antes de completar la tarea.

Las cuatro variantes de Embed y Rerank están diseñadas para distintas funciones de implementación. Nemotron 3.5 Embed 8B BF16 está pensado para búsquedas que priorizan la calidad en textos y documentos con abundante contenido visual. El modelo 1B BF16 condensa la recuperación multimodal del modelo 8B en un formato más compacto para indexar contenido multimodal y atender consultas. El modelo 1B NVFP4 aplica cuantización NVFP4 tanto a los codificadores de texto como a los de imágenes, y está dirigido a la indexación de documentos a gran escala y a la recuperación de alto rendimiento en hardware compatible. Nemotron 3.5 Rerank 8B BF16 puntúa conjuntamente pares de consultas y documentos para mejorar el orden por relevancia de los candidatos de texto e imagen, y seleccionar evidencia para la generación aumentada por recuperación y los flujos de trabajo con agentes. La recuperación abarca tanto el texto de los documentos como imágenes, entre ellas tablas, gráficos, infografías, hojas de datos y esquemas. NVIDIA evaluó la recuperación de texto en 34 idiomas y la recuperación visual multilingüe en MIRACL Vision, que abarca 18 idiomas, y KoViDoRe. La empresa señaló que los modelos podrían admitir más idiomas que los evaluados.

Experimentos de recuperación con agentes

Para medir cómo influye la recuperación en el comportamiento de los agentes, NVIDIA evaluó Nemotron 3.5 Embed y Rerank en ViDoRe v3, BRIGHT y BrowseComp-Plus. ViDoRe v3 combina entradas de texto e imagen, mientras que BRIGHT y BrowseComp-Plus solo utiliza entradas de texto. En la canalización evaluada, un agente busca en un corpus con una herramienta de búsqueda, revisa la evidencia obtenida y ajusta sus consultas posteriores. En la matriz de pruebas se cambió la implementación de la herramienta de búsqueda en configuraciones que solo usaban embeddings y en otras que combinaban embeddings y reranking, con distintos modelos; se mantuvieron iguales el LLM del agente, las herramientas, el conjunto de tareas, el corpus y la política de ejecución. La evaluación registró si el agente encontraba la información pertinente para cada tarea y el total de tokens de inferencia del agente por tarea a lo largo de todos los turnos, incluidos los tokens de entrada y de salida.

Según NVIDIA, incorporar Nemotron 3.5 Rerank a la canalización redujo aproximadamente un 14% el costo en tokens por consulta de los agentes al combinarlo con el modelo Embed 8B, y un 13% al combinarlo con el modelo 1B; además, la precisión de recuperación mejoró en ambas configuraciones. Según NVIDIA, al combinarse con el modelo Embed 8B, el reranker obtuvo alrededor de 0,9 puntos más de nDCG@10 que Qwen3-VL-Reranker-8B, con un costo en tokens de los agentes comparable.

Resultados en las tablas de clasificación

En ViDoRe v3.1, Nemotron 3.5 Embed 8B BF16 obtuvo una puntuación de 61,17 en nDCG@10, según NVIDIA, lo que lo situó en el primer lugar entre los modelos de recuperación densa al 20 de octubre de 2026. La empresa describe el resultado como una mejora de 8,94 puntos frente a los 52,23 obtenidos por su modelo Llama Nemotron Embed VL 1B. El modelo destilado 1B BF16 obtuvo 58,38 en nDCG@10, es decir, el 95,4% de la puntuación del modelo docente 8B, según NVIDIA. En MIRACL Vision, el modelo 8B obtuvo 72,6 en nDCG@10, 4,3 puntos por encima de Qwen3-VL-Embedding-8B; NVIDIA afirma que ambos tamaños de Embed superaron a los modelos de referencia de Qwen en KoViDoRe con entradas combinadas de imagen y texto.

NVIDIA, junto con el equipo de MTEB, lanza una tabla de clasificación de reranking para ViDoRe v3.1 que abarca entradas solo de imagen, solo de texto y entradas combinadas de imagen y texto. NVIDIA informa que el reranker obtuvo 60,49 en nDCG@10 con entradas combinadas, frente a los 59,17 de Qwen3-VL-Reranker-8B, y que ocupaba el primer puesto de esa tabla al 20 de octubre de 2026.

Rendimiento y ajuste fino por dominio

Para la implementación en producción, NVIDIA informa que la variante NVFP4 ofrece un rendimiento un 27,1% superior al del modelo 1B BF16 en NVIDIA GB200, con 128,8 documentos por segundo frente a 101,3, y conserva el 99,85% de la precisión de recuperación del modelo BF16 en ViDoRe v3 con entradas combinadas de imagen y texto. En las pruebas de la empresa con una RTX PRO 6000 Blackwell Server Edition, NVIDIA NIM atendió 6.031 solicitudes de consulta por segundo, alrededor de 2,9 veces las 2.099 solicitudes por segundo de una configuración comparable de vLLM; el rendimiento del procesamiento de pasajes se describió como comparable.

NVIDIA también publicó una receta para ajustar modelos de embeddings multimodales, que explica en un único flujo de trabajo cómo generar datos sintéticos, realizar minería de ejemplos negativos difíciles, ajustar el modelo con NVIDIA NeMo AutoModel y evaluar los resultados, para que los equipos puedan crear consultas y etiquetas de relevancia a partir de sus propias colecciones de documentos. En su propia prueba de la receta, NVIDIA utilizó 8.202 imágenes de gráficos e infografías y 8.591 consultas sintéticas generadas por Qwen3.8-Flash-Next, centradas en consultas enumerativas y abiertas con varias imágenes pertinentes. Tras una época de ajuste fino con 6.872 consultas, la puntuación nDCG@10 del modelo 1B BF16 pasó de 37,34 a 44,12 en 1.719 consultas sintéticas reservadas para la evaluación, lo que NVIDIA describe como una mejora relativa del 18%; la del modelo 8B BF16 pasó de 41,44 a 42,75, una mejora relativa del 3%.

Arquitectura y entrenamiento de los modelos

Para el modelo de embeddings 8B, NVIDIA se basó en Ministral-3-8B-Instruct e inicializó el componente lingüístico a partir de Nemotron-3-Embed-8B-BF16; después, aplicó aprendizaje contrastivo a corpus de imágenes y textos para generar representaciones multimodales destinadas a la recuperación de información. Los modelos 1B se destilaron a partir del modelo 8B mediante funciones de pérdida de coseno y de error cuadrático medio, que alinearon las incrustaciones del modelo estudiante con las del modelo maestro, y su componente lingüístico se inicializó a partir de Nemotron-3-Embed-1B-BF16. Como el componente lingüístico permanece congelado durante el entrenamiento de embeddings, NVIDIA afirma que los embeddings de solo texto deberían coincidir con los de los modelos Nemotron 3 Embed correspondientes, por lo que se pueden reutilizar los embeddings de texto y los índices vectoriales existentes.

Nemotron 3.5 Rerank comparte la arquitectura de base del modelo de embeddings 8B, pero funciona como un codificador cruzado: codifica conjuntamente cada par de consulta y documento, en lugar de incrustar las consultas y los documentos por separado para calcular su similitud. A continuación, una capa de puntuación de perceptrón multicapa genera un valor logit escalar de relevancia. Todos los modelos se entrenaron con una mezcla de datos multilingües y multimodales de acceso público y datos sintéticos; los pesos finales publicados se obtuvieron mediante la combinación de puntos de control. NVIDIA señala que se pueden consultar más detalles sobre los datos de entrenamiento en la tarjeta de modelo de cada modelo en Hugging Face.

Nemotron 3.5 Parse

Nemotron 3.5 Parse convierte imágenes de documentos en texto legible por máquinas y, al mismo tiempo, conserva la estructura que da sentido al contenido. El modelo detecta los elementos del documento, sus posiciones y el orden de lectura; después, genera tablas y gráficos en formato Markdown, tablas HTML y bloques estructurados que los desarrolladores pueden indexar, buscar y procesar posteriormente. NVIDIA informa que Parse obtuvo una puntuación de 75.20 en ParseBench a 10.5 páginas por segundo en una sola NVIDIA H100, lo que lo sitúa en primer lugar entre los modelos con menos de 1.000 millones de parámetros al 20 de octubre de 2026. ParseBench evalúa la extracción de tablas y gráficos, la fidelidad del contenido, el formato semántico y la correspondencia visual.

Los tres modos de inferencia permiten a los desarrolladores intercambiar rendimiento por precisión con el mismo modelo. En una sola pasada, se lee cada página una vez y se obtiene una puntuación de 72.74 a 16.1 páginas por segundo. En dos pasadas, se vuelven a procesar las tablas y los gráficos señalados durante el análisis inicial de la página, con lo que se alcanza una puntuación de 74.92 a 11.2 páginas por segundo. En tres pasadas, se añade una etapa de detección que encuentra otras regiones para perfeccionar el resultado, con lo que se alcanza una puntuación de 75.20 a 10.5 páginas por segundo. NVIDIA describe los tres puntos de operación como óptimos de Pareto dentro de su comparación, ya que ninguna de las demás configuraciones comparadas mejora simultáneamente la precisión y el rendimiento.

Los datos de entrenamiento de Parse abarcaron documentos empresariales, artículos científicos, formularios, tablas, gráficos y textos multilingües, y se ampliaron mediante un motor de datos sintéticos. NVIDIA informa que el modelo obtuvo un sólido rendimiento en evaluaciones que abarcaron 163 combinaciones de idiomas y sistemas de escritura. Para el entrenamiento posterior, NVIDIA aplicó la optimización de políticas relativas de grupo con recompensas personalizadas por la estructura correcta y penalizaciones por los errores; según la empresa, esto redujo los ciclos de generación repetitiva y los bloques sin cerrar, hizo más coherentes las tablas y mejoró el cumplimiento de los esquemas de gráficos. NVIDIA también agradeció a LightOn y señaló que las técnicas de código abierto compartidas fueron decisivas para mejorar el modelo.

Evaluaciones de socios y disponibilidad

El anuncio incluye evaluaciones preliminares de socios empresariales. Según la publicación, en Elastic, la API Inference de Elasticsearch ofrece los modelos de embeddings y reordenamiento Nemotron Retriever a través de los puntos de acceso de inferencia de NVIDIA; está previsto añadir Nemotron 3 próximamente mediante Elastic Inference Service, y el soporte para la implementación local figura en la hoja de ruta. Vectorize probó Nemotron 3.5 Embed en Hindsight Agent Memory y, según la publicación, el modelo ocupó el primer puesto en dos pruebas de referencia de memoria de conversaciones largas: obtuvo una recuperación del 93.8% en @10 en LoCoMo y del 65.9% en BEAM 100K frente a siete modelos de embeddings competidores, además de registrar el MRR y la recuperación en @5 más altos. En la evaluación de Perplexity, Nemotron 3.5 Rerank 8B obtuvo la puntuación media más alta en la prueba privada de Perplexity, que evalúa el reordenamiento en 72 tareas, con resultados sólidos en los seis ámbitos. Turbopuffer, que probó el modelo de embeddings 8B en una prueba de búsqueda de archivos PDF empresariales, informa que obtiene alrededor de un 5% más de resultados relevantes en Recall@20 que el siguiente mejor modelo; ahora también ofrece los modelos como opción de embeddings nativa.

Los pesos, los datos y las recetas de entrenamiento abiertos están disponibles en Hugging Face. La implementación en producción puede realizarse mediante NVIDIA NIM y a través de los socios de nube e inferencia de IA Baseten, DeepInfra y FriendliAI. Las recetas para ajustar los modelos de embeddings y reordenamiento se publicaron en el repositorio de GitHub NVIDIA NeMo Nemotron.