Baseten aporta su experiencia en inferencia a la coalición Nemotron de NVIDIA

Baseten anunció el 5 de noviembre de 2026 que se había unido a la coalición NVIDIA Nemotron, a la que aporta conocimientos derivados de cargas de trabajo empresariales y su experiencia en posentrenamiento e inferencia para el desarrollo de modelos abiertos. Su incorporación amplía la colaboración con NVIDIA en lanzamientos de modelos, aprendizaje por refuerzo, personalización e inferencia dedicada.

NVIDIA lanzó la coalición el 16 de marzo de 2026 para reunir investigación, experiencia, datos y capacidad de cómputo en torno a modelos abiertos de vanguardia. En el anuncio del lanzamiento, NVIDIA señaló que el primer proyecto sería un modelo base desarrollado conjuntamente por Mistral AI y NVIDIA, entrenado en NVIDIA DGX Cloud, publicado como código abierto para que desarrolladores y organizaciones pudieran especializarlo y utilizado como base para la próxima familia Nemotron 4.

Baseten fue socio de lanzamiento desde el primer día de Nemotron 3.5 Super VL y Nemotron 3 Ultra. Su papel en la coalición va más allá de ofrecer modelos ya terminados: también abarca entornos de entrenamiento y conocimientos operativos adquiridos mediante el uso empresarial. El objetivo práctico es adaptar los modelos a requisitos empresariales específicos, considerando la calidad de la implementación, el costo y la flexibilidad como aspectos interrelacionados.

Entrenamiento para cargas de trabajo de producción

La empresa desarrolló entornos de aprendizaje por refuerzo para jerarquías complejas de instrucciones, en los que se ignora la información irrelevante y se siguen preferencias de estilo detalladas. Otros entornos abordan el razonamiento y la planificación a largo plazo mediante el análisis estadístico de conjuntos de datos biológicos complejos, la demostración de teoremas matemáticos y la participación en juegos competitivos. Estas tareas reflejan cómo llegan las instrucciones en entornos de producción: mediante indicaciones del sistema, definiciones de herramientas, mensajes de seguimiento de los usuarios, respuestas de las herramientas y mensajes de error.

Su trabajo multimodal incorpora tareas de razonamiento visual y espacial, así como llamadas a herramientas en varios turnos que requieren comprensión visual. Baseten informa que el posentrenamiento mejoró los resultados en MMMU-Pro, una prueba de referencia de razonamiento multimodal de nivel experto. Un artículo relacionado, presentado el 5 de octubre de 2026, describe un proyector de 50 millones de parámetros que conecta el codificador visual de Kimi K2.6 con GLM 5.2 y GLM 5.3, manteniendo fijos los pesos preentrenados y evaluándolo en MMMU-Pro y BLINK.

Resultados cuantificados de la personalización

El informe de investigación del 11 de agosto de 2026 de CodeRabbit describe un proyecto con NVIDIA y Baseten que personalizó Nemotron 3.5 Lightning para asignar revisiones de código mediante ajuste fino supervisado, seguido de aprendizaje por refuerzo con recompensas verificables. En una evaluación fija de 1.000 tareas, la coincidencia exacta en la asignación pasó del 75,8 % con el modelo de referencia al 80,4 % tras el ajuste fino supervisado y al 80,7 % después del entrenamiento con recompensas. La kappa de Cohen, una medida de concordancia superior a la esperable por azar, subió de 0,429 a 0,461 y, luego, a 0,544.

CodeRabbit consideró que el cambio final de 0,3 puntos porcentuales en la concordancia de asignación no suponía una regresión, en lugar de interpretarlo como una mejora estadísticamente concluyente, porque el intervalo de confianza pareado incluía el cero. En su comparación del servicio, estimó una reducción de costos del 50,4 % con un rendimiento saturado: la misma evaluación costó 2,34 $ con el modelo de referencia y 1,16 $ en una NVIDIA A100 de Baseten. Las pruebas con carga sostenida y tráfico de producción quedaron pendientes para una fase posterior.

Harvey ofrece un caso distinto de personalización. Baseten informa que la plataforma jurídica de IA realiza el posentrenamiento de Nemotron en Baseten para flujos de trabajo especializados que atienden a decenas de miles de abogados cada día. En una investigación publicada por Harvey y Baseten el 8 de septiembre de 2026, se cargó una sala de datos de fusiones y adquisiciones (M&A) en un entorno de Python y se permitió que un agente principal delegara revisiones acotadas en subagentes. Harvey informó que, en siete modelos y 50 salas de datos reservadas para evaluación, el sistema elevó la tasa media de aprobación de los criterios de evaluación del 23,3 % al 62,4 %.

El informe de Harvey también señala que el aprendizaje por refuerzo con un modelo principal Qwen3.5-122B-A10B elevó su tasa de aprobación del 29,9 % al 63,0 % en esas 50 salas. A la vez, describe los experimentos como exploraciones iniciales y considera sustancial la brecha que aún separa los resultados de tasas de aprobación casi perfectas.

Implementación e IA de voz

Baseten Loops conecta los flujos de trabajo gestionados de aprendizaje por refuerzo con la inferencia dedicada, mientras los clientes conservan la propiedad de los pesos de los modelos que han entrenado. Loops admite Nemotron 3.5 Super VL y Nemotron 3 Ultra; Super VL está disponible para el entrenamiento en BF16 y NVFP4.

Las empresas también están evaluando agentes de voz basados en Nemotron en aplicaciones completas, incluida la calidad y la capacidad de respuesta de los modelos. En la prueba de referencia de reconocimiento de voz del 4 de agosto de 2026, Baseten informó que una NVIDIA H100 podía mantener hasta 100 flujos simultáneos de audio en tiempo real mediante WebSocket. La latencia de finalización —el tiempo que transcurre desde que termina de hablar una persona hasta que está lista la transcripción final— pasó de 98 milisegundos con ocho flujos a 138 milisegundos con 100.

La incorporación de Baseten a la coalición vincula la adaptación de modelos con la infraestructura necesaria para ofrecerlos. Los resultados de los clientes aportan pruebas concretas a favor de ese enfoque, mientras que la estimación de CodeRabbit con rendimiento saturado y las pruebas de producción aún pendientes, junto con los experimentos iniciales de Harvey, delimitan sus alcances. La cuestión central es hasta qué punto se mantienen las mejoras medidas durante un uso sostenido en producción.