NVIDIA lanza el modelo abierto Kumo Tabular para predicción tabular

NVIDIA, el 29 de septiembre de 2026, lanzó Kumo Tabular, un modelo de base abierto para clasificación y regresión tabular que predice las etiquetas de nuevas filas en una única pasada, sin entrenamiento, ajuste ni ingeniería de características. El modelo se preentrenó completamente con datos artificiales y está disponible en tres tamaños que van de 28 millones a 215 millones de parámetros.

Kumo Tabular forma parte de la colección de modelos NVIDIA Kumo Structured, según el anuncio en el blog de Hugging Face. Los pesos están disponibles en el listado del modelo en Hugging Face bajo la licencia OpenMDW 1.1, que NVIDIA dijo permite el uso comercial, y la inferencia se ejecuta a través de la biblioteca de código abierto biblioteca structured-data-models, que descarga los pesos en el primer uso y proporciona el preprocesamiento, el ensamblado y el manejo de múltiples clases utilizado en las evaluaciones de NVIDIA.

NVIDIA sitúa el lanzamiento en el contexto de dos décadas en las que las tareas tabulares empresariales, como la predicción de churn, incumplimiento, demanda y precios, han dependido de árboles de gradiente potenciados, y cada nueva pregunta requería su propio ciclo de etiquetado, ingeniería de características, ajuste, validación y despliegue. La empresa afirma que el modelo aplica el patrón de aprendizaje en contexto de los grandes modelos de lenguaje a las tablas, leyendo una tabla etiquetada como contexto para predecir directamente las etiquetas de nuevas filas.

Arquitectura y predicción en contexto

Kumo Tabular es un Transformer construido alrededor de la estructura de una tabla, que utiliza atención por columna, fila y en contexto como se introdujo en TabICL y TabPFN. Para predecir una etiqueta, el modelo determina qué significa cada valor dentro de su columna, cómo interactúan las columnas de una fila y cómo las filas de contexto etiquetadas se relacionan con las filas de consulta cuyas etiquetas son desconocidas.

En la etapa de incrustación de celdas, un grupo de celdas se convierte en un token. Los valores numéricos y categóricos pasan por características de Fourier, senos y cosenos de frecuencias aprendidas, con pesos separados para cada tipo. Los valores faltantes se tratan de forma especial y no requieren imputación, y cada token en el contexto recibe una incrustación de etiqueta. Cada fila se comprime luego en una incrustación mediante atención alternada por columnas, una auto‑atención inducida cuyo costo crece linealmente con el número de filas, con atención de fila que aprende cómo interactúan las características de una fila, usando posiciones rotatorias para distinguir columnas. Cuatro tokens CLS aprendibles se unen a cada fila y actúan como su lectura final.

Un Transformer final opera sobre las incrustaciones de filas. Las filas de contexto se atienden entre sí mientras que las filas de consulta solo se atienden a las filas de contexto, de modo que cada predicción depende únicamente del contexto y de la propia fila, y las claves y valores del contexto se calculan una vez y se reutilizan para predicciones posteriores. Las filas de consulta utilizan Test-GQA, que reduce la caché que lee cada predicción. Una temperatura de atención sensible a la longitud escala cada consulta por un factor que crece con el logaritmo del número de claves, con un coeficiente aprendido por separado para cada cabeza, manteniendo la atención nítida cuando una tabla de inferencia es mucho más larga que una tabla de entrenamiento típica. Una cabeza produce probabilidades de clase para clasificación o 999 cuantiles para regresión, proporcionando una predicción puntual y una estimación de incertidumbre.

Preentrenamiento en tablas artificiales

Cada tabla de entrenamiento se muestra a partir de un Modelo Causal Estructural en seis pasos. El generador extrae una configuración para toda la tabla, luego enlaza variables ocultas con un grafo causal aleatorio evaluado de raíz a hoja usando funciones generadas aleatoriamente en cada nodo, incluyendo mapeos lineales, pequeñas redes neuronales, árboles y procesos Gaussianos. Algunos nodos se convierten en columnas numéricas o categóricas, uno se convierte en el objetivo, y el resto permanece oculto, como las causas no medidas detrás de datos reales. El post‑procesamiento correlaciona grupos de columnas, recorta valores atípicos e inserta valores faltantes, y una verificación de conjunto de árboles descarta cualquier tabla sin una señal aprendible.

NVIDIA dijo que incorporó las imperfecciones de las tablas reales en el generador: los valores desaparecen en varios patrones, algunas características se agrupan de modo que filas duplicadas puedan discrepar en su etiqueta, algunas columnas categóricas tienen muchos niveles, y los objetivos de regresión pueden tener colas pesadas. El entrenamiento utiliza una pérdida de entropía cruzada para clasificación y una pérdida de cuantiles para regresión, con ambas tareas entrenadas como modelos separados, y se ejecuta en tres etapas: tablas de 1 024 filas y hasta 100 columnas, contextos que varían de 400 a 10 240 filas, y finalmente contextos de hasta 60 000 filas. Las variantes Small, Medium y Large vieron aproximadamente 35 millones, 71 millones y 137 millones de tablas artificiales, respectivamente.

Resultados de referencia reportados por NVIDIA

NVIDIA informa que ejecutó los tres tamaños con la configuración predeterminada contra la tabla completa de TabArena, que incluye árboles de gradiente potenciados ajustados, AutoGluon y modelos de base tabular recientes, y que Kumo Tabular ocupa el primer puesto global con un ELO de 1950 mientras funciona 26 veces más rápido que LimiX-2 bajo una configuración de evaluación uniforme con una única RTX 6000 Pro. La empresa dijo que los tres tamaños establecen un nuevo estado del arte en el frente de Pareto de precisión‑eficiencia.

En BeyondArena, NVIDIA informa un ELO de 1418 y una puntuación de Mejorabilidad del 7.78%, ocupando el primer lugar en esa tabla de clasificación. En TALENT, la compañía informa la clasificación global más alta en precisión de clasificación, pérdida logarítmica de clasificación y RMSE de regresión, con rangos promedio de 6.67, 3.98 y 4.22, respectivamente. En ScoringBench, una referencia para distribuciones predictivas, NVIDIA dijo que Kumo Tabular-Large y Kumo Tabular-Medium ocupan el primer y segundo lugar en el rango promedio.

Limitaciones y disponibilidad

Kumo Tabular funciona solo con columnas numéricas y categóricas; el texto, las imágenes o las marcas de tiempo pueden convertirse en características mediante recetas de preprocesamiento integradas. Un solo paso hacia adelante cubre hasta 10 clases, y la biblioteca extiende el modelo a cualquier número de clases mediante códigos de salida de corrección de errores. NVIDIA advierte que la precisión puede degradarse en tablas que estén muy por fuera de los rangos de entrenamiento o cuando las filas de consulta provengan de una distribución diferente a la de las filas de contexto, y recomienda validar la precisión y la calibración con datos reservados antes del despliegue.

El paquete structured-data-models es nativo de GPU, requiere Python 3.11 o posterior y PyTorch 2.7 o posterior, y recomienda cudf para cargas de trabajo CUDA para que las operaciones de dataframes permanezcan en la GPU. Aloja implementaciones de referencia de los modelos fundacionales tabulares TabICLv2, KumoTabular y TabFM junto al modelo relacional KumoRelational, y el código escrito por NVIDIA en el repositorio está licenciado bajo Apache 2.0.

NVIDIA dijo que la receta de entrenamiento y los generadores de datos artificiales detrás de Kumo Tabular se lanzarán pronto.