NVIDIA lança modelo Open Kumo Tabular para predição tabular

NVIDIA, em 29 de setembro de 2026, lançou o Kumo Tabular, um modelo de fundação aberto para classificação e regressão tabular que prevê os rótulos de novas linhas em uma única passagem forward, sem treinamento, ajuste ou engenharia de recursos. O modelo foi pré-treinado totalmente com dados artificiais e está disponível em três tamanhos, variando de 28 milhões a 215 milhões de parâmetros.

Kumo Tabular faz parte da coleção de modelos NVIDIA Kumo Structured, de acordo com o anúncio no blog da Hugging Face. Os pesos estão disponíveis em a listagem do modelo no Hugging Face sob a licença OpenMDW 1.1, que a NVIDIA afirmou permitir uso comercial, e a inferência é executada através da biblioteca de código aberto biblioteca structured-data-models, que baixa os pesos na primeira utilização e fornece o pré-processamento, o ensembling e o tratamento de múltiplas classes usado nas avaliações da NVIDIA.

NVIDIA contextualiza o lançamento em duas décadas nas quais tarefas tabulares empresariais, como churn, inadimplência, demanda e previsão de preços, dependeram de árvores de gradiente, cada nova questão exigindo seu próprio ciclo de rotulagem, engenharia de recursos, ajuste, validação e implantação. A empresa afirma que o modelo aplica o padrão de aprendizado em contexto dos grandes modelos de linguagem às tabelas, lendo uma tabela rotulada como contexto para prever diretamente os rótulos de novas linhas.

Arquitetura e Previsão em Contexto

O Kumo Tabular é um Transformer construído em torno da estrutura de uma tabela, usando atenção por coluna, linha e em contexto, conforme introduzido em TabICL e TabPFN. Para prever um rótulo, o modelo determina o que cada valor significa dentro de sua coluna, como as colunas de uma linha interagem e como as linhas de contexto rotuladas se relacionam com as linhas de consulta cujos rótulos são desconhecidos.

Na fase de incorporação de células, um grupo de células torna‑se um token. Valores numéricos e categóricos passam por recursos de Fourier, senos e cossenos de frequências aprendidas, com pesos separados para cada tipo. Valores ausentes são tratados de forma especial e não requerem imputação, e cada token no contexto recebe uma incorporação de rótulo. Cada linha é então comprimida em uma embedding por meio de atenção alternada por coluna, uma auto‑atenção induzida cujo custo cresce linearmente com o número de linhas, com atenção de linha que aprende como as características de uma linha interagem, usando posições rotativas para distinguir as colunas. Quatro tokens CLS aprendíveis juntam‑se a cada linha e atuam como sua leitura final.

Um Transformer final opera sobre as embeddings das linhas. As linhas de contexto atendem umas às outras enquanto as linhas de consulta atendem apenas às linhas de contexto, de modo que cada previsão depende somente do contexto e da própria linha, e as chaves e valores do contexto são calculados uma vez e reutilizados em previsões subsequentes. As linhas de consulta utilizam o Test-GQA, que reduz o cache lido a cada previsão. Uma temperatura de atenção sensível ao comprimento escala cada consulta por um fator que cresce com o logaritmo do número de chaves, com um coeficiente aprendido separadamente para cada cabeça, mantendo a atenção nítida quando uma tabela de inferência é muito maior que uma tabela de treinamento típica. Uma cabeça produz probabilidades de classe para classificação ou 999 quantis para regressão, gerando uma previsão pontual e uma estimativa de incerteza.

Pré‑treinamento em Tabelas Artificiais

Cada tabela de treinamento é amostrada de um Modelo Causal Estrutural em seis etapas. O gerador cria uma configuração para toda a tabela, então conecta variáveis ocultas com um grafo causal aleatório avaliado da raiz até as folhas usando funções sorteadas aleatoriamente em cada nó, incluindo mapeamentos lineares, pequenas redes neurais, árvores e processos Gaussianos. Alguns nós tornam‑se colunas numéricas ou categóricas, um torna‑se o alvo, e o restante permanece oculto, como as causas não medidas por trás dos dados reais. O pós‑processamento correlaciona grupos de colunas, corta outliers e injeta valores ausentes, e uma verificação de ensemble de árvores descarta qualquer tabela sem um sinal aprendível.

A NVIDIA afirmou que incorporou as imperfeições das tabelas reais ao gerador: valores desaparecem em vários padrões, alguns recursos são agrupados de modo que linhas duplicadas podem discordar em seu rótulo, algumas colunas categóricas possuem muitos níveis, e os alvos de regressão podem ter caudas pesadas. O treinamento usa uma perda de entropia cruzada para classificação e uma perda de quantil para regressão, com as duas tarefas treinadas como modelos separados, e ocorre em três estágios: tabelas de 1.024 linhas e até 100 colunas, contextos variando de 400 a 10.240 linhas, e finalmente contextos de até 60.000 linhas. As variantes Small, Medium e Large viram cerca de 35 milhões, 71 milhões e 137 milhões de tabelas artificiais, respectivamente.

Resultados de Benchmark relatados pela NVIDIA

A NVIDIA relata que executou os três tamanhos com configurações padrão contra o leaderboard completo do TabArena, que abrange árvores de gradiente ajustadas, AutoGluon e modelos de fundação tabular recentes, e que o Kumo Tabular ocupa o primeiro lugar geral com um ELO de 1950, sendo 26 vezes mais rápido que o LimiX-2 sob um ambiente de avaliação uniforme com um único RTX 6000 Pro. A empresa afirmou que os três tamanhos estabelecem um novo estado da arte na fronteira de Pareto de precisão‑eficiência.

No BeyondArena, a NVIDIA relata um ELO de 1418 e uma pontuação de Improvability de 7,78%, ficando em primeiro lugar naquele placar. No TALENT, a empresa relata a classificação geral mais alta em precisão de classificação, log‑loss de classificação e RMSE de regressão, com classificações médias de 6,67, 3,98 e 4,22, respectivamente. No ScoringBench, um benchmark para distribuições preditivas, a NVIDIA afirmou que Kumo Tabular-Large e Kumo Tabular-Medium ocupam o primeiro e o segundo lugar na classificação média.

Limitações e Disponibilidade

O Kumo Tabular funciona apenas em colunas numéricas e categóricas; texto, imagens ou timestamps podem ser convertidos em recursos por meio de receitas de pré‑processamento incorporadas. Uma única passagem avançada cobre até 10 classes, e a biblioteca estende o modelo para qualquer número de classes usando códigos de saída corretivos de erro. A NVIDIA alerta que a precisão pode degradar em tabelas muito além dos intervalos de treinamento ou quando linhas de consulta provêm de uma distribuição diferente das linhas de contexto, e recomenda validar a precisão e a calibração em dados reservados antes da implantação.

O pacote structured-data-models é nativo de GPU, requer Python 3.11 ou superior e PyTorch 2.7 ou superior, e recomenda cudf para cargas de trabalho CUDA, de modo que as operações de dataframe permaneçam na GPU. Ele hospeda implementações de referência dos modelos de base tabular TabICLv2, KumoTabular e TabFM, juntamente com o modelo relacional KumoRelational, e o código escrito pela NVIDIA no repositório está licenciado sob Apache 2.0.

A NVIDIA afirmou que a receita de treinamento e os geradores de dados artificiais por trás do Kumo Tabular serão lançados em breve.