NVIDIA udgiver den åbne Kumo Tabular-model til forudsigelser på tabeldata

NVIDIA udgav den 29. september 2026 Kumo Tabular, en åben grundmodel for tabelklassificering og regression, der forudsiger mærkaterne for nye rækker i en enkelt fremadrettet beregningsgennemgang uden træning, finjustering eller feature engineering. Modellen blev fortrænet udelukkende på kunstige data og findes i tre størrelser fra 28 millioner til 215 millioner parametre.

Kumo Tabular er en del af NVIDIA Kumo Structured-modellsamlingen, ifølge annonceringen på Hugging Faces blog. Vægtene er tilgængelige fra modellens Hugging Face-oversigt under OpenMDW 1.1-licensen, som NVIDIA siger tillader kommerciel brug, og inferens kører gennem det open‑source structured-data-models-biblioteket, som downloader vægtene ved første brug og leverer forbehandling, ensemblemetoder og håndtering af mange klasser, som anvendes i NVIDIAs evalueringer.

NVIDIA placerer udgivelsen i en kontekst på to årtier, hvor virksomheds‑tabelopgaver såsom churn, misligholdelse, efterspørgsel og prisforudsigelse har været afhængige af gradient‑boostede træer, hvor hvert nyt spørgsmål kræver sin egen cyklus af mærkning, feature engineering, finjustering, validering og implementering. Virksomheden siger, at modellen anvender in‑context‑læringsmønstret fra store sprogmodeller på tabeller ved at læse en mærket tabel som kontekst for direkte at forudsige mærkaterne for nye rækker.

Arkitektur og in‑context‑forudsigelse

Kumo Tabular er en Transformer bygget omkring strukturen i en tabel, der bruger kolonne‑, række‑ og in‑context‑attention som introduceret i TabICL og TabPFN. For at forudsige et mærkat fastlægger modellen, hvad hver værdi betyder inden for sin kolonne, hvordan en rækkes kolonner interagerer, og hvordan de mærkede kontekst‑rækker relaterer sig til forespørgsels‑rækker, hvis mærkater er ukendte.

I cell‑embedding‑stadiet bliver en gruppe celler til et token. Numeriske og kategoriske værdier passerer gennem Fourier‑funktioner, sinus‑ og cosinus‑funktioner af lærte frekvenser, med separate vægte for hver type. Manglende værdier behandles særskilt og kræver ingen imputering, og hvert token i konteksten modtager en mærkat‑embedding. Hver række komprimeres derefter til en embedding ved skiftende kolonne‑attention, en induceret selv‑attention, hvis omkostning vokser lineært med antallet af rækker, med række‑attention der lærer, hvordan en rækkes features interagerer, ved brug af roterende positioner til at skelne kolonner. Fire lærbare CLS‑tokens føjes til hver række og fungerer som dens endelige udlæsningspunkt.

En sidste Transformer opererer på række‑embeddings. Kontekst‑rækker anvender attention på hinanden, mens forespørgsels‑rækker kun anvender attention på kontekst‑rækker, så hver forudsigelse kun afhænger af konteksten og rækken selv, og kontekstens nøgler og værdier beregnes én gang og genbruges til senere forudsigelser. Forespørgsels‑rækker bruger Test‑GQA, som reducerer den del af cachen, som hver forudsigelse læser. En længde‑bevidst attentiontemperatur skalerer hver forespørgsel med en faktor, der vokser med logaritmen af antallet af nøgler, med en koefficient lært separat for hvert attentionhoved, så attention forbliver skarp, når en inferenstabel er meget længere end en typisk træningstabel. Et prædiktionshoved giver klasse‑sandsynligheder for klassificering eller 999 kvantiler for regression, hvilket giver en punkt‑forudsigelse og et usikkerhedsestimat.

Fortræning på kunstige tabeller

Hver træningstabel udtages fra en strukturel kausal model i seks trin. Generatoren trækker en konfiguration for hele tabellen og forbinder derefter skjulte variable med en tilfældig kausal graf evalueret fra rod til blad ved brug af tilfældigt udvalgte funktioner i hver node, herunder lineære afbildninger, små neurale netværk, træer og gaussiske processer. Nogle noder bliver til numeriske eller kategoriske kolonner, én bliver til målet, og resten forbliver skjulte, som de umålede årsager bag reelle data. Efterbehandling korrelerer grupper af kolonner, begrænser ekstremværdier og indsætter manglende værdier, og en træ‑ensemble‑kontrol forkaster enhver tabel uden et lærbart signal.

NVIDIA sagde, at de indbyggede ufuldkommenhederne i reelle tabeller i generatoren: værdier mangler i flere mønstre, nogle features er gjort grovere, så identiske rækker kan have forskellige mærkater, nogle kategoriske kolonner har mange niveauer, og regressionsmål kan have tunge haler. Træning bruger et kryds‑entropi‑tab for klassificering og et kvantil‑tab for regression, hvor de to opgaver trænes som separate modeller, og foregår i tre faser: tabeller med 1.024 rækker og op til 100 kolonner, kontekster varierende fra 400 til 10.240 rækker, og endelig kontekster på op til 60.000 rækker. Small-, Medium- og Large-varianterne blev trænet på omkring 35 millioner, 71 millioner og 137 millioner kunstige tabeller i den rækkefølge.

NVIDIAs rapporterede benchmark‑resultater

NVIDIA rapporterer, at de kørte alle tre størrelser med standardindstillinger mod den fulde TabArena‑leaderboard, som omfatter finjusterede gradientforstærkede træer, AutoGluon og nyere tabulære grundmodeller, og at Kumo Tabular rangerer som nummer ét samlet med en ELO på 1950, mens den kører 26 gange hurtigere end LimiX-2 under et ensartet enkelt‑RTX 6000 Pro‑evalueringssetup. Virksomheden sagde, at de tre størrelser etablerer en ny førende standard på præcision‑effektivitets‑Pareto‑fronten.

På BeyondArena rapporterer NVIDIA en ELO på 1418 og en Improvability-score på 7,78 %, hvilket placerer dem som nummer ét på den rangliste. På TALENT rapporterer virksomheden den samlede topplacering på tværs af klassifikationsnøjagtighed, klassifikations‑log‑loss og regressions‑RMSE med gennemsnitlige placeringer på henholdsvis 6,67, 3,98 og 4,22. På ScoringBench, et benchmark for prædiktive fordelinger, sagde NVIDIA, at Kumo Tabular-Large og Kumo Tabular-Medium rangerer som nummer ét og to på den gennemsnitlige rangering.

Begrænsninger og tilgængelighed

Kumo Tabular fungerer kun på numeriske og kategoriske kolonner; tekst, billeder eller tidsstempler kan omdannes til features via indbyggede forbehandlings‑opskrifter. En enkelt fremadrettet beregningsgennemgang dækker op til 10 klasser, og biblioteket udvider modellen til et vilkårligt antal klasser med fejlrettende output‑koder. NVIDIA advarer om, at nøjagtigheden kan forringes på tabeller langt uden for træningsområderne eller når forespørgselsrækker kommer fra en anden fordeling end kontekst‑rækkerne, og de anbefaler at validere nøjagtighed og kalibrering på data, der er holdt tilbage, inden implementering.

Pakken structured-data-models er GPU‑native, kræver Python 3.11 eller nyere samt PyTorch 2.7 eller nyere, og anbefaler cudf til CUDA‑arbejdsbelastninger, så dataframe‑operationer forbliver på GPU’en. Den indeholder reference‑implementeringer af de tabulære grundmodeller TabICLv2, KumoTabular og TabFM sammen med den relationelle model KumoRelational, og NVIDIA‑forfattet kode i repository’et er licenseret under Apache 2.0.

NVIDIA sagde, at trænings‑opskriften og de kunstige datageneratorer bag Kumo Tabular snart vil blive frigivet.