NVIDIA udgiver Open Kumo Tabular-model til tabelprediktion

NVIDIA udgav den 29. september 2026 Kumo Tabular, en åben grundmodel for tabelklassificering og regression, der forudsiger mærkaterne for nye rækker i et enkelt fremadrettet pass uden træning, finjustering eller funktionsteknik. Modellen blev fortrænet udelukkende på kunstige data og findes i tre størrelser fra 28 millioner til 215 millioner parametre.

Kumo Tabular er en del af NVIDIA Kumo Structured-modellsamlingen, ifølge annonceringen på Hugging Face’s blog. Vægtene er tilgængelige fra modellens Hugging Face-oversigt under OpenMDW 1.1-licensen, som NVIDIA siger tillader kommerciel brug, og inferens kører gennem det open‑source structured-data-models-biblioteket, som downloader vægtene ved første brug og leverer forbehandling, ensemblemetoder og håndtering af mange klasser, som anvendes i NVIDIA’s evalueringer.

NVIDIA placerer udgivelsen i en kontekst på to årtier, hvor virksomheds‑tabelopgaver såsom churn, misligholdelse, efterspørgsel og prisforudsigelse har været afhængige af gradient‑boostede træer, hvor hvert nyt spørgsmål kræver sin egen cyklus af mærkning, funktionsteknik, finjustering, validering og implementering. Virksomheden siger, at modellen anvender in‑context‑læringsmønstret fra store sprogmodeller på tabeller ved at læse en mærket tabel som kontekst for direkte at forudsige mærkaterne for nye rækker.

Arkitektur og in‑context‑forudsigelse

Kumo Tabular er en Transformer bygget omkring strukturen i en tabel, der bruger kolonne‑, række‑ og in‑context‑opmærksomhed som introduceret i TabICL og TabPFN. For at forudsige et mærkat fastlægger modellen, hvad hver værdi betyder inden for sin kolonne, hvordan en rækkes kolonner interagerer, og hvordan de mærkede kontekst‑rækker relaterer sig til forespørgsels‑rækker, hvis mærkater er ukendte.

I cell‑embedding‑stadiet bliver en gruppe celler til et token. Numeriske og kategoriske værdier passerer gennem Fourier‑funktioner, sinus‑ og cosinus‑funktioner af lærte frekvenser, med separate vægte for hver type. Manglende værdier behandles særskilt og kræver ingen imputering, og hvert token i konteksten modtager en mærkat‑embedding. Hver række komprimeres derefter til en embedding ved skiftende kolonne‑opmærksomhed, en induceret selv‑opmærksomhed, hvis omkostning vokser lineært med antallet af rækker, med række‑opmærksomhed der lærer, hvordan en rækkes funktioner interagerer, ved brug af roterende positioner til at skelne kolonner. Fire lærbare CLS‑tokens tilslutter hver række og fungerer som dens endelige udlæsningspunkt.

En sidste Transformer opererer på række‑embeddings. Kontekst‑rækker opmærksommer på hinanden, mens forespørgsels‑rækker kun opmærksommer på kontekst‑rækker, så hver forudsigelse kun afhænger af konteksten og rækken selv, og kontekstens nøgler og værdier beregnes én gang og genbruges til senere forudsigelser. Forespørgsels‑rækker bruger Test‑GQA, som formindsker cachen for hver forudsigelse. En længde‑bevidst opmærksomhedstemperatur skalerer hver forespørgsel med en faktor, der vokser med logaritmen af antallet af nøgler, med en koefficient lært separat for hver hoved, så opmærksomheden forbliver skarp, når en inferenstabel er meget længere end en typisk træningstabel. Et hoved udgiver klasse‑sandsynligheder for klassificering eller 999 kvantiler for regression, hvilket giver en punkt‑forudsigelse og et usikkerhedsestimat.

Fortræning på kunstige tabeller

Hver træningstabel udtages fra en strukturel kausal model i seks trin. Generatoren trækker en konfiguration for hele tabellen og forbinder derefter skjulte variable med en tilfældig kausal graf evalueret fra rod til blad ved brug af tilfældigt udvalgte funktioner i hver node, herunder lineære kort, små neurale netværk, træer og Gaussian‑processer. Nogle noder bliver til numeriske eller kategoriske kolonner, én bliver til målet, og resten forbliver skjulte, som de umålede årsager bag reelle data. Efterbehandling korrelerer grupper af kolonner, beskærer outliers og indsætter manglende værdier, og en træ‑ensemble‑kontrol forkaster enhver tabel uden et lærbart signal.

NVIDIA sagde, at de indbyggede ufuldkommenhederne i reelle tabeller i generatoren: værdier mangler i flere mønstre, nogle funktioner er grovere, så duplikerede rækker kan være uenige om deres mærkat, nogle kategoriske kolonner har mange niveauer, og regressionsmål kan have tunge haler. Træning bruger et kryds‑entropi‑tab for klassificering og et kvantil‑tab for regression, hvor de to opgaver trænes som separate modeller, og foregår i tre faser: tabeller med 1.024 rækker og op til 100 kolonner, kontekster varierende fra 400 til 10.240 rækker, og endelig kontekster på op til 60.000 rækker. De små, mellemstore og store varianter så omkring 35 millioner, 71 millioner og 137 millioner kunstige tabeller henholdsvis.

NVIDIA’s rapporterede benchmark‑resultater

NVIDIA rapporterer, at de kørte alle tre størrelser med standardindstillinger mod den fulde TabArena‑leaderboard, som omfatter finjusterede gradientforstærkede træer, AutoGluon og nyere tabulære grundlæggende modeller, og at Kumo Tabular rangerer som nummer ét samlet med en ELO på 1950, mens den kører 26 gange hurtigere end LimiX-2 under et ensartet enkelt‑RTX 6000 Pro‑evalueringssetup. Virksomheden sagde, at de tre størrelser etablerer en ny førende standard på præcision‑effektivitets‑Pareto‑fronten.

På BeyondArena rapporterer NVIDIA en ELO på 1418 og en Improvability-score på 7,78 %, hvilket placerer dem som nummer ét på den rangliste. På TALENT rapporterer virksomheden den samlede topplacering på tværs af klassifikationsnøjagtighed, klassifikations‑log‑loss og regressions‑RMSE med gennemsnitlige placeringer på henholdsvis 6,67, 3,98 og 4,22. På ScoringBench, et benchmark for forudsigelsesfordelinger, sagde NVIDIA, at Kumo Tabular-Large og Kumo Tabular-Medium rangerer som nummer ét og to på den gennemsnitlige rangering.

Begrænsninger og tilgængelighed

Kumo Tabular fungerer kun på numeriske og kategoriske kolonner; tekst, billeder eller tidsstempler kan omdannes til funktioner via indbyggede forbehandlings‑opskrifter. En enkelt fremadrettet pass dækker op til 10 klasser, og biblioteket udvider modellen til et vilkårligt antal klasser med fejlrettende output‑koder. NVIDIA advarer om, at nøjagtigheden kan forringes på tabeller langt uden for træningsområderne eller når forespørgselsrækker kommer fra en anden fordeling end kontekst‑rækkerne, og de anbefaler at validere nøjagtighed og kalibrering på data, der er holdt tilbage, inden implementering.

Pakke‑pakken structured-data-models er GPU‑native, kræver Python 3.11 eller nyere samt PyTorch 2.7 eller nyere, og anbefaler cudf til CUDA‑arbejdsbelastninger, så dataframe‑operationer forbliver på GPU’en. Den indeholder reference‑implementeringer af de tabulære grundmodeller TabICLv2, KumoTabular og TabFM sammen med den relationelle model KumoRelational, og NVIDIA‑forfattet kode i repository’et er licenseret under Apache 2.0.

NVIDIA sagde, at trænings‑opskriften og de kunstige datageneratorer bag Kumo Tabular snart vil blive frigivet.