NVIDIA brengt Open Kumo Tabular-model uit voor tabulaire voorspelling

NVIDIA heeft op 29 september 2026 Kumo Tabular uitgebracht, een open foundation‑model voor tabulaire classificatie en regressie dat de labels van nieuwe rijen in één enkele forward pass voorspelt, zonder training, afstemming of feature engineering. Het model is volledig voorgetraind op kunstmatige data en is beschikbaar in drie groottes, variërend van 28 miljoen tot 215 miljoen parameters.

Kumo Tabular maakt deel uit van de NVIDIA Kumo Structured‑modelcollectie, volgens de aankondiging op de blog van Hugging Face. De gewichten zijn beschikbaar via de Hugging Face‑vermelding van het model onder de OpenMDW 1.1‑licentie, die NVIDIA zegt commercieel gebruik toe te staan, en inferentie wordt uitgevoerd via de open‑source structured-data-models‑bibliotheek, die de gewichten bij eerste gebruik downloadt en de preprocessing, ensemble‑methoden en handling van veel‑klassen levert die in de evaluaties van NVIDIA worden gebruikt.

NVIDIA plaatst de release in de context van twee decennia waarin enterprise‑tabulaire taken zoals klantverloop, wanbetaling, vraag‑ en prijsvoorspelling afhankelijk waren van gradient‑boosted trees, waarbij elke nieuwe vraag een eigen cyclus van labeling, feature engineering, afstemming, validatie en implementatie vereiste. Het bedrijf zegt dat het model het in‑context leerpatroon van grote taalmodellen toepast op tabellen, waarbij een gelabelde tabel als context wordt gelezen om direct de labels van nieuwe rijen te voorspellen.

Architectuur en In‑Contextvoorspelling

Kumo Tabular is een Transformer die rond de structuur van een tabel is gebouwd, met gebruik van kolom‑, rij‑ en in‑context‑attention zoals geïntroduceerd in TabICL en TabPFN. Om een label te voorspellen, bepaalt het model wat elke waarde betekent binnen zijn kolom, hoe de kolommen van een rij met elkaar interageren, en hoe de gelabelde context‑rijen zich verhouden tot query‑rijen waarvan de labels onbekend zijn.

In de cell‑embeddingfase wordt een groep cellen een token. Numerieke en categorische waarden gaan door Fourier‑features, sinussen en cosinussen van geleerde frequenties, met afzonderlijke gewichten voor elk type. Ontbrekende waarden worden speciaal behandeld en vereisen geen imputatie, en elk token in de context krijgt een label‑embedding. Elke rij wordt vervolgens gecomprimeerd tot een embedding door afwisselende kolom‑attention, een geïnduceerde self‑attention waarvan de kosten lineair toenemen met het aantal rijen, met rij‑attention die leert hoe de kenmerken van een rij interageren, gebruikmakend van roterende posities om kolommen van elkaar te onderscheiden. Vier leerbare CLS‑tokens voegen zich bij elke rij en fungeren als de uiteindelijke uitlezing.

Een laatste Transformer werkt op de rij‑embeddings. Context‑rijen besteden aandacht aan elkaar terwijl query‑rijen alleen aandacht besteden aan context‑rijen, zodat elke voorspelling alleen afhankelijk is van de context en de rij zelf, en de sleutels en waarden van de context eenmaal worden berekend en later opnieuw worden gebruikt. Query‑rijen gebruiken Test‑GQA, die de cache verkleint die elke voorspelling leest. Een lengte‑bewuste attention‑temperatuur schaalt elke query met een factor die groeit met het logaritme van het aantal sleutels, met een coëfficiënt die afzonderlijk voor elk hoofd wordt geleerd, waardoor de aandacht scherp blijft wanneer een inferentietabel veel langer is dan een typische trainingstabel. Een hoofd geeft klasse‑probabilities voor classificatie of 999 kwantielen voor regressie, wat resulteert in een puntvoorspelling en een onzekerheidsinschatting.

Pretraining op kunstmatige tabellen

Elke trainings‑tabel wordt in zes stappen gesampled uit een Structureel Causaal Model. De generator trekt een configuratie voor de hele tabel, waarna verborgen variabelen worden gekoppeld met een willekeurige causale graaf die van wortel tot blad wordt geëvalueerd met willekeurig getrokken functies op elk knooppunt, waaronder lineaire transformaties, kleine neurale netwerken, bomen en Gaussian processes. Sommige knooppunten worden numerieke of categorische kolommen, één wordt het doel, en de rest blijft verborgen, zoals de niet‑gemeten oorzaken achter echte data. Post‑processing correleert groepen kolommen, knipt uitschieters bij en injecteert ontbrekende waarden, en een tree‑ensemble‑check verwijdert elke tabel zonder een leerbaar signaal.

NVIDIA zei dat het de onvolkomenheden van echte tabellen in de generator heeft ingebouwd: waarden ontbreken in verschillende patronen, sommige kenmerken worden grover gemaakt zodat duplicaat‑rijen kunnen verschillen in hun label, sommige categorische kolommen hebben veel niveaus, en regressiedoelen kunnen een zware staart hebben. Training maakt gebruik van een cross‑entropy‑verlies voor classificatie en een kwantiel‑verlies voor regressie, waarbij de twee taken als afzonderlijke modellen worden getraind, en verloopt in drie fasen: tabellen van 1,024 rijen en tot 100 kolommen, contexten variërend van 400 tot 10,240 rijen, en uiteindelijk contexten van tot 60,000 rijen. De Small-, Medium‑ en Large‑varianten zagen respectievelijk ongeveer 35 miljoen, 71 miljoen en 137 miljoen kunstmatige tabellen.

NVIDIA’s gerapporteerde benchmarkresultaten

NVIDIA meldt dat het alle drie de groottes met standaardinstellingen tegen de volledige TabArena leaderboard heeft uitgevoerd, die geoptimaliseerde gradient-boosted trees, AutoGluon en recente tabulaire basismodellen omvat, en dat Kumo Tabular als eerste rangschikt met een ELO van 1950 terwijl het 26 keer sneller draait dan LimiX-2 onder een uniforme eenmalige RTX 6000 Pro evaluatieopstelling. Het bedrijf zei dat de drie groottes een nieuwe toonaangevende staat van de kunst neerzetten op het nauwkeurigheids- en efficiëntie Pareto-front.

Op BeyondArena meldt NVIDIA een ELO van 1418 en een Improvability‑score van 7,78 %, waarmee het eerste plaats behaalt op die ranglijst. Op TALENT meldt het bedrijf de hoogste algehele ranking op het gebied van classificatienauwkeurigheid, classificatielog‑loss en regressie‑RMSE, met gemiddelde rangen van respectievelijk 6,67, 3,98 en 4,22. Op ScoringBench, een benchmark voor voorspellende distributies, zei NVIDIA dat Kumo Tabular‑Large en Kumo Tabular‑Medium respectievelijk eerste en tweede rang behalen op de gemiddelde rang.

Beperkingen en beschikbaarheid

Kumo Tabular werkt alleen met numerieke en categorische kolommen; tekst, afbeeldingen of tijdstempels kunnen via ingebouwde preprocessing‑recepten in kenmerken worden omgezet. Een enkele forward‑pass ondersteunt tot 10 klassen, en de bibliotheek breidt het model uit naar een willekeurig aantal klassen met foutcorrigerende output‑codes. NVIDIA waarschuwt dat de nauwkeurigheid kan afnemen bij tabellen die ver buiten de trainingsbereiken liggen of wanneer query‑rijen afkomstig zijn uit een andere distributie dan de context‑rijen, en raadt aan de nauwkeurigheid en calibratie te valideren op gereserveerde data vóór implementatie.

Het pakket structured-data-models is GPU‑native, vereist Python 3.11 of hoger en PyTorch 2.7 of hoger, en beveelt cudf aan voor CUDA‑workloads zodat dataframe‑bewerkingen op de GPU blijven. Het bevat referentie‑implementaties van de tabulaire foundation‑modellen TabICLv2, KumoTabular en TabFM naast het relationele model KumoRelational, en de door NVIDIA geschreven code in de repository is gelicentieerd onder Apache 2.0.

NVIDIA meldde dat het trainingsrecept en de kunstmatige datageneratoren achter Kumo Tabular binnenkort worden uitgebracht.