NVIDIA veröffentlicht Open Kumo Tabular Modell für tabellarische Vorhersage

NVIDIA hat am 29. September 2026 Kumo Tabular veröffentlicht, ein offenes Foundation‑Modell für tabellarische Klassifikation und Regression, das die Labels neuer Zeilen in einem einzigen Forward‑Pass vorhersagt, ohne Training, Tuning oder Feature‑Engineering. Das Modell wurde vollständig auf künstlichen Daten vortrainiert und ist in drei Größen erhältlich, die von 28 Millionen bis 215 Millionen Parametern reichen.

Kumo Tabular ist Teil der NVIDIA Kumo Structured‑Modellsammlung, laut die Ankündigung im Hugging Face‑Blog. Gewichte sind über die Hugging Face‑Listung des Modells unter der OpenMDW 1.1‑Lizenz verfügbar, die NVIDIA zufolge kommerzielle Nutzung erlaubt, und die Inferenz läuft über die Open‑Source‑structured-data-models‑Bibliothek, die die Gewichte beim ersten Aufruf herunterlädt und die Vorverarbeitung, das Ensembling sowie die Handhabung vieler Klassen bereitstellt, die in NVIDIA‑Bewertungen verwendet werden.

NVIDIA stellt die Veröffentlichung im Kontext von zwei Jahrzehnten dar, in denen unternehmensbezogene tabellarische Aufgaben wie Kundenabwanderung, Kreditausfall, Nachfrage‑ und Preisvorhersage auf Gradient‑Boosted‑Trees setzten, wobei jede neue Fragestellung einen eigenen Zyklus aus Labeling, Feature‑Engineering, Tuning, Validierung und Deployment erforderte. Das Unternehmen sagt, das Modell wende das In‑Context‑Learning‑Muster großer Sprachmodelle auf Tabellen an, indem es eine gelabelte Tabelle als Kontext liest, um die Labels neuer Zeilen direkt vorherzusagen.

Architektur und In‑Context‑Vorhersage

Kumo Tabular ist ein Transformer, der um die Struktur einer Tabelle herum aufgebaut ist und Spalten‑, Zeilen‑ und In‑Context‑Attention verwendet, wie in TabICL und TabPFN eingeführt. Um ein Label vorherzusagen, ermittelt das Modell, welche Bedeutung jeder Wert innerhalb seiner Spalte hat, wie die Spalten einer Zeile interagieren und wie die gelabelten Kontextzeilen zu den Abfragezeilen mit unbekannten Labels in Beziehung stehen.

Im Zell‑Embedding‑Stadium wird eine Gruppe von Zellen zu einem Token. Numerische und kategoriale Werte werden durch Fourier‑Features, Sinus‑ und Kosinusfunktionen gelernter Frequenzen geleitet, wobei für jeden Typ separate Gewichte verwendet werden. Fehlende Werte werden speziell behandelt und benötigen keine Imputation, und jedes Token im Kontext erhält ein Label‑Embedding. Jede Zeile wird anschließend durch abwechselnde Spalten‑Attention zu einem Embedding komprimiert, eine induzierte Self‑Attention, deren Kosten linear mit der Zeilenzahl wachsen, wobei die Zeilen‑Attention lernt, wie die Merkmale einer Zeile interagieren, und rotierende Positionen nutzt, um Spalten zu unterscheiden. Vier lernbare CLS‑Tokens schließen sich jeder Zeile an und fungieren als deren endgültige Ausgabe.

Ein abschließender Transformer arbeitet auf den Zeilen‑Embeddings. Kontextzeilen achten aufeinander, während Abfragezeilen nur auf Kontextzeilen achten, sodass jede Vorhersage ausschließlich vom Kontext und der jeweiligen Zeile abhängt, und die Schlüssel und Werte des Kontexts werden einmal berechnet und für spätere Vorhersagen wiederverwendet. Abfragezeilen verwenden Test‑GQA, das den Cache bei jeder Vorhersage verkleinert. Eine längenbewusste Attention‑Temperatur skaliert jede Abfrage mit einem Faktor, der mit dem Logarithmus der Schlüsselanzahl wächst, wobei für jeden Kopf ein separat gelernter Koeffizient verwendet wird, um die Aufmerksamkeit scharf zu halten, wenn eine Inferenz‑Tabelle deutlich länger ist als eine typische Trainingstabelle. Ein Kopf gibt Klassenwahrscheinlichkeiten für die Klassifikation oder 999 Quantile für die Regression aus und liefert damit eine Punktvorhersage sowie eine Unsicherheitsschätzung.

Vortraining auf künstlichen Tabellen

Jede Trainingstabelle wird in sechs Schritten aus einem strukturellen kausalen Modell (Structural Causal Model) gezogen. Der Generator erstellt eine Konfiguration für die gesamte Tabelle und verknüpft anschließend verborgene Variablen mit einem zufälligen kausalen Graphen, der von der Wurzel bis zu den Blättern evaluiert wird, wobei an jedem Knoten zufällig gezogene Funktionen verwendet werden, darunter lineare Abbildungen, kleine neuronale Netze, Bäume und Gauß‑Prozesse. Einige Knoten werden zu numerischen oder kategorialen Spalten, einer wird zum Ziel, und der Rest bleibt verborgen, ähnlich den nicht gemessenen Ursachen hinter realen Daten. Die Nachbearbeitung korreliert Spaltengruppen, schneidet Ausreißer ab und fügt fehlende Werte ein, und eine Baum‑Ensemble‑Prüfung verwirft jede Tabelle ohne ein lernbares Signal.

NVIDIA sagte, dass es die Unvollkommenheiten realer Tabellen in den Generator eingebaut hat: Werte fehlen in mehreren Mustern, einige Merkmale werden vergrößert, sodass doppelte Zeilen unterschiedliche Labels haben können, einige kategoriale Spalten besitzen viele Stufen, und Regressionsziele können schwerfällige Verteilungen aufweisen. Das Training verwendet einen Cross‑Entropy‑Loss für die Klassifikation und einen Quantile‑Loss für die Regression, wobei die beiden Aufgaben als separate Modelle trainiert werden, und erfolgt in drei Phasen: Tabellen mit 1 024 Zeilen und bis zu 100 Spalten, Kontexte von 400 bis 10 240 Zeilen und schließlich Kontexte von bis zu 60 000 Zeilen. Die Varianten Small, Medium und Large sahen etwa 35 Millionen, 71 Millionen bzw. 137 Millionen künstliche Tabellen.

Von NVIDIA gemeldete Benchmark‑Ergebnisse

NVIDIA berichtet, dass es alle drei Größen mit den Standardeinstellungen gegen die vollständige TabArena‑Leaderboard getestet hat, die abgestimmte Gradient‑Boosted‑Trees, AutoGluon und aktuelle tabellarische Foundation‑Modelle umfasst, und dass Kumo Tabular insgesamt den ersten Platz mit einem ELO von 1950 belegt, während es 26‑mal schneller als LimiX‑2 läuft unter einer einheitlichen Einzel‑RTX 6000 Pro‑Evaluationsumgebung. Das Unternehmen sagte, die drei Größen stellen einen neuen Stand der Technik an der Genauigkeits‑Effizienz‑Pareto‑Front dar.

Auf BeyondArena berichtet NVIDIA von einem ELO von 1418 und einem Improvability‑Score von 7,78 %, womit es auf dieser Rangliste den ersten Platz belegt. Auf TALENT gibt das Unternehmen an, die insgesamt beste Platzierung in Bezug auf Klassifikationsgenauigkeit, Klassifikations‑Log‑Loss und Regressions‑RMSE zu haben, mit durchschnittlichen Rängen von 6,67, 3,98 bzw. 4,22. Auf ScoringBench, einem Benchmark für prädiktive Verteilungen, sagte NVIDIA, dass Kumo Tabular‑Large und Kumo Tabular‑Medium im Durchschnittsrang den ersten bzw. zweiten Platz belegen.

Einschränkungen und Verfügbarkeit

Kumo Tabular funktioniert nur mit numerischen und kategorialen Spalten; Text, Bilder oder Zeitstempel können mittels integrierter Vorverarbeitungs‑Rezepte in Merkmale umgewandelt werden. Ein einzelner Vorwärtsdurchlauf deckt bis zu 10 Klassen ab, und die Bibliothek erweitert das Modell mit fehlerkorrigierenden Ausgangscodes auf eine beliebige Anzahl von Klassen. NVIDIA weist darauf hin, dass die Genauigkeit bei Tabellen, die weit außerhalb der Trainingsbereiche liegen, oder wenn Abfragezeilen aus einer anderen Verteilung stammen als die Kontextzeilen, abnehmen kann, und empfiehlt, Genauigkeit und Kalibrierung auf zurückgehaltenen Daten vor dem Einsatz zu validieren.

Das Paket structured‑data‑models ist GPU‑nativ, erfordert Python 3.11 oder höher und PyTorch 2.7 oder höher und empfiehlt cudf für CUDA‑Workloads, damit Data‑Frame‑Operationen auf der GPU bleiben. Es enthält Referenzimplementierungen der tabularen Grundmodelle TabICLv2, KumoTabular und TabFM sowie des relationalen Modells KumoRelational, und der von NVIDIA verfasste Code im Repository ist unter Apache 2.0 lizenziert.

NVIDIA sagte, dass das Trainings‑Rezept und die künstlichen Datengeneratoren hinter Kumo Tabular bald veröffentlicht werden.