NVIDIA Merilis Model Kumo Tabular Terbuka untuk Prediksi Tabular

Pada 29 September 2026, NVIDIA merilis Kumo Tabular, sebuah model fondasi terbuka untuk klasifikasi dan regresi tabular yang memprediksi label baris baru dalam satu lintasan maju, tanpa pelatihan, penyetelan, atau rekayasa fitur. Model ini dilatih sebelumnya sepenuhnya pada data buatan dan tersedia dalam tiga ukuran dengan jumlah parameter antara 28 juta hingga 215 juta.

Kumo Tabular merupakan bagian dari koleksi model NVIDIA Kumo Structured, menurut pengumuman di blog Hugging Face. Bobot tersedia dari daftar model di Hugging Face di bawah lisensi OpenMDW 1.1, yang menurut NVIDIA memungkinkan penggunaan komersial, dan inferensi dijalankan melalui pustaka structured-data-models sumber terbuka, yang mengunduh bobot pada penggunaan pertama serta menyediakan pra‑pemrosesan, ensembel, dan penanganan banyak kelas yang digunakan dalam evaluasi NVIDIA.

NVIDIA menempatkan rilis ini dalam konteks dua dekade di mana tugas tabular perusahaan seperti churn, default, permintaan, dan prediksi harga bergantung pada pohon gradient‑boosted, dengan setiap pertanyaan baru memerlukan siklus pelabelan, rekayasa fitur, penyetelan, validasi, dan penyebaran tersendiri. Perusahaan menyatakan bahwa model ini menerapkan pola pembelajaran dalam‑konteks dari model bahasa besar pada tabel, membaca tabel berlabel sebagai konteks untuk langsung memprediksi label baris baru.

Arsitektur dan Prediksi Dalam‑Konteks

Kumo Tabular adalah Transformer yang dibangun di sekitar struktur tabel, menggunakan perhatian kolom, baris, dan dalam‑konteks sebagaimana diperkenalkan dalam TabICL dan TabPFN. Untuk memprediksi sebuah label, model menentukan makna setiap nilai dalam kolomnya, bagaimana kolom‑kolom pada sebuah baris berinteraksi, serta bagaimana baris‑baris konteks berlabel berhubungan dengan baris‑baris kueri yang labelnya belum diketahui.

Pada tahap cell‑embedding, sekumpulan sel diubah menjadi token. Nilai numerik dan kategorikal melewati fitur Fourier, sinus dan kosinus dari frekuensi yang dipelajari, dengan bobot terpisah untuk masing‑masing tipe. Nilai yang hilang diperlakukan secara khusus dan tidak memerlukan imputasi, serta setiap token dalam konteks menerima embedding label. Setiap baris kemudian dikompresi menjadi embedding melalui perhatian kolom bergantian, sebuah self‑attention terinduksi yang biayanya bertumbuh secara linear seiring jumlah baris, dengan perhatian baris yang mempelajari interaksi fitur‑fitur baris, menggunakan posisi rotary untuk membedakan kolom. Empat token CLS yang dapat dipelajari bergabung dengan setiap baris dan berfungsi sebagai pembacaan akhir.

Transformer akhir beroperasi pada embedding baris. Baris‑baris konteks memperhatikan satu sama lain sementara baris‑baris kueri hanya memperhatikan baris‑baris konteks, sehingga setiap prediksi bergantung hanya pada konteks dan baris itu sendiri, dan kunci serta nilai konteks dihitung sekali serta digunakan kembali untuk prediksi selanjutnya. Baris kueri menggunakan Test‑GQA, yang memperkecil cache yang dibaca setiap prediksi. Suhu perhatian yang memperhatikan panjang menskalakan setiap kueri dengan faktor yang meningkat seiring logaritma jumlah kunci, dengan koefisien yang dipelajari secara terpisah untuk setiap head, menjaga perhatian tetap tajam ketika tabel inferensi jauh lebih panjang daripada tabel pelatihan standar. Sebuah head menghasilkan probabilitas kelas untuk klasifikasi atau 999 kuantil untuk regresi, memberikan prediksi titik dan perkiraan ketidakpastian.

Pra‑pelatihan pada Tabel Buatan

Setiap tabel pelatihan diambil sampelnya dari Model Kausal Struktural dalam enam langkah. Generator menghasilkan konfigurasi untuk seluruh tabel, kemudian menghubungkan variabel tersembunyi dengan grafik kausal acak yang dievaluasi dari akar ke daun menggunakan fungsi yang dipilih secara acak pada setiap node, termasuk pemetaan linear, jaringan saraf kecil, pohon, dan proses Gaussian. Beberapa node menjadi kolom numerik atau kategorikal, satu menjadi target, dan sisanya tetap tersembunyi, seperti penyebab yang tidak terukur di balik data nyata. Pasca‑pemrosesan mengkorelasi grup kolom, memotong nilai pencilan, dan menyuntikkan nilai yang hilang, serta pemeriksaan ansambel pohon menyingkirkan tabel apa pun yang tidak memiliki sinyal yang dapat dipelajari.

NVIDIA menyatakan bahwa ia memasukkan ketidaksempurnaan tabel nyata ke dalam generator: nilai dapat hilang dalam beberapa pola, beberapa fitur diperhalus sehingga baris duplikat dapat memiliki label yang berbeda, beberapa kolom kategorikal memiliki banyak level, dan target regresi dapat memiliki ekor berat. Pelatihan menggunakan loss cross‑entropy untuk klasifikasi dan loss kuantil untuk regresi, dengan dua tugas dilatih sebagai model terpisah, dan berjalan dalam tiga tahap: tabel dengan 1.024 baris dan hingga 100 kolom, konteks yang bervariasi antara 400 hingga 10.240 baris, dan akhirnya konteks hingga 60.000 baris. Varian Small, Medium, dan Large masing‑masing melihat sekitar 35 juta, 71 juta, dan 137 juta tabel buatan.

Hasil Benchmark yang Dilaporkan NVIDIA

NVIDIA melaporkan bahwa ia menjalankan ketiga ukuran dengan pengaturan default melawan seluruh papan peringkat TabArena, yang mencakup pohon gradient‑boosted yang disetel, AutoGluon, dan model fondasi tabular terbaru, serta bahwa Kumo Tabular menempati peringkat pertama secara keseluruhan dengan ELO 1950 sambil berjalan 26 kali lebih cepat daripada LimiX‑2 pada konfigurasi evaluasi RTX 6000 Pro tunggal yang seragam. Perusahaan menyatakan bahwa ketiga ukuran tersebut menetapkan standar baru pada front Pareto akurasi‑efisiensi.

Di BeyondArena, NVIDIA melaporkan ELO sebesar 1418 dan skor Improvability sebesar 7,78%, menempatkan pertama di papan peringkat tersebut. Di TALENT, perusahaan melaporkan peringkat keseluruhan teratas dalam akurasi klasifikasi, log-loss klasifikasi, dan RMSE regresi, dengan peringkat rata‑rata masing‑masing 6,67, 3,98, dan 4,22. Di ScoringBench, sebuah benchmark untuk distribusi prediktif, NVIDIA menyatakan Kumo Tabular-Large dan Kumo Tabular-Medium menempati peringkat pertama dan kedua dalam peringkat rata‑rata.

Keterbatasan dan Ketersediaan

Kumo Tabular hanya berfungsi pada kolom numerik dan kategorikal; teks, gambar, atau cap waktu dapat diubah menjadi fitur melalui resep pra‑pemrosesan bawaan. Satu lintasan maju tunggal mencakup hingga 10 kelas, dan perpustakaan memperluas model ke jumlah kelas berapa pun dengan kode keluaran koreksi‑kesalahan. NVIDIA memperingatkan bahwa akurasi dapat menurun pada tabel yang jauh melampaui rentang pelatihan atau ketika baris kueri berasal dari distribusi yang berbeda dengan baris konteks, serta menyarankan untuk memvalidasi akurasi dan kalibrasi pada data yang ditahan sebelum penerapan.

Paket structured-data-models bersifat native GPU, memerlukan Python 3.11 atau lebih baru serta PyTorch 2.7 atau lebih baru, dan merekomendasikan cudf untuk beban kerja CUDA agar operasi dataframe tetap berada di GPU. Paket ini menyimpan implementasi referensi model fondasi tabular TabICLv2, KumoTabular, dan TabFM bersama model relasional KumoRelational, serta kode yang ditulis oleh NVIDIA dalam repositori dilisensikan di bawah Apache 2.0.

NVIDIA menyatakan bahwa resep pelatihan dan generator data buatan di balik Kumo Tabular akan segera dirilis.