NVIDIA lansează modelul deschis Kumo Tabular pentru predicție tabelară

NVIDIA a lansat pe 29 septembrie 2026 Kumo Tabular, un model de bază deschis pentru clasificare și regresie tabelară care prezice etichetele rândurilor noi într-o singură trecere înainte, fără antrenare, reglare sau inginerie de caracteristici. Modelul a fost pre-antrenat în întregime pe date artificiale și este disponibil în trei dimensiuni, de la 28 de milioane la 215 de milioane de parametri.

Kumo Tabular face parte din colecția de modele NVIDIA Kumo Structured, conform anunțului de pe blogul Hugging Face. Greutățile sunt disponibile de la listarea modelului pe Hugging Face sub licența OpenMDW 1.1, pe care NVIDIA a declarat că permite utilizarea comercială, iar inferența rulează prin biblioteca open-source structured-data-models, care descarcă greutățile la prima utilizare și furnizează preprocesarea, ensembling-ul și gestionarea multor clase utilizate în evaluările NVIDIA.

NVIDIA situează lansarea în contextul a două decenii în care sarcinile tabelare enterprise, cum ar fi predicția de churn, default, cerere și preț, s-au bazat pe arbori de tip gradient‑boosted, fiecare întrebare nouă necesitând propriul ciclu de etichetare, inginerie de caracteristici, reglare, validare și implementare. Compania afirmă că modelul aplică modelul de învățare în context al modelelor lingvistice mari la tabele, citind un tabel etichetat ca context pentru a prezice direct etichetele rândurilor noi.

Arhitectură și predicție în context

Kumo Tabular este un Transformer construit în jurul structurii unui tabel, utilizând atenție pe coloană, rând și în context, așa cum a fost introdus în TabICL și TabPFN. Pentru a prezice o etichetă, modelul stabilește ce înseamnă fiecare valoare în cadrul coloanei sale, cum interacționează coloanele unui rând și cum se raportează rândurile de context etichetate la rândurile de interogare ale căror etichete sunt necunoscute.

În etapa de încorporare a celulelor, un grup de celule devine un token. Valorile numerice și categorice trec prin caracteristici Fourier, sinusuri și cosinusuri ale frecvențelor învățate, cu greutăți separate pentru fiecare tip. Valorile lipsă sunt tratate special și nu necesită imputare, iar fiecare token din context primește o încorporare de etichetă. Fiecare rând este apoi comprimat într-o încorporare prin atenție alternantă pe coloane, o auto‑atenție indusă al cărei cost crește liniar cu numărul de rânduri, cu atenție pe rânduri care învață cum interacționează caracteristicile unui rând, utilizând poziții rotative pentru a diferenția coloanele. Patru token‑uri CLS învățabile se alătură fiecărui rând și acționează ca citirea finală a acestuia.

Un Transformer final operează pe încorporările rândurilor. Rândurile de context se atenționează reciproc, în timp ce rândurile de interogare se atenționează doar la rândurile de context, astfel încât fiecare predicție depinde doar de context și de rândul în sine, iar cheile și valorile contextului sunt calculate o singură dată și reutilizate pentru predicții ulterioare. Rândurile de interogare folosesc Test‑GQA, care micșorează memoria cache citită la fiecare predicție. O temperatură de atenție conștientă de lungime scalează fiecare interogare printr-un factor care crește odată cu logaritmul numărului de chei, cu un coeficient învățat separat pentru fiecare cap, menținând atenția clară când un tabel de inferență este mult mai lung decât un tabel tipic de antrenament. Un cap produce probabilități de clasă pentru clasificare sau 999 de cuantile pentru regresie, oferind o predicție punctuală și o estimare a incertitudinii.

Pre‑antrenare pe tabele artificiale

Fiecare tabel de antrenament este eșantionat dintr-un Model Causal Structural în șase pași. Generatorul extrage o configurație pentru întregul tabel, apoi leagă variabilele ascunse printr-un graf cauzal aleator evaluat de la rădăcină la frunză folosind funcții generate aleator la fiecare nod, inclusiv hărți liniare, rețele neuronale mici, arbori și procese Gaussiene. Unele noduri devin coloane numerice sau categorice, unul devine ținta, iar restul rămân ascunse, ca și cauzele nemăsurate din spatele datelor reale. Post‑procesarea corelează grupuri de coloane, elimină valorile aberante și injectează valori lipsă, iar o verificare cu ansamblu de arbori elimină orice tabel fără un semnal învățabil.

NVIDIA a declarat că a incorporat imperfecțiunile tabelelor reale în generator: valorile lipsesc în mai multe tipare, unele caracteristici sunt grosierizate astfel încât rândurile duplicate pot avea etichete diferite, unele coloane categorice au multe niveluri, iar țintele de regresie pot avea cozi grele. Antrenamentul folosește o pierdere de entropie încrucișată pentru clasificare și o pierdere de cuantile pentru regresie, cele două sarcini fiind antrenate ca modele separate, și se desfășoară în trei etape: tabele de 1.024 de rânduri și până la 100 de coloane, contexte variind de la 400 la 10.240 de rânduri și, în final, contexte de până la 60.000 de rânduri. Variantele Small, Medium și Large au văzut aproximativ 35 de milioane, 71 de milioane și respectiv 137 de milioane de tabele artificiale.

Rezultatele benchmark‑ului raportate de NVIDIA

NVIDIA raportează că a rulat toate cele trei dimensiuni cu setările implicite pe întregul clasament TabArena, care cuprinde arbori gradient‑boosted reglați, AutoGluon și modele de bază tabelare recente, și că Kumo Tabular se clasează pe primul loc în ansamblu cu un ELO de 1950, rulând de 26 de ori mai repede decât LimiX‑2 într-un mediu de evaluare uniform cu un singur RTX 6000 Pro. Compania a declarat că cele trei dimensiuni stabilesc un nou nivel de performanță pe frontul Pareto al acurateței și eficienței.

Pe BeyondArena, NVIDIA raportează un ELO de 1418 și un scor de Improvabilitate de 7,78%, ocupând primul loc pe acel clasament. Pe TALENT, compania raportează primul clasament general în ceea ce privește acuratețea clasificării, pierderea logaritmică a clasificării și RMSE-ul regresiei, cu ranguri medii de 6,67, 3,98 și, respectiv, 4,22. Pe ScoringBench, un benchmark pentru distribuții predictive, NVIDIA a declarat că Kumo Tabular-Large și Kumo Tabular-Medium ocupă primul și al doilea loc în rangul mediu.

Limitări și disponibilitate

Kumo Tabular funcționează doar pe coloane numerice și categorice; textul, imaginile sau marcajele de timp pot fi transformate în caracteristici prin rețete încorporate de preprocesare. O singură trecere înainte acoperă până la 10 clase, iar biblioteca extinde modelul la orice număr de clase prin coduri de ieșire corective de eroare. NVIDIA avertizează că acuratețea poate scădea pe tabele mult dincolo de intervalele de antrenament sau când rândurile de interogare provin dintr-o distribuție diferită de cea a rândurilor de context și recomandă validarea acurateței și calibrării pe date reținute înainte de implementare.

Pachetul structured-data-models este nativ pentru GPU, necesită Python 3.11 sau o versiune ulterioară și PyTorch 2.7 sau o versiune ulterioară și recomandă cudf pentru sarcini CUDA, astfel încât operațiile pe dataframe să rămână pe GPU. Acesta găzduiește implementări de referință ale modelelor de bază tabulare TabICLv2, KumoTabular și TabFM, alături de modelul relațional KumoRelational, iar codul scris de NVIDIA în depozit este licențiat sub Apache 2.0.

NVIDIA a declarat că rețeta de antrenament și generatoarele de date artificiale din spatele Kumo Tabular vor fi lansate în curând.