NVIDIA představuje otevřený model Kumo Tabular pro tabulární predikci

NVIDIA 29. září 2026 vydala Kumo Tabular, otevřený základní model pro tabulární klasifikaci a regresi, který předpovídá štítky nových řádků jedním průchodem vpřed, bez nutnosti trénování, ladění ani inženýrství vlastností. Model byl předtrénován výhradně na umělých datech a je k dispozici ve třech velikostech, od 28 milionů do 215 milionů parametrů.

Kumo Tabular je součástí kolekce modelů NVIDIA Kumo Structured, podle oznámení na blogu Hugging Face. Váhy jsou k dispozici z seznamu modelu na Hugging Face pod licencí OpenMDW 1.1, o níž NVIDIA uvádí, že umožňuje komerční využití, a inference probíhá prostřednictvím open‑source knihovny structured-data-models, která při prvním použití stáhne váhy a poskytuje předzpracování, ensembling a zpracování mnoha tříd používané v hodnoceních NVIDIA.

NVIDIA staví vydání do kontextu dvou desetiletí, během nichž podnikové tabulární úlohy, jako jsou predikce odchodu zákazníků, selhání, poptávky a cen, spoléhaly na gradientně posilované stromy, přičemž každá nová otázka vyžadovala vlastní cyklus označování, inženýrství vlastností, ladění, validace a nasazení. Společnost uvádí, že model aplikuje vzor učení v kontextu velkých jazykových modelů na tabulky, přičemž čte označenou tabulku jako kontext a přímo předpovídá štítky nových řádků.

Architektura a predikce v kontextu

Kumo Tabular je Transformer postavený kolem struktury tabulky, využívající sloupcovou, řádkovou a kontextovou pozornost, jak bylo představeno v TabICL a TabPFN. Pro předpověď štítku model určuje, co každá hodnota znamená v rámci svého sloupce, jak sloupce řádku spolupracují a jak označené kontextové řádky souvisejí s dotazovacími řádky, jejichž štítky jsou neznámé.

Ve fázi vkládání buněk se skupina buněk promění v token. Číselné a kategorické hodnoty procházejí Fourierovými funkcemi, sinusy a kosinusy naučených frekvencí, s oddělenými vahami pro každý typ. Chybějící hodnoty jsou zpracovány speciálně a nevyžadují imputaci, a každý token v kontextu získá embedding štítku. Každý řádek je následně komprimován do embeddingu pomocí střídavé sloupcové pozornosti, indukované self‑attention, jejíž náklady rostou lineárně s počtem řádků, s řádkovou pozorností, která se učí, jak se funkce řádku vzájemně ovlivňují, a používá rotační pozice k odlišení sloupců. Čtyři učitelné CLS tokeny se připojí ke každému řádku a slouží jako jeho finální výstup.

Závěrečný Transformer pracuje s embeddingy řádků. Kontextové řádky si vzájemně věnují pozornost, zatímco dotazovací řádky se věnují pouze kontextovým řádkům, takže každá predikce závisí jen na kontextu a samotném řádku, a klíče a hodnoty kontextu jsou vypočteny jednou a znovu použity pro následné predikce. Dotazovací řádky používají Test‑GQA, který zmenšuje mezipaměť při každé predikci. Délkou uvědomělá teplota pozornosti škáluje každý dotaz faktorem, který roste s logaritmem počtu klíčů, s koeficientem naučeným samostatně pro každou hlavu, čímž udržuje ostrost pozornosti, když je inference tabulka mnohem delší než typická trénovací tabulka. Hlava vypočítává pravděpodobnosti tříd pro klasifikaci nebo 999 kvantilů pro regresi, čímž poskytuje bodovou predikci a odhad nejistoty.

Předtrénování na umělých tabulkách

Každá trénovací tabulka je odebrána ze strukturálního kauzálního modelu v šesti krocích. Generátor vytvoří konfiguraci celé tabulky, poté propojí skryté proměnné náhodným kauzálním grafem vyhodnocovaným od kořene k listu pomocí náhodně vybraných funkcí v každém uzlu, včetně lineárních map, malých neuronových sítí, stromů a gaussovských procesů. Některé uzly se stanou číselnými nebo kategorickými sloupci, jeden se stane cílem a zbytek zůstane skrytý, jako nezměřené příčiny za reálnými daty. Post‑processing koreluje skupiny sloupců, ořezává odlehlé hodnoty a vkládá chybějící hodnoty a kontrola stromového ansámblu odstraňuje jakoukoli tabulku bez učitelného signálu.

NVIDIA uvedla, že do generátoru zakomponovala nedokonalosti reálných tabulek: hodnoty chybí v několika vzorcích, některé vlastnosti jsou zhrubeny tak, že duplicitní řádky mohou mít odlišné štítky, některé kategorické sloupce mají mnoho úrovní a regresní cíle mohou mít těžké ocasy. Trénink používá ztrátovou funkci cross‑entropy pro klasifikaci a kvantilovou ztrátu pro regresi, přičemž oba úkoly jsou trénovány jako samostatné modely, a probíhá ve třech fázích: tabulky s 1 024 řádky a až 100 sloupci, kontexty variující od 400 do 10 240 řádků a nakonec kontexty až do 60 000 řádků. Varianty Small, Medium a Large viděly přibližně 35 milionů, 71 milionů a 137 milionů umělých tabulek.

Uvedené benchmarkové výsledky NVIDIA

NVIDIA uvádí, že spustila všechny tři velikosti s výchozími nastaveními proti kompletnímu žebříčku TabArena, který zahrnuje laděné gradientně posilované stromy, AutoGluon a nedávné tabulární základní modely, a že Kumo Tabular dosahuje první pozice celkově s ELO 1950, přičemž běží 26‑krát rychleji než LimiX‑2 při jednotném nastavení hodnocení na jednom RTX 6000 Pro. Společnost uvedla, že tyto tři velikosti stanoví nový stav techniky na Pareto frontě přesnosti‑efektivity.

Na BeyondArena NVIDIA uvádí ELO 1418 a skóre zlepšitelnosti 7.78 %, čímž se umisťuje na první místo v tomto žebříčku. Na TALENT společnost uvádí nejlepší celkové hodnocení v oblasti přesnosti klasifikace, log‑ztráty klasifikace a RMSE regrese, s průměrnými pořadími 6.67, 3.98 a 4.22 respektive. Na ScoringBench, benchmarku pro prediktivní rozdělení, NVIDIA uvedla, že Kumo Tabular‑Large a Kumo Tabular‑Medium zaujímají první a druhé místo v průměrném pořadí.

Omezení a dostupnost

Kumo Tabular funguje pouze s číselnými a kategorickými sloupci; text, obrázky nebo časová razítka lze převést na vlastnosti pomocí vestavěných předzpracovatelských receptů. Jeden průchod dopředu pokrývá až 10 tříd a knihovna rozšiřuje model na libovolný počet tříd pomocí chybově‑korekčních výstupních kódů. NVIDIA upozorňuje, že přesnost může klesat u tabulek výrazně mimo rozsah tréninku nebo když dotazovací řádky pocházejí z jiné distribuce než kontextové řádky, a doporučuje ověřit přesnost a kalibraci na vyhrazených datech před nasazením.

Balíček structured‑data‑models je nativní pro GPU, vyžaduje Python 3.11 nebo novější a PyTorch 2.7 nebo novější a doporučuje cudf pro CUDA úlohy, aby operace s datovými rámci zůstaly na GPU. Obsahuje referenční implementace tabulárních základních modelů TabICLv2, KumoTabular a TabFM spolu s relačním modelem KumoRelational a kód vytvořený NVIDIA v repozitáři je licencován pod Apache 2.0.

NVIDIA uvedla, že tréninkový recept a generátory umělých dat stojící za Kumo Tabular budou brzy zveřejněny.