NVIDIA выпускает открытую модель Kumo Tabular для табличного предсказания

29 сентября 2026 года NVIDIA выпустила Kumo Tabular, открытую базовую модель для табличной классификации и регрессии, которая предсказывает метки новых строк за один проход вперёд, без обучения, настройки или инженерии признаков. Модель была полностью предобучена на искусственных данных и доступна в трёх размерах от 28 млн до 215 млн параметров.

Kumo Tabular является частью коллекции моделей NVIDIA Kumo Structured, согласно объявлению в блоге Hugging Face. Весовые коэффициенты доступны через листинг модели на Hugging Face под лицензией OpenMDW 1.1, которую NVIDIA заявила разрешающей коммерческое использование, а вывод осуществляется через открытый библиотеку structured-data-models, которая загружает веса при первом использовании и предоставляет предобработку, ансамблирование и обработку множества классов, используемых в оценках NVIDIA.

NVIDIA позиционирует выпуск в контексте двух десятилетий, за которые корпоративные табличные задачи, такие как предсказание оттока, дефолта, спроса и цен, полагались на градиентно‑усиленные деревья, причём каждый новый вопрос требовал собственного цикла маркировки, инженерии признаков, настройки, валидации и развертывания. Компания заявляет, что модель применяет паттерн обучения в контексте, характерный для больших языковых моделей, к таблицам, читая помеченную таблицу как контекст для непосредственного предсказания меток новых строк.

Архитектура и предсказание в контексте

Kumo Tabular — это трансформер, построенный вокруг структуры таблицы, использующий внимание по столбцам, строкам и в контексте, как было представлено в TabICL и TabPFN. Чтобы предсказать метку, модель определяет, что означает каждое значение в своём столбце, как взаимодействуют столбцы строки и как помеченные контекстные строки соотносятся с запросными строками, метки которых неизвестны.

На этапе встраивания ячеек группа ячеек преобразуется в токен. Числовые и категориальные значения проходят через фурье‑признаки, синусы и косинусы обученных частот, с отдельными весами для каждого типа. Пропущенные значения обрабатываются особым образом и не требуют импутации, и каждый токен в контексте получает встраивание метки. Затем каждая строка сжимается в вектор с помощью чередующегося внимания по столбцам, индуцированного самовнимания, стоимость которого растёт линейно с числом строк, с вниманием по строкам, которое изучает взаимодействие признаков строки, используя вращающиеся позиции для различения столбцов. Четыре обучаемых токена CLS присоединяются к каждой строке и служат её окончательным выводом.

Заключительный трансформер работает с встраиваниями строк. Контекстные строки взаимодействуют друг с другом, тогда как запросные строки обращаются только к контекстным, поэтому каждое предсказание зависит лишь от контекста и самой строки, а ключи и значения контекста вычисляются один раз и переиспользуются для последующих предсказаний. Запросные строки используют Test‑GQA, который уменьшает кэш, читаемый каждым предсказанием. Температура внимания, учитывающая длину, масштабирует каждый запрос фактором, растущим с логарифмом количества ключей, с коэффициентом, обучаемым отдельно для каждой головы, сохраняя резкость внимания, когда таблица вывода значительно длиннее типичной обучающей таблицы. Одна голова выдаёт вероятности классов для классификации или 999 квантилей для регрессии, предоставляя точечное предсказание и оценку неопределённости.

Предобучение на искусственных таблицах

Каждая обучающая таблица выбирается из структурной причинно‑следственной модели в шести шагах. Генератор формирует конфигурацию всей таблицы, затем связывает скрытые переменные случайным причинным графом, оцениваемым от корня к листу с помощью случайно выбранных функций в каждом узле, включая линейные отображения, небольшие нейронные сети, деревья и гауссовские процессы. Некоторые узлы становятся числовыми или категориальными столбцами, один — целевой, а остальные остаются скрытыми, как неизмеримые причины реальных данных. Постобработка коррелирует группы столбцов, отсекает выбросы и вводит пропущенные значения, а проверка деревьев‑ансамбля отбрасывает любую таблицу без обучаемого сигнала.

NVIDIA заявила, что встроила несовершенства реальных таблиц в генератор: значения исчезают по нескольким шаблонам, некоторые признаки упрощаются, чтобы дублирующиеся строки могли иметь разные метки, некоторые категориальные столбцы содержат множество уровней, а целевые переменные регрессии могут иметь тяжёлый хвост. Обучение использует функцию кросс‑энтропии для классификации и квантильную функцию потерь для регрессии, при этом обе задачи обучаются отдельными моделями и выполняются в три этапа: таблицы из 1 024 строк и до 100 столбцов, контексты от 400 до 10 240 строк, и, наконец, контексты до 60 000 строк. Варианты Small, Medium и Large получили примерно 35 млн, 71 млн и 137 млн искусственных таблиц соответственно.

Сообщённые NVIDIA результаты тестов

NVIDIA сообщает, что запустила все три размера с настройками по умолчанию против полного лидерборда TabArena, охватывающего настроенные градиентно‑усиленные деревья, AutoGluon и последние табличные базовые модели, и что Kumo Tabular занимает первое место в общем зачёте с рейтингом ELO 1950, при этом работает в 26 раз быстрее, чем LimiX‑2, в единой оценочной конфигурации с одним RTX 6000 Pro. Компания заявила, что три размера устанавливают новый уровень качества на парето‑границе точность‑эффективность.

На BeyondArena NVIDIA сообщает о рейтинге ELO 1418 и показателе улучшаемости 7,78 %, заняв первое место в этом лидерборде. На TALENT компания сообщает о лучшем общем положении по точности классификации, лог‑лоссу классификации и RMSE регрессии, со средними рангами 6,67, 3,98 и 4,22 соответственно. На ScoringBench, бенчмарке предсказательных распределений, NVIDIA заявила, что Kumo Tabular-Large и Kumo Tabular-Medium занимают первое и второе места по среднему рангу.

Ограничения и доступность

Kumo Tabular работает только с числовыми и категориальными столбцами; текст, изображения или метки времени могут быть преобразованы в признаки с помощью встроенных рецептов предобработки. Один проход вперёд охватывает до 10 классов, а библиотека расширяет модель до произвольного количества классов с помощью кодов исправления ошибок. NVIDIA предупреждает, что точность может ухудшиться на таблицах, сильно выходящих за пределы диапазонов обучения, или когда строки‑запросы поступают из распределения, отличного от распределения контекстных строк, и советует проверять точность и калибровку на отложенных данных перед развертыванием.

Пакет structured-data-models является нативным для GPU, требует Python 3.11 или новее и PyTorch 2.7 или новее, а также рекомендуется использовать cudf для CUDA‑нагрузок, чтобы операции с датафреймами оставались на GPU. В нём размещены эталонные реализации табличных фундаментальных моделей TabICLv2, KumoTabular и TabFM вместе с реляционной моделью KumoRelational, а код, написанный NVIDIA, в репозитории лицензирован под Apache 2.0.

NVIDIA заявила, что рецепт обучения и генераторы искусственных данных, лежащие в основе Kumo Tabular, будут выпущены в ближайшее время.