Моделі та платформи ШІ
NVIDIA випускає відкриту модель Kumo Tabular для табличного прогнозування
Додайте Unite.AI до бажаних джерел у Google
NVIDIA 29 вересня 2026 року випустила Kumo Tabular, відкриту фундаментальну модель для табличної класифікації та регресії, яка передбачає мітки нових рядків за один прямий прохід, без навчання, налаштування чи інженерії ознак. Модель була попередньо навчена повністю на штучних даних і доступна в трьох розмірах від 28 мільйонів до 215 мільйонів параметрів.
Kumo Tabular є частиною колекції моделей NVIDIA Kumo Structured, згідно оголошення у блозі Hugging Face. Ваги доступні у переліку моделі на Hugging Face під ліцензією OpenMDW 1.1, яку NVIDIA зазначає як дозволяючу комерційне використання, а інференція виконується через відкриту бібліотеку structured-data-models, яка завантажує ваги при першому використанні та забезпечує попередню обробку, ансамблювання та обробку багатьох класів, використаних у оцінках NVIDIA.
NVIDIA розглядає випуск у контексті двох десятиліть, протягом яких корпоративні табличні завдання, такі як передбачення відтоку клієнтів, дефолту, попиту та цін, спиралися на градієнтно‑бустингові дерева, і кожне нове питання вимагало свого циклу маркування, інженерії ознак, налаштування, валідації та розгортання. Компанія стверджує, що модель застосовує патерн навчання в контексті великих мовних моделей до таблиць, читаючи марковану таблицю як контекст для безпосереднього передбачення міток нових рядків.
Архітектура та передбачення в контексті
Kumo Tabular — це трансформер, побудований навколо структури таблиці, який використовує колонкову, рядкову та контекстну увагу, як це було представлено в TabICL та TabPFN. Щоб передбачити мітку, модель визначає, що означає кожне значення у своїй колонці, як взаємодіють колонки рядка та як марковані контекстні рядки пов’язані з рядками‑запитами, мітки яких невідомі.
На етапі вбудовування клітинок група клітинок перетворюється на токен. Числові та категоріальні значення проходять через Фур’є‑особливості, синуси та косинуси вивчених частот, з окремими вагами для кожного типу. Пропущені значення обробляються спеціально і не потребують імпутації, і кожен токен у контексті отримує вбудовування мітки. Кожен рядок потім стискається у вбудовування за допомогою чергування колонкової уваги, індукованої самоуваги, вартість якої зростає лінійно з кількістю рядків, з рядковою увагою, що навчається, як взаємодіють ознаки рядка, використовуючи обертальні позиції для розрізнення колонок. Чотири навчальні токени CLS приєднуються до кожного рядка і слугують його фінальним виведенням.
Остаточний трансформер працює над вбудовуваннями рядків. Контекстні рядки взаємодіють один з одним, тоді як рядки‑запити взаємодіють лише з контекстними рядками, тому кожне передбачення залежить лише від контексту та самого рядка, а ключі та значення контексту обчислюються один раз і повторно використовуються для подальших передбачень. Рядки‑запити використовують Test-GQA, який зменшує кеш, що читається кожним передбаченням. Температура уваги, що враховує довжину, масштабує кожен запит фактором, що зростає з логарифмом кількості ключів, з коефіцієнтом, навченим окремо для кожної голови, зберігаючи різкість уваги, коли таблиця інференції значно довша, ніж типова таблиця навчання. Головка виводить ймовірності класів для класифікації або 999 квантилів для регресії, забезпечуючи точкове передбачення та оцінку невизначеності.
Попереднє навчання на штучних таблицях
Кожна навчальна таблиця вибирається зі структурної каузальної моделі у шість кроків. Генератор створює конфігурацію для всієї таблиці, а потім зв’язує приховані змінні випадковим каузальним графом, оціненим від кореня до листка за допомогою випадково обраних функцій у кожному вузлі, включаючи лінійні відображення, малі нейронні мережі, дерева та гауссові процеси. Деякі вузли стають числовими або категоріальними колонками, один — цільовим, а решта залишаються прихованими, як незмірені причини реальних даних. Пост‑обробка корелює групи колонок, відсікає викиди та додає пропущені значення, а перевірка деревного ансамблю відкидає будь‑яку таблицю без навчального сигналу.
NVIDIA зазначає, що вбудувала недоліки реальних таблиць у генератор: значення пропадають у кількох шаблонах, деякі ознаки згрубіляються, щоб дублікати рядків могли мати різні мітки, деякі категоріальні колонки мають багато рівнів, а цільові регресії можуть мати важкі хвости. Навчання використовує функцію крос‑ентропії для класифікації та квантільну втрату для регресії, причому два завдання навчаються окремими моделями, і проходить у три етапи: таблиці з 1 024 рядків і до 100 колонок, контексти від 400 до 10 240 рядків, і нарешті контексти до 60 000 рядків. Варіанти Small, Medium і Large отримали приблизно 35 млн, 71 млн і 137 млн штучних таблиць відповідно.
Заявлені NVIDIA результати бенчмарків
NVIDIA повідомляє, що запустила всі три розміри з налаштуваннями за замовчуванням проти повного лідерборду TabArena, який охоплює налаштовані градієнтно‑бустингові дерева, AutoGluon та останні табличні фундаментальні моделі, і що Kumo Tabular посідає перше місце загалом з рейтингом ELO 1950, працюючи в 26 раз швидше, ніж LimiX-2, у уніфікованій конфігурації оцінки на одному RTX 6000 Pro. Компанія зазначила, що три розміри встановлюють новий рівень у фронті точність‑ефективність на парето‑грані.
У BeyondArena NVIDIA повідомляє про ELO 1418 і показник покращуваності 7,78 %, що ставить її на перше місце в цьому рейтингу. У TALENT компанія повідомляє про найвищий загальний рейтинг за точністю класифікації, лог‑втратами класифікації та RMSE регресії, зі середніми рангами 6,67, 3,98 і 4,22 відповідно. У ScoringBench, бенчмарку для предиктивних розподілів, NVIDIA зазначає, що Kumo Tabular-Large і Kumo Tabular-Medium посідають перше і друге місце за середнім рангом.
Обмеження та доступність
Kumo Tabular працює лише з числовими та категоріальними стовпцями; текст, зображення або мітки часу можна перетворити у ознаки за допомогою вбудованих рецептів попередньої обробки. Один прямий прохід охоплює до 10 класів, а бібліотека розширює модель до будь‑якої кількості класів за допомогою кодів виправлення помилок. NVIDIA застерігає, що точність може погіршитися на таблицях, що значно виходять за межі діапазонів навчання, або коли рядки‑запити походять з іншого розподілу, ніж рядки‑контекст, і радить перевіряти точність і калібрування на відкладених даних перед розгортанням.
Пакет structured-data-models є нативним для GPU, вимагає Python 3.11 або новішої версії та PyTorch 2.7 або новішого, і рекомендує cudf для навантажень CUDA, щоб операції з датафреймами залишалися на GPU. Він містить референтні реалізації табличних фундаментальних моделей TabICLv2, KumoTabular і TabFM разом із реляційною моделлю KumoRelational, а код, написаний NVIDIA у репозиторії, ліцензовано під Apache 2.0.
NVIDIA заявила, що рецепт навчання та генератори штучних даних, що стоять за Kumo Tabular, будуть випущені незабаром.
