Η NVIDIA κυκλοφορεί το ανοιχτό μοντέλο Kumo Tabular για προβλέψεις σε πίνακες

Την 29 Σεπτεμβρίου 2026, η NVIDIA κυκλοφόρησε το Kumo Tabular, ένα ανοιχτό μοντέλο βάσης για ταξινόμηση και παλινδρόμηση σε πίνακες, που προβλέπει τις ετικέτες νέων γραμμών σε μία μόνο προώθηση, χωρίς εκπαίδευση, ρύθμιση ή μηχανική χαρακτηριστικών. Το μοντέλο προεκπαιδεύτηκε εξ ολοκλήρου σε τεχνητά δεδομένα και διατίθεται σε τρία μεγέθη, από 28 εκατομμύρια έως 215 εκατομμύρια παραμέτρους.

Kumo Tabular είναι μέρος της συλλογής μοντέλων NVIDIA Kumo Structured, σύμφωνα με η ανακοίνωση στο blog του Hugging Face. Τα βάρη διατίθενται από η καταχώριση του μοντέλου στο Hugging Face υπό την άδεια OpenMDW 1.1, την οποία η NVIDIA δήλωσε ότι επιτρέπει εμπορική χρήση, και η εκτέλεση προβλέψεων γίνεται μέσω της ανοιχτού κώδικα η βιβλιοθήκη structured-data-models, η οποία κατεβάζει τα βάρη κατά την πρώτη χρήση και παρέχει την προεπεξεργασία, τη συνένωση και τη διαχείριση πολλαπλών κλάσεων που χρησιμοποιήθηκαν στις αξιολογήσεις της NVIDIA.

Η NVIDIA τοποθετεί την κυκλοφορία εντός δύο δεκαετιών όπου εργασίες επιχειρηματικών πινάκων, όπως η πρόβλεψη αποχώρησης πελατών, αθέτησης, ζήτησης και τιμών, βασίζονταν σε δέντρα ενισχυμένα με gradient, με κάθε νέα ερώτηση να απαιτεί τον δικό της κύκλο σήμανσης, μηχανικής χαρακτηριστικών, ρύθμισης, επικύρωσης και ανάπτυξης. Η εταιρεία δηλώνει ότι το μοντέλο εφαρμόζει το πρότυπο μάθησης εντός πλαισίου των μεγάλων γλωσσικών μοντέλων σε πίνακες, διαβάζοντας έναν επισημασμένο πίνακα ως πλαίσιο για να προβλέπει άμεσα τις ετικέτες των νέων γραμμών.

Αρχιτεκτονική και Πρόβλεψη Εντός Πλαισίου

Το Kumo Tabular είναι ένας Transformer που κατασκευάζεται γύρω από τη δομή ενός πίνακα, χρησιμοποιώντας προσοχή στήλης, γραμμής και εντός πλαισίου όπως παρουσιάστηκε στα TabICL και TabPFN. Για να προβλέψει μια ετικέτα, το μοντέλο καθορίζει τι σημαίνει κάθε τιμή μέσα στη στήλη της, πώς αλληλεπιδρούν οι στήλες μιας γραμμής, και πώς οι επισημασμένες γραμμές πλαισίου σχετίζονται με τις γραμμές ερώτησης των οποίων οι ετικέτες είναι άγνωστες.

Στο στάδιο ενσωμάτωσης κελιών, μια ομάδα κελιών μετατρέπεται σε ένα διακριτικό. Οι αριθμητικές και κατηγορικές τιμές περνούν από Fourier χαρακτηριστικά, ημίτονα και συνημίτονα των μαθημένων συχνοτήτων, με ξεχωριστά βάρη για κάθε τύπο. Οι ελλιπείς τιμές αντιμετωπίζονται ειδικά και δεν απαιτούν ενσωμάτωση, και κάθε διακριτικό στο πλαίσιο λαμβάνει μια ενσωμάτωση ετικέτας. Στη συνέχεια, κάθε γραμμή συμπιέζεται σε μια ενσωμάτωση μέσω εναλλασσόμενης προσοχής στήλης, μιας επαγόμενης αυτοπροσοχής του κόστους της που αυξάνεται γραμμικά με τον αριθμό των γραμμών, με προσοχή γραμμής που μαθαίνει πώς αλληλεπιδρούν τα χαρακτηριστικά μιας γραμμής, χρησιμοποιώντας περιστροφικές θέσεις για να διακρίνει τις στήλες. Τέσσερα εκπαιδεύσιμα διακριτικά CLS προστίθενται σε κάθε γραμμή και λειτουργούν ως η τελική ανάγνωση.

Ένας τελικός Transformer λειτουργεί πάνω στις ενσωματώσεις των γραμμών. Οι γραμμές πλαισίου προσοχήζουν μεταξύ τους, ενώ οι γραμμές ερώτησης προσοχήζουν μόνο στις γραμμές πλαισίου, έτσι ώστε κάθε πρόβλεψη να εξαρτάται μόνο από το πλαίσιο και τη γραμμή αυτή καθαυτή, και τα κλειδιά και οι τιμές του πλαισίου υπολογίζονται μία φορά και επαναχρησιμοποιούνται για μεταγενέστερες προβλέψεις. Οι γραμμές ερώτησης χρησιμοποιούν το Test-GQA, το οποίο μειώνει την κρυφή μνήμη που διαβάζει κάθε πρόβλεψη. Μια θερμοκρασία προσοχής που λαμβάνει υπόψη το μήκος κλιμακώνει κάθε ερώτηση με έναν παράγοντα που αυξάνεται με το λογάριθμο του αριθμού των κλειδιών, με συντελεστή που μαθαίνεται ξεχωριστά για κάθε κεφαλή, διατηρώντας την προσοχή οξεία όταν ο πίνακας πρόβλεψης είναι πολύ μεγαλύτερος από έναν τυπικό πίνακα εκπαίδευσης. Μια κεφαλή εξάγει πιθανότητες κλάσεων για ταξινόμηση ή 999 ποσοστιαίες τιμές για παλινδρόμηση, παρέχοντας μια σημειακή πρόβλεψη και μια εκτίμηση αβεβαιότητας.

Προεκπαίδευση σε Τεχνητούς Πίνακες

Κάθε πίνακας εκπαίδευσης δειγματοληπτείται από ένα Δομικό Αιτιολογικό Μοντέλο σε έξι βήματα. Ο γεννήτορας δημιουργεί μια διαμόρφωση για ολόκληρο τον πίνακα, στη συνέχεια συνδέει κρυφές μεταβλητές με ένα τυχαίο αιτιολογικό γράφημα που αξιολογείται από τη ρίζα προς το φύλλο χρησιμοποιώντας τυχαία παραγόμενες συναρτήσεις σε κάθε κόμβο, συμπεριλαμβανομένων γραμμικών χαρτών, μικρών νευρωνικών δικτύων, δέντρων και Γκαουσιανών διεργασιών. Κάποιοι κόμβοι γίνονται αριθμητικές ή κατηγορικές στήλες, ένας γίνεται ο στόχος, και οι υπόλοιπες παραμένουν κρυφές, όπως οι αμετρήσιμες αιτίες πίσω από τα πραγματικά δεδομένα. Η μετα-επεξεργασία συσχετίζει ομάδες στηλών, αποκόπτει ακραίες τιμές και εισάγει ελλιπείς τιμές, και ένας έλεγχος δένδρου-συλλογής απορρίπτει οποιονδήποτε πίνακα χωρίς μαθαίσιμη σήμανση.

Η NVIDIA δήλωσε ότι ενσωμάτωσε τις ατέλειες των πραγματικών πινάκων στον γεννήτορα: οι τιμές λείπουν σε διάφορα μοτίβα, ορισμένα χαρακτηριστικά είναι αδυνατισμένα ώστε οι διπλότυπες γραμμές να μπορούν να διαφωνούν για την ετικέτα τους, ορισμένες κατηγορικές στήλες έχουν πολλά επίπεδα, και οι στόχοι παλινδρόμησης μπορεί να έχουν βαριά ουρά. Η εκπαίδευση χρησιμοποιεί απώλεια διασταυρούμενης εντροπίας για ταξινόμηση και απώλεια ποσοστών για παλινδρόμηση, με τις δύο εργασίες να εκπαιδεύονται ως ξεχωριστά μοντέλα, και εκτελείται σε τρία στάδια: πίνακες με 1.024 γραμμές και έως 100 στήλες, πλαίσια που κυμαίνονται από 400 έως 10.240 γραμμές, και τελικά πλαίσια έως 60.000 γραμμές. Οι παραλλαγές Small, Medium και Large είδαν περίπου 35 εκατομμύρια, 71 εκατομμύρια και 137 εκατομμύρια τεχνητούς πίνακες, αντίστοιχα.

Αναφερόμενα Αποτελέσματα Benchmark της NVIDIA

NVIDIA αναφέρει ότι εκτέλεσε όλα τα τρία μεγέθη με τις προεπιλεγμένες ρυθμίσεις ενάντια στην πλήρη κατάταξη TabArena, η οποία περιλαμβάνει βελτιστοποιημένα δέντρα gradient‑boosted, AutoGluon και πρόσφατα θεμελιώδη μοντέλα για πίνακες, και ότι το Kumo Tabular καταλαμβάνει την πρώτη θέση συνολικά με ELO 1950, ενώ τρέχει 26 φορές πιο γρήγορα από το LimiX‑2 υπό μια ενιαία αξιολόγηση με ένα μόνο RTX 6000 Pro. Η εταιρεία δήλωσε ότι τα τρία μεγέθη καθιερώνουν ένα νέο υψηλότερο επίπεδο στην παραμετρική καμπύλη ακρίβειας‑αποδοτικότητας.

Στο BeyondArena, η NVIDIA αναφέρει ELO 1418 και σκορ Βελτιωσιμότητας 7,78%, καταλαμβάνοντας την πρώτη θέση σε αυτό το leaderboard. Στο TALENT, η εταιρεία αναφέρει την κορυφαία συνολική κατάταξη σε ακρίβεια ταξινόμησης, log-loss ταξινόμησης και RMSE παλινδρόμησης, με μέσους βαθμούς 6,67, 3,98 και 4,22, αντίστοιχα. Στο ScoringBench, ένα benchmark για προβλεπτικές κατανομές, η NVIDIA δήλωσε ότι τα Kumo Tabular-Large και Kumo Tabular-Medium καταλαμβάνουν την πρώτη και τη δεύτερη θέση κατά μέσο όρο.

Περιορισμοί και Διαθεσιμότητα

Το Kumo Tabular λειτουργεί μόνο σε αριθμητικές και κατηγορικές στήλες· το κείμενο, οι εικόνες ή οι χρονικές σφραγίδες μπορούν να μετατραπούν σε χαρακτηριστικά μέσω ενσωματωμένων συνταγών προεπεξεργασίας. Μια μόνο προώθηση καλύπτει έως και 10 κατηγορίες, και η βιβλιοθήκη επεκτείνει το μοντέλο σε οποιονδήποτε αριθμό κατηγοριών με κώδικες εξόδου διόρθωσης σφαλμάτων. Η NVIDIA προειδοποιεί ότι η ακρίβεια μπορεί να υποχωρήσει σε πίνακες πολύ πέρα από τα εύρη εκπαίδευσης ή όταν οι γραμμές ερωτήματος προέρχονται από διαφορετική κατανομή από τις γραμμές περιβάλλοντος, και συνιστά την επικύρωση της ακρίβειας και της βαθμονόμησης σε δεδομένα κράτησης πριν από την ανάπτυξη.

Το πακέτο structured-data-models είναι εγγενές για GPU, απαιτεί Python 3.11 ή νεότερη έκδοση και PyTorch 2.7 ή νεότερη, και συνιστά τη χρήση του cudf για εργασίες CUDA ώστε οι λειτουργίες dataframe να παραμένουν στο GPU. Φιλοξενεί υλοποιήσεις αναφοράς των θεμελιωδών μοντέλων πίνακα TabICLv2, KumoTabular και TabFM, μαζί με το σχεσιακό μοντέλο KumoRelational, και ο κώδικας που έχει γράψει η NVIDIA στο αποθετήριο αδειοδοτείται υπό την Apache 2.0.

Η NVIDIA δήλωσε ότι η συνταγή εκπαίδευσης και οι τεχνητοί δημιουργοί δεδομένων πίσω από το Kumo Tabular θα κυκλοφορήσουν σύντομα.