NVIDIA เปิดตัวโมเดล Kumo Tabular แบบเปิดสำหรับการพยากรณ์ข้อมูลตาราง

NVIDIA เมื่อวันที่ 29 กันยายน 2026 ปล่อย Kumo Tabular ซึ่งเป็นโมเดลพื้นฐานแบบเปิดสำหรับการจำแนกและการถดถอยของข้อมูลตาราง ที่สามารถพยากรณ์ป้ายกำกับของแถวใหม่ได้ในหนึ่งขั้นตอนการประมวลผลโดยไม่ต้องฝึกฝน ปรับจูน หรือทำวิศวกรรมคุณลักษณะ โมเดลนี้ได้รับการฝึกล่วงหน้าจากข้อมูลเทียมทั้งหมดและมีสามขนาดตั้งแต่ 28 ล้านถึง 215 ล้านพารามิเตอร์

Kumo Tabular เป็นส่วนหนึ่งของชุดโมเดล NVIDIA Kumo Structured ตาม การประกาศบนบล็อกของ Hugging Face. น้ำหนักโมเดลพร้อมให้ดาวน์โหลดจาก รายการของโมเดลบน Hugging Face ภายใต้ใบอนุญาต OpenMDW 1.1 ซึ่ง NVIDIA ระบุว่าอนุญาตให้ใช้เชิงพาณิชย์ และการทำ inference ทำผ่าน ไลบรารี structured-data-models แบบโอเพ่นซอร์ส ซึ่งจะดาวน์โหลดน้ำหนักเมื่อตั้งค่าเป็นครั้งแรกและให้การเตรียมข้อมูลล่วงหน้า การรวมผลโมเดล และการจัดการหลายคลาสที่ใช้ในการประเมินของ NVIDIA

NVIDIA นำการเปิดตัวนี้มาเปรียบเทียบกับสองทศวรรษที่งานตารางในระดับองค์กร เช่น churn, default, demand, และ price prediction ได้พึ่งพา gradient-boosted trees ซึ่งแต่ละคำถามใหม่ต้องผ่านรอบการทำป้ายกำกับ, วิศวกรรมคุณลักษณะ, การปรับจูน, การตรวจสอบคุณภาพ, และการนำไปใช้งาน บริษัทระบุว่าโมเดลนี้ใช้รูปแบบการเรียนรู้ในบริบท (in-context learning) ของ large language models กับตาราง โดยอ่านตารางที่มีป้ายกำกับเป็นบริบทเพื่อพยากรณ์ป้ายกำกับของแถวใหม่โดยตรง

สถาปัตยกรรมและการพยากรณ์ในบริบท

Kumo Tabular เป็น Transformer ที่สร้างขึ้นโดยอิงโครงสร้างของตาราง ใช้การใส่ความสนใจแบบ column, row, และ in-context ตามที่แนะนำใน TabICL และ TabPFN เพื่อพยากรณ์ป้ายกำกับ โมเดลจะกำหนดความหมายของแต่ละค่าในคอลัมน์ของมัน การโต้ตอบระหว่างคอลัมน์ของแถวหนึ่ง และความสัมพันธ์ระหว่างแถวบริบทที่มีป้ายกำกับกับแถวสอบถามที่ป้ายกำกับยังไม่ทราบ

ในขั้นตอนการฝังเซลล์ (cell-embedding) กลุ่มของเซลล์จะกลายเป็นโทเคน ค่าตัวเลขและค่าประเภทเชิงหมวดหมู่จะผ่านฟีเจอร์ฟูริเยร์, sine และ cosine ของความถี่ที่เรียนรู้ โดยมีน้ำหนักแยกสำหรับแต่ละประเภท ค่าที่หายไปจะได้รับการจัดการเป็นพิเศษและไม่ต้องทำการเติมค่า และโทเคนทุกตัวในบริบทจะได้รับการฝังป้ายกำกับ แถวแต่ละแถวจะถูกบีบอัดเป็นเวกเตอร์ฝังโดยการสลับการใส่ความสนใจของคอลัมน์, ซึ่งเป็น self-attention ที่ค่าใช้จ่ายเพิ่มตามจำนวนแถวแบบเชิงเส้น, พร้อมกับการใส่ความสนใจของแถวที่เรียนรู้ว่าคุณลักษณะของแถวทำงานร่วมกันอย่างไร โดยใช้ตำแหน่งแบบ rotary เพื่อแยกคอลัมน์ออกจากกัน โทเคน CLS ที่เรียนรู้ได้สี่ตัวจะเข้าร่วมกับแต่ละแถวและทำหน้าที่เป็นการอ่านผลขั้นสุดท้ายของแถว

Transformer ขั้นสุดท้ายทำงานบนเวกเตอร์ฝังของแถว แถวบริบทจะให้ความสนใจต่อกันเองในขณะที่แถวสอบถามให้ความสนใจเฉพาะกับแถวบริบทเท่านั้น ดังนั้นการพยากรณ์แต่ละครั้งจึงพึ่งพาเฉพาะบริบทและแถวเอง และคีย์และค่าในบริบทจะคำนวณครั้งเดียวแล้วใช้ซ้ำสำหรับการพยากรณ์ต่อไป แถวสอบถามใช้ Test-GQA ซึ่งทำให้แคชที่อ่านในแต่ละการพยากรณ์ลดลง อุณหภูมิการใส่ความสนใจที่รับรู้ความยาวปรับสเกลแต่ละคำถามด้วยปัจจัยที่เพิ่มตามลอการิทึมของจำนวนคีย์ โดยมีสัมประสิทธิ์ที่เรียนแยกสำหรับแต่ละหัว เพื่อให้การใส่ความสนใจคมชัดเมื่อตาราง inference ยาวกว่าตารางการฝึกทั่วไปอย่างมาก หัวหนึ่งจะส่งออกความน่าจะเป็นของคลาสสำหรับการจำแนกหรือ 999 ควอนไทล์สำหรับการถดถอย ให้ผลลัพธ์เป็นการพยากรณ์จุดเดียวและการประมาณความไม่แน่นอน

การฝึกล่วงหน้าบนตารางเทียม

ตารางการฝึกแต่ละตารางถูกสุ่มมาจาก Structural Causal Model ด้วยหกขั้นตอน ตัวสร้างจะวาดการกำหนดค่าทั้งหมดของตาราง จากนั้นเชื่อมตัวแปรที่ซ่อนอยู่ด้วยกราฟสาเหตุสุ่มที่ประเมินจากรากถึงใบโดยใช้ฟังก์ชันที่สุ่มเลือกที่แต่ละโหนด รวมถึงการแมปเชิงเส้น, เครือข่ายประสาทขนาดเล็ก, ต้นไม้, และ Gaussian processes โหนดบางส่วนจะกลายเป็นคอลัมน์เชิงตัวเลขหรือเชิงหมวดหมู่, หนึ่งโหนดเป็นเป้าหมาย, ส่วนที่เหลือยังคงซ่อนอยู่เช่นสาเหตุที่ไม่ได้วัดจากข้อมูลจริง การประมวลผลภายหลังจะทำการเชื่อมโยงกลุ่มคอลัมน์, ตัดค่าผิดปกติ, และเติมค่าที่หายไป, และการตรวจสอบด้วย tree-ensemble จะละทิ้งตารางใด ๆ ที่ไม่มีสัญญาณที่เรียนรู้ได้

NVIDIA ระบุว่าได้ใส่ข้อบกพร่องของตารางจริงลงในตัวสร้าง: ค่าต่าง ๆ หายไปในหลายรูปแบบ, บางคุณลักษณะถูกทำให้หยาบลงเพื่อให้แถวซ้ำกันอาจมีป้ายกำกับที่แตกต่างกัน, คอลัมน์เชิงหมวดหมู่บางคอลัมน์มีหลายระดับ, และเป้าหมายการถดถอยอาจมีการกระจายแบบหางหนัก การฝึกใช้ฟังก์ชันสูญเสีย cross-entropy สำหรับการจำแนกและฟังก์ชันสูญเสีย quantile สำหรับการถดถอย โดยสองงานฝึกเป็นโมเดลแยกกันและดำเนินการในสามขั้นตอน: ตารางที่มี 1,024 แถวและสูงสุด 100 คอลัมน์, บริบทที่มีจำนวนแถวตั้งแต่ 400 ถึง 10,240 แถว, และสุดท้ายบริบทที่มีจำนวนแถวสูงสุด 60,000 แถว รุ่น Small, Medium, และ Large ได้รับการฝึกด้วยตารางเทียมประมาณ 35 ล้าน, 71 ล้าน, และ 137 ล้านตารางตามลำดับ

ผลการทดสอบมาตรฐานที่ NVIDIA รายงาน

NVIDIA รายงานว่าได้รันโมเดลทั้งสามขนาดด้วยการตั้งค่าเริ่มต้นบนตารางคะแนน TabArena ทั้งหมด ซึ่งรวมถึง gradient-boosted trees ที่ปรับแต่ง, AutoGluon, และโมเดลพื้นฐานตารางล่าสุด, และ Kumo Tabular ได้อันดับหนึ่งโดยรวมด้วยค่า ELO 1950 พร้อมทำงานเร็วกว่า LimiX-2 ถึง 26 เท่า ภายใต้การประเมินด้วย RTX 6000 Pro ตัวเดียวแบบสม่ำเสมอ บริษัทระบุว่าขนาดทั้งสามสร้างมาตรฐานใหม่บนเส้นพาเรโต้ของความแม่นยำ-ประสิทธิภาพ

บน BeyondArena, NVIDIA รายงานค่า ELO ที่ 1418 และคะแนน Improvability ที่ 7.78% ซึ่งทำให้ได้อันดับแรกบนลีดเดอร์บอร์ดนั้น บน TALENT บริษัทรายงานว่ามีอันดับโดยรวมสูงสุดในด้านความแม่นยำการจำแนก, การสูญเสียล็อกของการจำแนก, และ RMSE ของการถดถอย, โดยค่าเฉลี่ยอันดับอยู่ที่ 6.67, 3.98 และ 4.22 ตามลำดับ บน ScoringBench ซึ่งเป็นมาตรฐานสำหรับการกระจายการทำนาย, NVIDIA กล่าวว่า Kumo Tabular-Large และ Kumo Tabular-Medium ได้อันดับแรกและอันดับสองตามค่าเฉลี่ยอันดับ

ข้อจำกัดและการพร้อมใช้งาน

Kumo Tabular ทำงานเฉพาะกับคอลัมน์เชิงตัวเลขและเชิงประเภท; ข้อความ, รูปภาพ หรือเครื่องหมายเวลา สามารถแปลงเป็นฟีเจอร์ได้ผ่านสูตรการเตรียมข้อมูลล่วงหน้าที่รวมมาในตัว ระบบการส่งผ่านแบบเดียวสามารถครอบคลุมได้สูงสุด 10 คลาส, และไลบรารีขยายโมเดลให้รองรับจำนวนคลาสใด ๆ ด้วยรหัสเอาต์พุตแก้ไขข้อผิดพลาด NVIDIA เตือนว่าความแม่นยำอาจลดลงเมื่อใช้ตารางที่อยู่นอกช่วงการฝึกหรือเมื่อแถวคำถามมาจากการแจกแจงที่แตกต่างจากแถวบริบท, และแนะนำให้ตรวจสอบความแม่นยำและการปรับเทียบบนข้อมูลที่แยกไว้ก่อนการใช้งานจริง

แพ็กเกจ structured-data-models เป็นแบบเนทีฟสำหรับ GPU, ต้องการ Python 3.11 หรือใหม่กว่าและ PyTorch 2.7 หรือใหม่กว่า, และแนะนำให้ใช้ cudf สำหรับงาน CUDA เพื่อให้การดำเนินการ dataframe อยู่บน GPU. แพ็กเกจนี้โฮสต์การนำรหัสอ้างอิงของโมเดลพื้นฐานแบบตาราง TabICLv2, KumoTabular, และ TabFM พร้อมกับโมเดลเชิงสัมพันธ์ KumoRelational, และโค้ดที่เขียนโดย NVIDIA ในคลังนี้ได้รับใบอนุญาตภายใต้ Apache 2.0.

NVIDIA กล่าวว่า สูตรการฝึกและตัวสร้างข้อมูลเทียมที่อยู่เบื้องหลัง Kumo Tabular จะเปิดให้ใช้งานในเร็ว ๆ นี้.