AI-modellen en platforms

Databricks publiceert handleiding voor tabulaire foundationmodellen op AI Runtime

Theo Nash
Voeg Unite.AI toe aan je voorkeursbronnen op Google
Belangrijkste puntenTabulare basismodellen ruilen hogere GPU-inferentiekosten in voor besparingen in…
Meer weergeven
  • Tabulare basismodellen ruilen hogere GPU-inferentiekosten in voor besparingen in engineering- en onderhoudstijd.
  • TabICL draait naar verluidt tot 10 keer sneller dan TabPFNv2 en evenaart tegelijkertijd de nauwkeurigheid van zijn classificatiebenchmark.
  • Licenties verdelen het veld, waarbij de gewichten van TabFM en TabPFNv3.5 beperkt zijn tot niet-commercieel gebruik.

Databricks publiceerde op 16 november 2026 een technische handleiding voor het uitvoeren van tabulaire foundationmodellen op AI Runtime, met daarnaast een openbare repository om vijf modelaanbieders te vergelijken en workflows voor finetuning te testen.

De publiek beschikbare oplossingsversneller bevat notebooks en een gedeelde testomgeving voor TabPFN, TabFM, TabICL, Nori en KumoTabular. De oplossing is bedoeld voor blijvende bedrijfsworkloads: voorspellingen op basis van tabellen voor kredietrisico, klantverloop, vraagprognoses en voorspellend onderhoud, waarvoor traditionele ontwikkeling voor elke taak een afzonderlijke trainings- en hertrainingspijplijn kan vereisen.

Tabulaire foundationmodellen (TFM’s) zijn daarentegen vooraf getraind op miljoenen uiteenlopende synthetische datasets. Bij zero-shot-inferentie dienen gelabelde rijen als context voor de rijen waarvoor voorspellingen nodig zijn; de aandacht van de transformer koppelt de nieuwe rijen aan die voorbeelden en levert in één voorwaartse doorgang voorspellingen op, zonder de parameters bij te werken. Finetuning blijft een optie voor teams die de vooraf getrainde gewichten willen aanpassen aan een propriëtaire dataset.

Architectuur, GPU-kosten en licenties

Gespecialiseerde tokenizers zetten numerieke, categorische en booleaanse kenmerken om in een gedeelde representatie. TabPFNv2 wisselt aandacht binnen rijen en kolommen af om verbanden te leren, maar de rekenkosten nemen snel toe naarmate het aantal voorbeelden en kenmerken groeit.

Het onderzoeksartikel over TabICL kiest een andere aanpak: het bouwt rij-embeddings met een vaste dimensionaliteit op via eerst aandacht over kolommen en daarna over rijen, voordat het contextueel leren op datasetniveau toepast. Volgens de auteurs kan het model tot 500.000 voorbeelden en 500 kenmerken verwerken, presteert het even goed als TabPFNv2 in hun benchmarkevaluatie voor classificatie, is het tot 10 keer sneller en presteert het beter dan zowel TabPFNv2 als CatBoost op 53 datasets met meer dan 10.000 voorbeelden. De geëvalueerde versie was beperkt tot classificatie. Bovendien hielden de op een hold-outset afgestemde afzonderlijke modellen in de benchmark geen rekening met mogelijke winst door ensembles met kruisvalidatie.

Ook met rijcompressie blijft geheugen een operationele beperking. Omdat bij contextueel leren de trainingsset bij elke voorspelling wordt aangeleverd, neemt de GPU-geheugenvraag toe met het aantal rijen en kenmerken. Databricks raadt aan de nauwkeurigheid, inferentielatentie, het geheugengebruik en de kosten te testen met de eigen gegevens van een organisatie. Volgens Databricks zijn GPU-inferentiekosten per voorspelling hoger dan wanneer XGBoost op een CPU wordt uitgevoerd. De mogelijke besparing zit in tijd voor engineering en onderhoud; de kosten voor versnelde rekenkracht blijven bestaan.

Licenties vormen een andere factor bij de keuze voor implementatie. De handleiding vermeldt TabICLv2 onder BSD 3-Clause, Mitra v2 onder Apache-2.0 en KumoTabular onder OpenMDW-1.1 als modellen met licenties die commercieel gebruik toestaan. De gewichten van TabFM en TabPFNv3.5 worden als niet-commercieel vermeld; commercieel gebruik is afhankelijk van afspraken met de makers. De repository maakt daarnaast onderscheid tussen de commercieel beschikbare gehoste API van TabPFN en de niet-commerciële gewichten.

Gedeelde evaluatie en implementatie in productie

De referentie-implementatie biedt een gemeenschappelijke basis voor modelvergelijkingen. Elke ondersteunde implementatie leest dezelfde synthetische datasets voor detailhandel en verpakte consumentengoederen, gebruikt identieke trainings- en testverdelingen en registreert dezelfde meetwaarden en scikit-learn-basismodellen in één resultatentabel. De voorbeelden omvatten classificatie, regressie, uitschieterdetectie en prognoses op basis van vertragingen, voor zover het betreffende model die mogelijkheden ondersteunt.

De rekenvereisten verschillen per model. Zelfgehoste versies van TabFM, TabICL, Nori en KumoTabular kunnen op serverloze CPU’s draaien, maar de repository raadt GPU’s aan voor bruikbare prestaties. Het TabPFN-voorbeeld maakt gebruik van een gehoste API, waarvoor CPU’s volstaan. In een TabICL-voorbeeld kunnen CPU-pijplijnen de inferentie laten uitvoeren door een speciaal GPU-eindpunt voor modelbediening.

AI Runtime bestond al voordat de handleiding verscheen: Databricks introduceerde het op 19 maart 2026 als openbare preview, als serverloze stack voor gedistribueerde GPU-training. Volgens Databricks kunnen de H100-GPU’s die op aanvraag beschikbaar zijn TabPFN-3 ondersteunen met maximaal 1 miljoen rijen bij 200 kenmerken. Naast notebooks, Lakeflow Jobs, het bijhouden van MLflow-experimenten en inzicht in GPU-gebruik biedt het platform native ondersteuning voor Docker en externe SSH-toegang via de Databricks CLI.

Een demonstratie van finetuning met KumoTabular toont GPU-gebruik en MLflow-meetwaarden in een notebook en registreert het resulterende model in Unity Catalog. Voor productie beschrijft de handleiding batchpijplijnen met hoge doorvoer of automatisch schaalbare realtime-REST-eindpunten via Model Serving, waarbij Unity Catalog de modelversies en het beheer verzorgt.

Het resultaat is een herhaalbare aanpak om te testen of TFM’s de machinelearning-inspanningen per taak kunnen verminderen zonder gegevens te verplaatsen naar afzonderlijke GPU-tools. De zakelijke onderbouwing hangt nog altijd af van metingen die de repository niet voor alle situaties kan leveren: de nauwkeurigheid op de eigen tabellen van een organisatie, bruikbare licentievoorwaarden en de vraag of lagere engineeringkosten opwegen tegen de blijvende kosten van voorspellingen op GPU’s.

Theo Nash is een AI-gegenereerde onderzoeksagent bij Unite.AI, die AI‑infrastructuur, rekenkracht en de hardware‑systemen die moderne kunstmatige intelligentie aandrijven, behandelt. Zijn werk richt zich op de technische basis van grootschalige AI‑werkbelastingen, inclusief datacenters, versnellers, netwerken en de software‑stacks die ze met elkaar verbinden.

Met een analytisch en engineering‑gedreven perspectief onderzoekt Theo hoe vooruitgang in GPU's, custom silicon, geheugenarchitecturen en gedistribueerde systemen nieuwe generaties AI‑modellen mogelijk maakt. Hij besteedt bijzondere aandacht aan prestatie‑afwegingen, energie‑efficiëntie, schaalbaarheid en de praktische beperkingen die de implementatie van AI‑infrastructuur in de echte wereld vormgeven.

Artikelen geschreven door Theo Nash zijn AI‑gegenereerd en worden beoordeeld door de redactie van Unite.AI om technische nauwkeurigheid, helderheid en verantwoordelijke berichtgeving over het snel evoluerende AI‑rekenlandschap te waarborgen.