Databricks gör AI Runtime allmänt tillgängligt för GPU-träning

Den 21 oktober 2026 meddelade Databricks att AI Runtime nu är allmänt tillgängligt (AIR), en helt hanterad, serverlös GPU-plattform som är inbyggd i Databricks Lakehouse och utformad för att träna och finjustera djupinlärningsmodeller på företagsdata.

Databricks uppgav att hundratals företag, däribland Robinhood, PicPay, Merck, Flo Health, TinyFish och FactSet, redan använder AIR för att träna djupinlärningsmodeller och sätta dem i produktion. Användningsområdena omfattar hälso- och sjukvård, tillverkning och konsumentinriktade agenter. Företaget uppgav att det egna forskarteamet inom Databricks AI använder plattformen för att träna modellerna bakom KARL och AI Parse, och beskrev AIR som beprövat genom träningskörningar på sammanlagt mer än 100 000 GPU-timmar.

Företaget beskrev lanseringen som ett svar på att AI-team lägger mer tid på att säkra GPU-kapacitet, hantera fel och vänta på att experiment ska starta än på att förbättra sina modeller. Enligt tillkännagivandet skapar GPU-infrastruktur som drivs separat från Lakehouse brister i styrningen och utsätter känsliga träningsdata för risk.

Hanterad GPU-infrastruktur

Databricks ansvarar för att anskaffa GPU:er, konfigurera kluster och hantera nätverk, så att kunderna kan börja träna utan att själva behöva driva en fullskalig GPU-plattform. Företaget uppgav att det utför dussintals kontroller av GPU:er och nätverkets tillstånd före och under träningen, så att arbetsbelastningar tillförlitligt kan skalas upp till hundratals GPU:er. Plattformen kontrollerar GPU:erna innan de schemaläggs, övervakar aktiva arbetsbelastningar kontinuerligt och testar regelbundet inaktiva GPU:er för att upptäcka och ta bort noder som inte fungerar som de ska.

AIR hanterar träningsdata med inbyggda inläsare som strömmar och cachelagrar data, vilket minskar tiden som jobb tillbringar med att vänta på I/O. Ett tillhörande verktyg, UCVolumeDataset, är avsett att öka datagenomströmningen utan att man behöver skapa en egen inläsningspipeline. Användarna kan nå GPU:er via ett kommandoradsgränssnitt eller arbeta interaktivt i notebookmiljöer och IDE:er. Databricks uppgav att det räcker med ett enda CLI-kommando för att starta den första arbetsbelastningen och att funktionen AIR Skills migrerar arbetsbelastningar från Kubernetes- eller SLURM-kluster med en enda instruktion på naturligt språk.

AIR integreras direkt med Lakeflow, företagets produkt för pipelineorkestrering, så att GPU-arbetsbelastningar hålls synkroniserade med överordnade och underordnade pipelines. Enligt tillkännagivandet krävs bara några extra rader YAML för att flytta en arbetsbelastning till produktion. Där beskrevs även inbyggda kontroller för prioritering och företrädesstyrning, som minimerar tiden GPU:er står oanvända, samt övervakning med verktyg som Genie ZeroOps. På produktsidan för AI Runtime listas NVIDIA-GPU:er på begäran med kapacitet i flera regioner, distribuerad träning på flera GPU:er och noder med hanterat RDMA-nätverk, optimerad kontrollpunktslagring för långvariga jobb och stöd för anpassade Docker-containrar, däribland NVIDIA NGC-containrar.

Kostia Omelianchuk, forskare inom tillämpad forskning och tekniskt områdesansvarig på Superhuman, uppgav i tillkännagivandet att plattformen gjorde det möjligt för teamet att flytta storskalig träning från en nod med åtta A100-GPU:er till 16 H100-GPU:er fördelade på flera noder. Träningstiden minskade från ungefär sju dagar till 48 timmar, vilket han beskrev som en hastighetsökning på 3,5 gånger.

Start och felsökning på några sekunder

Databricks uppgav att AIR startar på några sekunder även i stora RDMA-aktiverade kluster med dussintals GPU:er. Tjänsten använder uppvärmda serverlösa GPU-pooler och fördröjd inläsning av avbildningar. Arbetsbelastningarna startar på några sekunder medan återstående avbildningsdata läses in i bakgrunden. Användarna kan köra färdigbyggda miljöer eller ta med egna containrar, och tack vare miljöcachelagring behöver miljöerna bara byggas en gång. Företaget beskrev AIR som kompatibelt med alla större ramverk, och på produktsidan nämns PyTorch och Ray bland de alternativ som stöds.

Databricks uppgav att en ny funktion för observerbarhet i experimentuppföljningsverktyget MLflow strömmar loggar några sekunder efter att en körning har skickats in, om användaren lägger till flaggan watch i ett AIR-kommando. En ny loggvisare har utformats särskilt för träning på flera noder. Genie Code är integrerat i hela upplevelsen och innehåller färdigpaketerade agentfärdigheter för felsökning och optimering av GPU-träningens prestanda. Företaget uppgav att dessa färdigheter bygger på insikter från dess forsknings- och prestandateam, däribland hur teamet minskade träningstiden för Qwen med en faktor på 6 med AIR.

Joe Tyler, ledande AI-forskare på Sonar, uppgav att forskningsingenjörer där använde AIR för att sätta samman träningspipelines för LLM:er och snabbt pröva hypoteser, med insyn i varje steg i pipelinen. Nikhil Sunderraj, chefsingenjör inom maskininlärning på FactSet, uppgav att tiden det tog att konfigurera, träna och driftsätta en anpassad Text To Formula-modell minskade från dagar till timmar.

Säkerhet, styrning och att komma igång

Databricks uppgav att AIR verkar inom Databricks och Unity Catalogs styrningsramverk, som säkerställer enhetliga läs- och skrivbehörigheter för åtkomst till data, kontrollpunkter och loggar för GPU-arbetsbelastningar. Företaget uppgav att AIR tillhandahåller isolering på VM-nivå i stället för isoleringsmekanismer som exponerar värdkärnan, och att tjänsten stöder PrivateLink och kontroller för utgående trafik i serverlösa miljöer, med stöd av företagets säkerhetssatsningar inom serverlös teknik. I tillkännagivandet hänvisade Databricks till OpenAI- och Hugging Face-incidenten som ett exempel på riskerna med att hantera GPU-infrastruktur separat från styrda företagsdata.

AIR-användning och kostnader visas i Databricks faktureringstabeller tillsammans med andra Databricks-arbetsbelastningar. Användningsposter på arbetsbelastningsnivå visar vilka träningskörningar som förbrukar GPU-budget.

Robert Macy III, maskininlärningsingenjör på Robinhood, sade att AIR hjälper hans team att snabbare gå från experiment till träning, med inbyggd styrning och datakontroller. Eran Barash, vice vd för artificiell intelligens och maskininlärning på QuantHealth, sade att hans team skalar upp distribuerad träning på serverlösa GPU:er över miljontals poster inom befintliga dataflöden. Zach Richardson, AI-chef på TinyFish, sade att hans team kan träna på GPU:er, utvärdera resultat med MLflow och driftsätta företagets webbanpassade modell utan att sätta upp separat infrastruktur för varje steg.

Databricks hänvisade nya användare till en snabbstartsguide, mallanteckningsböcker och introduktionsguider samt till kodförrådet ai-runtime-cookbook på GitHub, som kan klonas. Enligt företaget kan det starta den första GPU-arbetsbelastningen med ett enda CLI-kommando. Företaget hänvisade kunder till sina kundansvariga för mer information.