Databricks gør AI Runtime generelt tilgængelig til GPU-træning

Databricks annoncerede den generelle tilgængelighed af AI Runtime (AIR) den 21. oktober 2026. AIR er en fuldt administreret, serverløs GPU-platform, der er indbygget i Databricks Lakehouse og bruges til at træne og finjustere deep learning-modeller på virksomhedsdata.

Databricks oplyste, at hundredvis af virksomheder, herunder Robinhood, PicPay, Merck, Flo Health, TinyFish og FactSet, allerede bruger AIR til at træne deep learning-modeller og sætte dem i produktion. Anvendelsesområderne spænder fra sundhedspleje og produktion til agenter rettet mod forbrugere. Virksomheden oplyste, at dens eget Databricks AI Research-team bruger platformen til at træne modellerne bag KARL og AI Parse, og beskrev AIR som gennemprøvet i mere end 100.000 GPU-timers træningskørsler.

Virksomheden præsenterede lanceringen som et svar på, at AI-teams bruger mere tid på at sikre GPU-kapacitet, håndtere fejl og vente på, at eksperimenter starter, end på at forbedre deres modeller. Ifølge annonceringen skaber det huller i styringen og udsætter følsomme træningsdata for risiko, når GPU-infrastrukturen drives separat fra Lakehouse.

Administreret GPU-infrastruktur

Databricks tager sig af at anskaffe GPU’er, konfigurere klynger og administrere netværket, så kunderne kan begynde at træne uden selv at skulle drive en komplet GPU-platform. Virksomheden oplyste, at den udfører snesevis af sundhedstjek af GPU’er og netværk før og under træningen, så arbejdsbelastninger pålideligt kan skaleres til hundredvis af GPU’er. Platformen validerer GPU’er, før de tages i brug, overvåger løbende aktive arbejdsbelastninger og tester med jævne mellemrum inaktive GPU’er for at finde og fjerne defekte noder.

AIR flytter træningsdata gennem indbyggede indlæsere, der streamer og cachelagrer dataene, så arbejdsopgaverne bruger mindre tid på at vente på I/O. Et tilhørende værktøj, UCVolumeDataset, skal øge datagennemstrømningen uden behov for en brugerdefineret indlæsningspipeline. Brugerne kan få adgang til GPU’er via en kommandolinjegrænseflade eller arbejde interaktivt i notebooks og IDE’er. Databricks oplyste, at det kun kræver én CLI-kommando at starte den første arbejdsbelastning, og at funktionen AIR Skills kan flytte arbejdsbelastninger fra Kubernetes- eller SLURM-klynger ved hjælp af én prompt på naturligt sprog.

AIR integreres direkte med Lakeflow, virksomhedens produkt til orkestrering af pipelines, så GPU-arbejdsbelastninger holdes synkroniseret med foregående og efterfølgende pipelines. Ifølge annonceringen kræver det kun nogle få ekstra YAML-linjer at flytte en arbejdsbelastning til produktion. Annonceringen beskrev også indbyggede kontroller for prioritering og præemption, der minimerer tiden, hvor GPU’er står inaktive, samt overvågning via værktøjer som Genie ZeroOps. På produktsiden for AI Runtime beskrives NVIDIA-GPU’er efter behov med kapacitet i flere regioner, distribueret træning på tværs af flere GPU’er og noder med administreret RDMA-netværk, optimeret lagring af checkpoints til langvarige arbejdsopgaver samt understøttelse af brugerdefinerede Docker-containere, herunder NVIDIA NGC-containere.

Kostia Omelianchuk, forsker i anvendt forskning og teknisk teamleder for et fagområde hos Superhuman, sagde i annonceringen, at platformen gjorde det muligt for hans team at flytte storskala-træning fra én node med otte A100-GPU’er til 16 H100-GPU’er fordelt på flere noder. Træningstiden faldt fra cirka syv dage til 48 timer, hvilket han beskrev som en hastighedsforøgelse på 3,5 gange.

Opstart på få sekunder og fejlfinding

Databricks oplyste, at AIR har en opstartsforsinkelse på få sekunder, selv på store RDMA-aktiverede klynger med snesevis af GPU’er. Tjenesten bruger varme serverløse GPU-puljer og behovsstyret indlæsning af images, så arbejdsbelastninger starter på få sekunder, mens resten af billeddataene indlæses i baggrunden. Brugerne kan benytte forudbyggede miljøer eller medbringe deres egne containere, og takket være cachelagring af miljøer skal de kun bygges én gang. Virksomheden beskrev AIR som kompatibel med alle større frameworks, og på produktsiden nævnes PyTorch og Ray blandt de understøttede muligheder.

Databricks oplyste, at en ny funktion til observerbarhed i værktøjet MLflow til eksperimentsporing sender logfiler videre få sekunder efter, at en kørsel er indsendt, hvis brugerne tilføjer watch-flaget til en AIR-kommando. Derudover er en ny logfremviser udviklet specifikt til træning på flere noder. Genie Code er integreret i hele oplevelsen med færdigpakkede agentfærdigheder til fejlfinding og optimering af GPU-træningens ydeevne. Virksomheden oplyste, at disse færdigheder bygger på viden fra dens forsknings- og ydelsesteams, herunder hvordan teamet reducerede træningstiden for Qwen på AIR med en faktor 6.

Joe Tyler, ledende AI-forsker hos Sonar, sagde, at forskningsingeniører dér brugte AIR til at sammensætte træningspipelines til LLM’er og hurtigt afprøve hypoteser med indblik i hvert trin af pipelinen. Nikhil Sunderraj, ledende maskinlæringsingeniør hos FactSet, sagde, at tiden til at opsætte, træne og udrulle en brugerdefineret Text To Formula-model faldt fra dage til timer.

Sikkerhed, datastyring og sådan kommer du i gang

Databricks oplyste, at AIR fungerer inden for de styringsrammer, der gælder for Databricks og Unity Catalog. De håndhæver ensartede læse- og skriverettigheder for GPU-arbejdsbelastningers adgang til data, checkpoints og logfiler. Virksomheden oplyste, at AIR isolerer på VM-niveau frem for at bruge isoleringsmekanismer, der giver adgang til værtskernelen, og at tjenesten understøtter PrivateLink og serverløse kontroller for udgående trafik, understøttet af virksomhedens investeringer i serverløs sikkerhed. I annonceringen blev OpenAI- og Hugging Face-hændelsen nævnt som et eksempel på de risici, der følger med at administrere GPU-infrastruktur separat fra virksomhedens data underlagt styring.

AIR-forbrug og -omkostninger vises i Databricks’ faktureringstabeller sammen med andre Databricks-arbejdsbelastninger. Forbrugsregistreringer på arbejdsbelastningsniveau viser, hvilke træningskørsler der bruger GPU-budgettet.

Robert Macy III, maskinlæringsingeniør hos Robinhood, sagde, at AIR hjælper hans teams med hurtigere at gå fra eksperimentering til træning, samtidig med at styring og datakontroller er indbygget. Eran Barash, vicepræsident for kunstig intelligens og maskinlæring hos QuantHealth, sagde, at hans team skalerer distribueret træning på serverløse GPU’er på tværs af millioner af poster inden for eksisterende dataarbejdsgange. Zach Richardson, AI-chef hos TinyFish, sagde, at hans team kan træne på GPU’er, evaluere resultater med MLflow og levere virksomhedens webbaserede model uden at etablere separat infrastruktur til hvert trin.

Databricks henviste nye brugere til en hurtigstartvejledning, notesbøger med skabeloner og introduktionsvejledninger samt et klonbart ai-runtime-cookbook-lager på GitHub, som ifølge virksomheden kan starte den første GPU-arbejdsbelastning med én CLI-kommando. Virksomheden henviste kunderne til deres accountteams for at få flere oplysninger.