Databricks gjør AI Runtime generelt tilgjengelig for GPU-trening

Databricks kunngjorde 21. oktober 2026 at AI Runtime nå er generelt tilgjengelig (AIR), en heladministrert, serverløs GPU-plattform innebygd i Databricks Lakehouse for trening og finjustering av dyplæringsmodeller på virksomhetsdata.

Databricks sa at hundrevis av selskaper, deriblant Robinhood, PicPay, Merck, Flo Health, TinyFish og FactSet, allerede bruker AIR til å trene dyplæringsmodeller og sette dem i produksjon. Bruksområdene omfatter helsevesenet, produksjonsindustrien og agenter rettet mot forbrukere. Selskapet sa at Databricks AI Research-teamet selv bruker plattformen til å trene modellene bak KARL og AI Parse, og beskrev AIR som gjennomprøvd gjennom mer enn 100 000 GPU-timer med treningskjøringer.

Selskapet presenterte lanseringen som et svar på at AI-team bruker mer tid på å sikre GPU-kapasitet, håndtere feil og vente på at eksperimenter skal starte enn på å forbedre modellene sine. Ifølge kunngjøringen fører det å kjøre GPU-infrastruktur separat fra Lakehouse til mangler i styringen og setter sensitive treningsdata i fare.

Administrert GPU-infrastruktur

Databricks tar ansvar for å skaffe GPU-er, konfigurere klynger og administrere nettverk, slik at kundene kan begynne å trene modeller uten å drifte sin egen komplette GPU-plattform. Selskapet sa at det utfører dusinvis av helse- og funksjonskontroller av GPU-er og nettverk før og under trening, slik at arbeidsbelastninger pålitelig kan skaleres til hundrevis av GPU-er. Plattformen kontrollerer GPU-ene før de planlegges brukt, overvåker aktive arbeidsbelastninger kontinuerlig og tester regelmessig inaktive GPU-er for å oppdage og fjerne noder som ikke fungerer som de skal.

AIR håndterer treningsdata med innebygde datalastere som strømmer og mellomlagrer dataene, slik at jobbene bruker mindre tid på å vente på I/O. Et tilhørende verktøy, UCVolumeDataset, skal øke datagjennomstrømningen uten behov for en tilpasset datapipeline for innlasting. Brukerne kan få tilgang til GPU-er via et kommandolinjegrensesnitt eller arbeide interaktivt i notatbøker og IDE-er. Databricks sa at én enkelt CLI-kommando er nok til å kjøre den første arbeidsbelastningen, og at AIR Skills-funksjonen overfører arbeidsbelastninger fra Kubernetes- eller SLURM-klynger ved hjelp av én instruksjon på naturlig språk.

AIR er integrert direkte med Lakeflow, selskapets produkt for orkestrering av datapipelines, slik at GPU-arbeidsbelastninger holdes synkronisert med oppstrøms- og nedstrøms-pipelines. Ifølge kunngjøringen krever det bare noen få ekstra YAML-linjer å flytte en arbeidsbelastning til produksjon. Kunngjøringen beskrev også innebygde kontroller for prioritering og preemptering, som minimerer tiden GPU-er står uvirksomme, samt overvåking med verktøy som Genie ZeroOps. Produktsiden for AI Runtime oppgir NVIDIA-GPU-er på forespørsel med kapasitet i flere regioner, distribuert trening på tvers av flere GPU-er og noder med administrert RDMA-nettverk, optimalisert kontrollpunkthåndtering for langvarige jobber og støtte for tilpassede Docker-containere, inkludert NVIDIA NGC-containere.

Kostia Omelianchuk, forsker innen anvendt forskning og teknologiansvarlig for fagområdet hos Superhuman, sa i kunngjøringen at plattformen gjorde det mulig for teamet hans å flytte storskala trening fra én node med åtte A100-GPU-er til 16 H100-GPU-er fordelt på flere noder. Treningstiden gikk ned fra omtrent sju dager til 48 timer, noe han beskrev som en 3,5 ganger høyere hastighet.

Oppstart på sekunder og feilsøking

Databricks sa at AIR gir oppstartstid på sekunder, selv på store RDMA-aktiverte klynger med dusinvis av GPU-er. Tjenesten bruker oppvarmede serverløse GPU-pooler og lat lasting av avbildninger, slik at arbeidsbelastninger starter på sekunder mens resten av avbildningsdataene lastes inn i bakgrunnen. Brukerne kan kjøre forhåndsbygde miljøer eller ta med egne containere, og mellomlagring av miljøer gjør at de bare trenger å bygges én gang. Selskapet beskrev AIR som kompatibelt med alle større rammeverk, og produktsiden nevner PyTorch og Ray blant alternativene som støttes.

Databricks sa at en ny løsning for observerbarhet i MLflow-verktøyet for eksperimentoppfølging strømmer logger sekunder etter at en kjøring er sendt inn, når brukerne legger til watch-flagget i en AIR-kommando. En ny loggviser er utviklet spesielt for trening på flere noder. Genie Code er integrert i hele løsningen og tilbyr forhåndspakkede agentferdigheter for feilsøking og optimalisering av GPU-treningsytelsen. Selskapet sa at disse ferdighetene bygger på innsikt fra forsknings- og ytelsesteamene, blant annet hvordan de reduserte treningstiden for Qwen med 6 ganger på AIR.

Joe Tyler, ledende AI-forsker hos Sonar, sa at forskningsingeniørene der brukte AIR til å sette sammen treningspipelines for LLM-er og raskt prøve ut hypoteser, med innsyn i hvert trinn av pipelinen. Nikhil Sunderraj, ledende maskinlæringsingeniør hos FactSet, sa at tiden det tok å sette opp, trene og distribuere en tilpasset Text To Formula-modell, gikk ned fra dager til timer.

Sikkerhet, styring og å komme i gang

Databricks sa at AIR opererer innenfor styringsrammene til Databricks og Unity Catalog, som håndhever ensartede lese- og skrivetillatelser for datatilgang, kontrollpunkter og logger knyttet til GPU-arbeidsbelastninger. Selskapet sa at AIR tilbyr isolering på VM-nivå i stedet for isoleringsmekanismer som eksponerer vertskjernen, og at løsningen støtter PrivateLink og serverløse kontroller for utgående trafikk, støttet av selskapets investeringer i serverløs sikkerhet. Kunngjøringen viste til OpenAI–Hugging Face-hendelsen som et eksempel på risikoen ved å administrere GPU-infrastruktur separat fra styrte virksomhetsdata.

Bruk og kostnader for AIR vises i Databricks’ systemtabeller for fakturering sammen med andre Databricks-arbeidsbelastninger. Bruksoppføringer på arbeidsbelastningsnivå viser hvilke treningskjøringer som bruker GPU-budsjettet.

Robert Macy III, maskinlæringsingeniør hos Robinhood, sa at AIR hjelper teamene hans med å gå raskere fra eksperimentering til trening, med innebygde styrings- og datakontroller. Eran Barash, visepresident for kunstig intelligens og maskinlæring hos QuantHealth, sa at teamet hans skalerer distribuert trening på serverløse GPU-er på tvers av millioner av poster innenfor eksisterende dataarbeidsflyter. Zach Richardson, KI-sjef hos TinyFish, sa at teamet hans kan trene på GPU-er, evaluere resultater med MLflow og gjøre selskapets nettbaserte modell tilgjengelig uten å sette opp separat infrastruktur for hvert trinn.

Databricks viste nye brukere til en hurtigstartveiledning, malnotatbøker og introduksjonsveiledninger, i tillegg til et klonbart ai-runtime-cookbook-repositorium på GitHub som ifølge selskapet kan starte en første GPU-arbeidsbelastning med én CLI-kommando. Selskapet viste kundene til kontoteamene sine for mer informasjon.