Databricks tuo AI Runtimen yleisesti saataville GPU-koulutukseen

Databricks ilmoitti 21. lokakuuta 2026, että AI Runtime on yleisesti saatavilla. AIR on Databricks Lakehouseen sisäänrakennettu täysin hallinnoitu palvelimeton GPU-alusta, jolla syväoppimismalleja voidaan kouluttaa ja hienosäätää yrityksen datalla.

Databricksin mukaan sadat yritykset, kuten Robinhood, PicPay, Merck, Flo Health, TinyFish ja FactSet, käyttävät jo AIR-palvelua syväoppimismallien kouluttamiseen ja tuotantoon viemiseen. Käyttökohteita on terveydenhuollossa, teollisuudessa ja kuluttajille suunnatuissa agenteissa. Yhtiön mukaan myös sen oma Databricks AI Research -tiimi käyttää alustaa KARL- ja AI Parse -mallien kouluttamiseen. Databricks kertoo alustan kestäneen käytössä yli 100 000 GPU-tuntia kestäneissä koulutusajoissa.

Yhtiö esitteli julkaisun ratkaisuna tilanteeseen, jossa tekoälytiimit käyttävät enemmän aikaa GPU-kapasiteetin varmistamiseen, virheiden hallintaan ja kokeiden käynnistymisen odotteluun kuin mallien parantamiseen. Ilmoituksen mukaan GPU-infrastruktuurin käyttäminen Lakehousesta erillään aiheuttaa puutteita hallinnointiin ja vaarantaa arkaluonteisen koulutusdatan.

Hallinnoitu GPU-infrastruktuuri

Databricks vastaa GPU-laitteiden hankinnasta, klustereiden määrityksistä ja verkkoyhteyksien hallinnasta, joten asiakkaat voivat aloittaa koulutuksen ylläpitämättä itse täysimittaista GPU-alustaa. Yhtiön mukaan se tekee kymmeniä GPU- ja verkkoyhteyksien kuntotarkistuksia ennen koulutusta ja sen aikana, jotta työkuormia voidaan skaalata luotettavasti satoihin GPU-laitteisiin. Alusta tarkistaa GPU-laitteet ennen niiden varaamista, valvoo käynnissä olevia työkuormia jatkuvasti ja testaa käyttämättömät GPU-laitteet säännöllisesti viallisten solmujen havaitsemiseksi ja poistamiseksi.

AIR siirtää koulutusdataa sisäänrakennettujen lataajien avulla. Ne suoratoistavat ja tallentavat dataa välimuistiin, mikä vähentää työtehtävien I/O-toimintojen odotteluun käyttämää aikaa. Aputyökalu UCVolumeDataset on tarkoitettu parantamaan datan läpivirtausta ilman mukautettua latausputkea. Käyttäjät voivat käyttää GPU-laitteita komentoriviltä tai työskennellä vuorovaikutteisesti muistikirjoissa ja IDE-ympäristöissä. Databricksin mukaan ensimmäisen työkuorman käynnistämiseen tarvitaan vain yksi CLI-komento, ja AIR Skills -ominaisuus siirtää työkuormia Kubernetes- tai SLURM-klustereista yhdellä luonnollisella kielellä annetulla kehotteella.

AIR integroituu suoraan yhtiön putkien orkestrointituotteeseen Lakeflow’hun, joten GPU-työkuormat pysyvät synkronoituna niitä edeltävien ja seuraavien putkien kanssa. Ilmoituksen mukaan työkuorman siirtäminen tuotantoon vaatii vain muutaman lisärivin YAML-määrityksiä. Ilmoituksessa mainittiin myös sisäänrakennetut priorisointi- ja ennakolta keskeyttämisen ohjaimet, jotka minimoivat GPU-laitteiden joutokäyntiajan, sekä valvonta työkaluilla, kuten Genie ZeroOps. AI Runtime -tuotesivulla mainitaan tarvittaessa käytettävät NVIDIA-GPU-laitteet, joiden kapasiteettia on saatavilla useilla alueilla, hajautettu koulutus useilla GPU-laitteilla ja solmuilla hallinnoidun RDMA-verkkoyhteyden avulla, pitkäkestoisten työtehtävien optimoitu tarkistuspisteiden tallennus sekä tuki mukautetuille Docker-säilöille, mukaan lukien NVIDIA NGC -säilöt.

Superhumanin soveltavan tutkimuksen tutkija ja alueellinen teknologiajohtaja Kostia Omelianchuk kertoi ilmoituksessa, että alustan ansiosta hänen tiiminsä pystyi siirtämään suurten mallien koulutuksen yhdestä kahdeksan A100-GPU:n solmusta 16 H100-GPU:hun useissa solmuissa. Koulutusaika lyheni noin seitsemästä päivästä 48 tuntiin, mikä hänen mukaansa merkitsi 3,5-kertaista nopeutusta.

Käynnistykset ja virheiden jäljitys sekunneissa

Databricksin mukaan AIR käynnistää työkuormat sekunneissa myös suurissa RDMA-yhteyttä käyttävissä klustereissa, joissa on kymmeniä GPU-laitteita. Palvelu hyödyntää valmiina olevia palvelimettomia GPU-varantoja ja laiskaa näköistiedostojen latausta: työkuormat käynnistyvät sekunneissa samalla, kun jäljellä olevat näköistiedoston tiedot latautuvat taustalla. Käyttäjät voivat käyttää valmiiksi rakennettuja ympäristöjä tai tuoda omia säilöjään, ja ympäristöjen välimuistitus tarkoittaa, että ympäristöt rakennetaan vain kerran. Yhtiön mukaan AIR on yhteensopiva kaikkien tärkeimpien kehysten kanssa, ja tuotesivulla tuetuiksi vaihtoehdoiksi mainitaan muun muassa PyTorch ja Ray.

Databricksin mukaan MLflow-kokeenseurannan uuteen havainnointinäkymään välittyy lokitietoja sekunteja ajon lähettämisen jälkeen, kun käyttäjä lisää AIR-komentoon watch-valitsimen. Uusi lokien katseluohjelma on suunniteltu erityisesti usean solmun koulutukseen. Genie Code on integroitu käyttökokemukseen, ja se sisältää valmiiksi pakattuja agenttitaitoja ongelmien virheenjäljitykseen ja GPU-koulutuksen suorituskyvyn optimointiin. Yhtiön mukaan näihin taitoihin sisältyy sen tutkimus- ja suorituskykytiimien osaamista, esimerkiksi tapa, jolla se lyhensi Qwenin koulutusajan AIR-palvelussa kuudesosaan.

Sonarin johtava tekoälytutkija Joe Tyler kertoi, että yhtiön tutkimusinsinöörit käyttivät AIR-palvelua LLM-koulutusputkien kokoamiseen ja hypoteesien nopeaan testaamiseen. He näkivät samalla putken jokaisen vaiheen. FactSetin johtava koneoppimisinsinööri Nikhil Sunderraj kertoi, että mukautetun Text To Formula -mallin käyttöönottoon, kouluttamiseen ja julkaisemiseen tarvittava aika lyheni päivistä tunteihin.

Tietoturva, hallinnointi ja käyttöönotto

Databricksin mukaan AIR toimii Databricksin ja Unity Catalogin hallinnointirajojen sisällä. Unity Catalog valvoo GPU-työkuormien datakäytön, tarkistuspisteiden ja lokien yhdenmukaisia luku- ja kirjoitusoikeuksia. Yhtiön mukaan AIR eristää työkuormat virtuaalikoneen tasolla sen sijaan, että käytössä olisi isäntäytimen paljastavia eristysmekanismeja. Palvelu tukee myös PrivateLinkiä ja palvelimetonta ulospäin suuntautuvan liikenteen hallintaa, joita tukevat yhtiön panostukset palvelimettomaan tietoturvaan. Ilmoituksessa mainittiin OpenAI–Hugging Face -tapaus esimerkkinä riskeistä, joita GPU-infrastruktuurin hallinta erillään hallinnoidusta yritysdatasta aiheuttaa.

AIR:n käyttö ja kustannukset näkyvät Databricksin laskutusjärjestelmän taulukoissa muiden Databricks-työkuormien rinnalla. Työkuormakohtaisista käyttötietueista näkee, mitkä koulutusajot kuluttavat GPU-budjettia.

Robinhoodin koneoppimisinsinööri Robert Macy III sanoi, että AIR auttaa hänen tiimejään siirtymään kokeiluista koulutukseen nopeammin, sillä hallinta- ja datanhallintatoiminnot ovat sisäänrakennettuja. QuantHealthin tekoälyn ja koneoppimisen varatoimitusjohtaja Eran Barash sanoi, että hänen tiiminsä pystyy laajentamaan hajautettua koulutusta palvelimettomilla GPU:illa miljoonien tietueiden käsittelyyn osana olemassa olevia datatyönkulkuja. TinyFishin tekoälyjohtaja Zach Richardson sanoi, että hänen tiiminsä voi kouluttaa GPU:illa, arvioida tuloksia MLflow’lla ja tarjota yrityksen verkkopohjaista mallia ottamatta käyttöön erillistä infrastruktuuria kullekin vaiheelle.

Databricks ohjasi uusia käyttäjiä pika-aloitusoppaaseen, mallimuistikirjoihin ja aloitusoppaisiin sekä GitHubissa olevaan kloonattavaan ai-runtime-cookbook-tietovarastoon, jonka avulla ensimmäisen GPU-työkuorman voi käynnistää yrityksen mukaan yhdellä CLI-komennolla. Yhtiö kehotti asiakkaita ottamaan yhteyttä omiin asiakkuustiimeihinsä saadakseen lisätietoja.