Databricks oferă acum, în general, AI Runtime pentru antrenarea pe GPU

Pe 21 octombrie 2026, Databricks a anunțat disponibilitatea generală a AI Runtime (AIR), o platformă GPU complet gestionată, fără servere, integrată în Databricks Lakehouse, pentru antrenarea și ajustarea fină a modelelor de învățare profundă pe datele companiilor.

Databricks a declarat că sute de companii, printre care Robinhood, PicPay, Merck, Flo Health, TinyFish și FactSet, folosesc deja AIR pentru a antrena modele de învățare profundă și a le pune în producție, în cazuri de utilizare din domeniul sănătății, al producției și al agenților destinați consumatorilor. Compania a precizat că propria echipă Databricks AI Research folosește platforma pentru a antrena modelele din spatele KARL și AI Parse și a descris AIR ca fiind testat în condiții reale prin peste 100.000 de ore de antrenare pe GPU.

Compania a prezentat lansarea ca răspuns la situația în care echipele de AI petrec mai mult timp asigurându-și accesul la capacitate GPU, gestionând defecțiunile și așteptând pornirea experimentelor decât îmbunătățindu-și modelele. Potrivit anunțului, rularea infrastructurii GPU separat de Lakehouse creează lacune în guvernanță și pune în pericol datele sensibile de antrenare.

Infrastructură GPU gestionată

Databricks își asumă responsabilitatea pentru achiziționarea GPU-urilor, configurarea clusterelor și gestionarea rețelei, astfel încât clienții să poată începe antrenarea fără să opereze propria platformă GPU completă. Compania a declarat că efectuează zeci de verificări ale stării GPU-urilor și a rețelei înainte și în timpul antrenării, astfel încât sarcinile de lucru să poată fi extinse în mod fiabil la sute de GPU-uri; platforma validează GPU-urile înainte de a le programa, monitorizează continuu sarcinile de lucru active și testează periodic GPU-urile inactive pentru a detecta și elimina nodurile cu probleme.

AIR transferă datele de antrenare prin încărcătoare integrate, care le transmit în flux și le stochează în cache, reducând timpul în care sarcinile așteaptă operațiunile de intrare/ieșire. Un instrument complementar, UCVolumeDataset, este conceput pentru a crește debitul de date fără a necesita o conductă de încărcare personalizată. Utilizatorii pot accesa GPU-urile dintr-o interfață în linie de comandă sau pot lucra interactiv în notebook-uri și medii de dezvoltare integrate (IDE). Databricks a declarat că pentru a rula prima sarcină de lucru este necesară o singură comandă CLI și că funcționalitatea AIR Skills migrează sarcinile de lucru de pe clustere Kubernetes sau SLURM cu o singură solicitare în limbaj natural.

AIR se integrează nativ cu Lakeflow, produsul companiei pentru orchestrarea conductelor, astfel încât sarcinile de lucru GPU să rămână sincronizate cu conductele din amonte și din aval. Potrivit anunțului, mutarea unei sarcini de lucru în producție necesită doar câteva linii suplimentare de YAML; anunțul a descris și controale integrate de prioritate și preempțiune, care reduc la minimum timpul de inactivitate al GPU-urilor, precum și monitorizarea prin instrumente precum Genie ZeroOps. Pagina produsului AI Runtime prezintă GPU-uri NVIDIA disponibile la cerere, cu capacitate în mai multe regiuni, antrenare distribuită pe mai multe GPU-uri și noduri, cu rețelistică RDMA gestionată, salvare optimizată a punctelor de control pentru sarcini de lungă durată și compatibilitate cu containere Docker personalizate, inclusiv containere NVIDIA NGC.

Kostia Omelianchuk, cercetător în domeniul cercetării aplicate și lider tehnic de arie la Superhuman, a declarat în anunț că platforma i-a permis echipei sale să treacă de la antrenarea la scară largă pe un singur nod cu opt GPU-uri A100 la 16 GPU-uri H100 distribuite pe mai multe noduri. Timpul de antrenare a scăzut de la aproximativ șapte zile la 48 de ore, ceea ce el a descris drept o accelerare de 3,5 ori.

Lansare și depanare în câteva secunde

Databricks a declarat că AIR oferă o latență de lansare de ordinul secundelor chiar și pe clustere mari, compatibile cu RDMA, cu zeci de GPU-uri. Serviciul folosește grupuri GPU fără server, menținute active, și încărcarea amânată a imaginilor, pornind sarcinile de lucru în câteva secunde, în timp ce restul datelor imaginilor se încarcă în fundal. Utilizatorii pot rula medii preconfigurate sau își pot aduce propriile containere, iar stocarea în cache a mediilor face ca acestea să fie construite o singură dată. Compania a descris AIR ca fiind compatibil cu toate cadrele de lucru importante și a menționat PyTorch și Ray printre opțiunile acceptate pe pagina produsului.

Databricks a declarat că o nouă funcție de observabilitate din instrumentul de urmărire a experimentelor MLflow transmite jurnalele la câteva secunde după trimiterea unei execuții, dacă utilizatorii adaugă opțiunea watch la o comandă AIR; de asemenea, a fost creat un nou vizualizator de jurnale special pentru antrenarea pe mai multe noduri. Genie Code este integrat în întreaga experiență și include abilități de agent preconfigurate pentru depanarea problemelor și optimizarea performanței antrenării pe GPU. Compania a precizat că aceste abilități valorifică informațiile echipelor sale de cercetare și performanță, inclusiv modul în care a redus de șase ori timpul de antrenare a modelului Qwen pe AIR.

Joe Tyler, cercetător principal în domeniul AI la Sonar, a declarat că inginerii de cercetare de acolo au folosit AIR pentru a asambla conducte de antrenare pentru LLM-uri și a testa rapid ipoteze, având vizibilitate asupra fiecărei etape a conductei. Nikhil Sunderraj, inginer principal de învățare automată la FactSet, a declarat că timpul necesar configurării, antrenării și implementării unui model personalizat Text To Formula a scăzut de la zile la ore.

Securitate, guvernanță și primii pași

Databricks a declarat că AIR funcționează în perimetrul de guvernanță al Databricks și Unity Catalog, care impune permisiuni consecvente de citire și scriere pentru accesul la date, punctele de control și jurnalele asociate sarcinilor de lucru GPU. Compania a precizat că AIR oferă izolare la nivel de mașină virtuală, nu mecanisme de izolare care expun nucleul sistemului gazdă, și că acceptă PrivateLink și controale fără server pentru traficul de ieșire, susținute de investițiile sale în securitatea serviciilor fără server. Anunțul a invocat incidentul OpenAI și Hugging Face, subliniind riscurile gestionării infrastructurii GPU separat de datele de companie guvernate.

Utilizarea AIR și costurile aferente apar în tabelele de sistem de facturare Databricks, alături de cele ale altor sarcini de lucru Databricks. Înregistrările de utilizare la nivelul sarcinilor de lucru indică ce rulări de antrenare consumă buget GPU.

Robert Macy III, inginer de învățare automată la Robinhood, a declarat că AIR le permite echipelor sale să treacă mai rapid de la experimentare la antrenare, cu guvernanța și controalele asupra datelor integrate. Eran Barash, vicepreședinte pentru inteligență artificială și învățare automată la QuantHealth, a spus că echipa sa scalează antrenarea distribuită pe GPU-uri serverless pentru milioane de înregistrări, în cadrul fluxurilor de lucru existente pentru date. Zach Richardson, responsabilul de inteligență artificială de la TinyFish, a spus că echipa sa poate antrena modele pe GPU-uri, poate evalua rezultatele cu MLflow și poate servi modelul companiei, conceput nativ pentru web, fără să configureze infrastructură separată pentru fiecare etapă.

Databricks le-a indicat utilizatorilor noi un ghid de pornire rapidă, notebookuri-șablon și ghiduri introductive, precum și depozitul clonabil ai-runtime-cookbook de pe GitHub, care, potrivit companiei, poate lansa prima sarcină de lucru GPU printr-o singură comandă CLI. Compania i-a îndrumat pe clienți către echipele responsabile de conturile lor pentru mai multe informații.