Databricks rende AI Runtime disponibile a tutti per l’addestramento delle GPU

Il 21 ottobre 2026, Databricks ha annunciato la disponibilità generale di AI Runtime (AIR), una piattaforma GPU serverless completamente gestita e integrata in Databricks Lakehouse, per addestrare e perfezionare modelli di deep learning sui dati aziendali.

Databricks ha dichiarato che centinaia di aziende, tra cui Robinhood, PicPay, Merck, Flo Health, TinyFish e FactSet, utilizzano già AIR per addestrare modelli di deep learning e portarli in produzione, in ambiti che spaziano dalla sanità alla produzione industriale, fino agli agenti rivolti ai consumatori. L’azienda ha affermato che anche il proprio team Databricks AI Research usa la piattaforma per addestrare i modelli alla base di KARL e AI Parse e ha descritto AIR come una soluzione collaudata in oltre 100.000 ore di addestramento con GPU.

L’azienda ha presentato il lancio come una risposta al fatto che i team di IA dedicano più tempo a ottenere capacità GPU, gestire gli errori e attendere l’avvio degli esperimenti che a migliorare i propri modelli. Gestire l’infrastruttura GPU separatamente da Lakehouse crea lacune nella governance ed espone a rischi i dati sensibili usati per l’addestramento, ha affermato l’annuncio.

Infrastruttura GPU gestita

Databricks si occupa di procurare le GPU, configurare i cluster e gestire la rete, così i clienti possono iniziare ad addestrare i modelli senza dover gestire una propria piattaforma GPU completa. L’azienda ha dichiarato di eseguire decine di controlli sullo stato delle GPU e della rete prima e durante l’addestramento, per consentire ai carichi di lavoro di scalare in modo affidabile fino a centinaia di GPU; la piattaforma verifica le GPU prima di programmarne l’utilizzo, monitora continuamente i carichi di lavoro attivi e sottopone periodicamente a test le GPU inattive per individuare e rimuovere i nodi non funzionanti.

AIR trasferisce i dati di addestramento tramite strumenti di caricamento integrati che li trasmettono in streaming e li memorizzano nella cache, riducendo il tempo che i processi trascorrono in attesa di operazioni di I/O. Lo strumento complementare UCVolumeDataset è progettato per aumentare il throughput dei dati senza dover creare una pipeline di caricamento personalizzata. Gli utenti possono accedere alle GPU tramite un’interfaccia a riga di comando oppure lavorare in modo interattivo all’interno di notebook e IDE. Databricks ha dichiarato che per avviare il primo carico di lavoro basta un singolo comando CLI e che la funzionalità AIR Skills consente di migrare i carichi di lavoro da cluster Kubernetes o SLURM con un’unica richiesta in linguaggio naturale.

AIR si integra in modo nativo con Lakeflow, il prodotto dell’azienda per l’orchestrazione delle pipeline, così i carichi di lavoro GPU restano sincronizzati con le pipeline a monte e a valle. Secondo l’annuncio, per portare un carico di lavoro in produzione bastano poche righe YAML aggiuntive; l’annuncio ha inoltre descritto i controlli integrati di priorità e prelazione, che riducono al minimo il tempo di inattività delle GPU, e il monitoraggio tramite strumenti come Genie ZeroOps. La pagina del prodotto AI Runtime elenca GPU NVIDIA disponibili on demand con capacità in più aree geografiche, addestramento distribuito su più GPU e nodi con rete RDMA gestita, checkpointing ottimizzato per i processi di lunga durata e supporto per container Docker personalizzati, compresi quelli NVIDIA NGC.

Kostia Omelianchuk, ricercatore in scienze applicate e responsabile tecnico di area presso Superhuman, ha dichiarato nell’annuncio che la piattaforma ha permesso al suo team di passare dall’addestramento su larga scala su un singolo nodo con otto GPU A100 a 16 GPU H100 distribuite su più nodi. Il tempo di addestramento è sceso da circa sette giorni a 48 ore, con un’accelerazione di 3,5x, secondo la sua stima.

Avvio e debug in pochi secondi

Databricks ha dichiarato che AIR offre tempi di avvio nell’ordine dei secondi anche su cluster di grandi dimensioni abilitati per RDMA e dotati di decine di GPU. Il servizio utilizza pool di GPU serverless già pronti e carica le immagini in modo differito: i carichi di lavoro partono in pochi secondi, mentre i dati rimanenti delle immagini vengono caricati in background. Gli utenti possono eseguire ambienti preconfigurati o usare container propri; grazie alla memorizzazione nella cache degli ambienti, questi vengono creati una sola volta. L’azienda ha descritto AIR come compatibile con tutti i principali framework; tra quelli supportati, la pagina del prodotto cita PyTorch e Ray.

Databricks ha dichiarato che una nuova esperienza di osservabilità nello strumento di monitoraggio degli esperimenti MLflow trasmette i log pochi secondi dopo l’invio di un’esecuzione, quando gli utenti aggiungono il flag watch a un comando AIR, e che è disponibile un nuovo visualizzatore di log progettato appositamente per l’addestramento su più nodi. Genie Code è integrato nell’intera esperienza e include competenze preconfigurate degli agenti per diagnosticare i problemi e ottimizzare le prestazioni dell’addestramento GPU. L’azienda ha affermato che tali competenze incorporano le conoscenze dei suoi team di ricerca e prestazioni, compreso il metodo con cui ha ridotto di 6x il tempo di addestramento di Qwen su AIR.

Joe Tyler, ricercatore capo in IA presso Sonar, ha dichiarato che gli ingegneri di ricerca dell’azienda hanno usato AIR per assemblare pipeline di addestramento di LLM e verificare rapidamente le ipotesi, potendo osservare ogni fase della pipeline. Nikhil Sunderraj, ingegnere principale di machine learning presso FactSet, ha affermato che il tempo necessario per configurare, addestrare e distribuire un modello Text To Formula personalizzato è passato da giorni a ore.

Sicurezza, governance e primi passi

Databricks ha dichiarato che AIR opera entro il perimetro di governance di Databricks e Unity Catalog, che applica autorizzazioni uniformi di lettura e scrittura all’accesso ai dati, ai checkpoint e ai log dei carichi di lavoro GPU. L’azienda ha affermato che AIR offre isolamento a livello di macchina virtuale, anziché meccanismi di isolamento che espongono il kernel dell’host, e supporta PrivateLink e controlli sull’uscita del traffico dai servizi serverless, grazie agli investimenti dell’azienda nella sicurezza serverless. L’annuncio ha citato l’incidente OpenAI-Hugging Face come esempio dei rischi connessi alla gestione separata dell’infrastruttura GPU e dei dati aziendali sottoposti a governance.

L’utilizzo e i costi di AIR compaiono nelle tabelle di sistema di fatturazione di Databricks, insieme a quelli degli altri carichi di lavoro Databricks; i record di utilizzo a livello di carico di lavoro mostrano quali sessioni di addestramento consumano il budget GPU.

Robert Macy III, ingegnere di machine learning presso Robinhood, ha dichiarato che AIR aiuta i suoi team a passare più rapidamente dalla sperimentazione all’addestramento, con governance e controlli sui dati integrati. Eran Barash, vicepresidente per l’intelligenza artificiale e il machine learning presso QuantHealth, ha affermato che il suo team scala l’addestramento distribuito su GPU serverless su milioni di record, all’interno dei flussi di lavoro sui dati esistenti. Zach Richardson, responsabile dell’IA presso TinyFish, ha dichiarato che il suo team può addestrare modelli su GPU, valutare i risultati con MLflow e distribuire il modello nativo per il web dell’azienda senza dover predisporre un’infrastruttura separata per ogni fase.

Databricks ha indirizzato i nuovi utenti a una guida introduttiva rapida, notebook modello e guide per iniziare, oltre che a un repository clonabile su GitHub, ai-runtime-cookbook, che, secondo l’azienda, consente di avviare il primo carico di lavoro GPU con un solo comando CLI. L’azienda ha invitato i clienti a rivolgersi ai rispettivi team account per ulteriori informazioni.