Databricks rend AI Runtime disponible de manière générale pour l’entraînement sur GPU

Le 21 octobre 2026, Databricks a annoncé la disponibilité générale d’AI Runtime (AIR), une plateforme GPU entièrement gérée et sans serveur, intégrée à Databricks Lakehouse, qui permet d’entraîner et d’affiner des modèles d’apprentissage profond à partir de données d’entreprise.

Databricks a indiqué que des centaines d’entreprises, dont Robinhood, PicPay, Merck, Flo Health, TinyFish et FactSet, utilisent déjà AIR pour entraîner des modèles d’apprentissage profond et les déployer en production, dans des domaines allant de la santé et de l’industrie aux agents destinés aux consommateurs. L’entreprise a précisé que sa propre équipe Databricks AI Research se sert de la plateforme pour entraîner les modèles qui sous-tendent KARL et AI Parse, et a affirmé qu’AIR avait fait ses preuves lors de plus de 100 000 heures d’entraînement sur GPU.

L’entreprise a présenté cette version comme une réponse aux équipes d’IA qui consacrent plus de temps à obtenir des capacités GPU, à gérer les défaillances et à attendre le lancement de leurs expériences qu’à améliorer leurs modèles. Selon l’annonce, exploiter une infrastructure GPU séparément de Lakehouse crée des lacunes en matière de gouvernance et expose les données d’entraînement sensibles à des risques.

Infrastructure GPU gérée

Databricks se charge de se procurer les GPU, de configurer les clusters et de gérer le réseau, afin que les clients puissent commencer l’entraînement sans avoir à exploiter leur propre plateforme GPU complète. L’entreprise a indiqué qu’elle effectuait des dizaines de contrôles de l’état des GPU et du réseau avant et pendant l’entraînement, afin que les charges de travail puissent évoluer de manière fiable jusqu’à des centaines de GPU. La plateforme vérifie les GPU avant de les planifier, surveille en continu les charges de travail actives et teste périodiquement les GPU inactifs pour détecter les nœuds défectueux et les retirer.

AIR transfère les données d’entraînement à l’aide de chargeurs intégrés qui les diffusent en continu et les mettent en cache, réduisant ainsi le temps que les tâches passent à attendre les opérations d’entrée-sortie. Un outil associé, UCVolumeDataset, vise à augmenter le débit de données sans nécessiter de pipeline de chargement personnalisé. Les utilisateurs peuvent accéder aux GPU depuis une interface en ligne de commande ou travailler de manière interactive dans des notebooks et des environnements de développement intégrés. Databricks a indiqué qu’une seule commande CLI suffisait pour lancer une première charge de travail et que sa fonctionnalité AIR Skills migrait les charges de travail depuis des clusters Kubernetes ou SLURM à l’aide d’une seule instruction en langage naturel.

AIR s’intègre de manière native à Lakeflow, le produit d’orchestration de pipelines de l’entreprise, afin que les charges de travail GPU restent synchronisées avec les pipelines en amont et en aval. Selon l’annonce, le passage d’une charge de travail en production ne nécessite que quelques lignes YAML supplémentaires. Celle-ci mentionnait également des contrôles intégrés de priorité et de préemption, qui réduisent au minimum le temps d’inactivité des GPU, ainsi qu’une surveillance au moyen d’outils tels que Genie ZeroOps. La page produit d’AI Runtime répertorie des GPU NVIDIA disponibles à la demande dans plusieurs régions, l’entraînement distribué sur plusieurs GPU et nœuds avec une mise en réseau RDMA gérée, un mécanisme de sauvegarde optimisé pour les tâches de longue durée et la prise en charge de conteneurs Docker personnalisés, notamment les conteneurs NVIDIA NGC.

Kostia Omelianchuk, chercheur en sciences appliquées et responsable technique de domaine chez Superhuman, a déclaré dans l’annonce que la plateforme avait permis à son équipe de faire passer un entraînement à grande échelle d’un seul nœud équipé de huit GPU A100 à 16 GPU H100 répartis sur plusieurs nœuds. La durée d’entraînement est passée d’environ sept jours à 48 heures, soit, selon lui, une accélération de 3,5 fois.

Lancements et débogage en quelques secondes

Databricks a indiqué qu’AIR offrait des délais de lancement de quelques secondes, même sur de grands clusters compatibles RDMA comptant des dizaines de GPU. Le service s’appuie sur des pools GPU sans serveur préchauffés et le chargement différé des images : les charges de travail démarrent en quelques secondes, tandis que le reste des données d’image se charge en arrière-plan. Les utilisateurs peuvent exécuter des environnements préconfigurés ou apporter leurs propres conteneurs, et la mise en cache des environnements permet de ne les construire qu’une seule fois. L’entreprise a décrit AIR comme compatible avec tous les principaux frameworks ; la page produit cite notamment PyTorch et Ray parmi les options prises en charge.

Databricks a indiqué qu’une nouvelle fonctionnalité d’observabilité intégrée à l’outil de suivi des expériences MLflow transmettait les journaux quelques secondes après l’envoi d’une exécution, lorsque les utilisateurs ajoutent l’option `watch` à une commande AIR. Une nouvelle visionneuse de journaux est également conçue spécifiquement pour l’entraînement multinœud. Genie Code est intégré à l’ensemble de l’expérience et propose des compétences d’agent préconfigurées pour déboguer les problèmes et optimiser les performances de l’entraînement sur GPU. L’entreprise a précisé que ces compétences s’appuyaient sur les connaissances de ses équipes de recherche et de performance, notamment sur la manière dont elle a réduit de 6 fois la durée d’entraînement de Qwen sur AIR.

Joe Tyler, responsable de la recherche en IA chez Sonar, a déclaré que les ingénieurs de recherche de l’entreprise s’étaient servis d’AIR pour assembler des pipelines d’entraînement de LLM et tester rapidement des hypothèses, tout en ayant une visibilité sur chaque étape du pipeline. Nikhil Sunderraj, ingénieur principal en apprentissage automatique chez FactSet, a indiqué que le temps nécessaire à la configuration, à l’entraînement et au déploiement d’un modèle Text To Formula personnalisé était passé de plusieurs jours à quelques heures.

Sécurité, gouvernance et mise en route

Databricks a indiqué qu’AIR fonctionnait dans le périmètre de gouvernance de Databricks et d’Unity Catalog, qui applique des autorisations cohérentes de lecture et d’écriture à l’accès aux données, aux points de contrôle et aux journaux des charges de travail GPU. L’entreprise a précisé qu’AIR assurait l’isolation au niveau des machines virtuelles plutôt qu’au moyen de mécanismes d’isolation exposant le noyau hôte, et qu’il prenait en charge PrivateLink et les contrôles de sortie du réseau sans serveur, grâce à ses investissements en matière de sécurité sans serveur. L’annonce a cité l’incident OpenAI-Hugging Face pour souligner les risques liés à la gestion d’une infrastructure GPU séparément des données d’entreprise régies.

L’utilisation d’AIR et les coûts associés apparaissent dans les tables système de facturation de Databricks, aux côtés des autres charges de travail Databricks. Les enregistrements d’utilisation par charge de travail indiquent quelles exécutions d’entraînement consomment le budget GPU.

Robert Macy III, ingénieur en apprentissage automatique chez Robinhood, a déclaré qu’AIR permet à ses équipes de passer plus rapidement de l’expérimentation à l’entraînement, grâce à des mécanismes intégrés de gouvernance et de contrôle des données. Eran Barash, vice-président de l’intelligence artificielle et de l’apprentissage automatique chez QuantHealth, a indiqué que son équipe peut adapter l’entraînement distribué sur des GPU sans serveur à des millions d’enregistrements, dans le cadre de ses flux de données existants. Zach Richardson, responsable de l’IA chez TinyFish, a déclaré que son équipe peut entraîner des modèles sur des GPU, évaluer les résultats avec MLflow et déployer le modèle de l’entreprise conçu pour le Web, sans avoir à mettre en place une infrastructure distincte pour chaque étape.

Databricks a orienté les nouveaux utilisateurs vers un guide de démarrage rapide, des notebooks modèles et des guides de prise en main, ainsi que vers un dépôt clonable, ai-runtime-cookbook, sur GitHub. Selon l’entreprise, une seule commande CLI suffit pour lancer une première charge de travail GPU à l’aide de ce dépôt. L’entreprise a invité ses clients à contacter leurs équipes de compte pour obtenir davantage d’informations.