Databricks stellt AI Runtime für GPU-Training allgemein bereit

Databricks gab am 21. Oktober 2026 die allgemeine Verfügbarkeit von AI Runtime bekannt (AIR), einer vollständig verwalteten, serverlosen GPU-Plattform, die in das Databricks Lakehouse integriert ist und dem Training und der Feinabstimmung von Deep-Learning-Modellen mit Unternehmensdaten dient.

Databricks zufolge nutzen bereits Hunderte Unternehmen, darunter Robinhood, PicPay, Merck, Flo Health, TinyFish und FactSet, AIR, um Deep-Learning-Modelle zu trainieren und produktiv einzusetzen. Die Anwendungsfälle reichen von Gesundheitswesen und Fertigung bis hin zu kundenorientierten Agenten. Das Unternehmen erklärte, dass sein eigenes Databricks-AI-Research-Team die Plattform zum Trainieren der Modelle hinter KARL und AI Parse nutzt. AIR habe sich zudem in Trainingsläufen mit insgesamt mehr als 100.000 GPU-Stunden bewährt.

Das Unternehmen stellte die Veröffentlichung als Antwort auf die Situation dar, dass KI-Teams mehr Zeit für die Sicherung von GPU-Kapazitäten, die Verwaltung von Ausfällen und das Warten auf den Start von Experimenten aufwenden als für die Verbesserung ihrer Modelle. Wenn die GPU-Infrastruktur getrennt vom Lakehouse betrieben wird, entstehen laut der Ankündigung Lücken bei der Governance und sensible Trainingsdaten sind gefährdet.

Verwaltete GPU-Infrastruktur

Databricks übernimmt die Beschaffung der GPUs, die Konfiguration der Cluster und die Verwaltung der Netzwerke. So können Kunden mit dem Training beginnen, ohne selbst eine vollständige GPU-Plattform betreiben zu müssen. Das Unternehmen erklärte, vor und während des Trainings Dutzende Prüfungen des GPU- und Netzwerkzustands durchzuführen, damit sich Workloads zuverlässig auf Hunderte GPUs skalieren lassen. Die Plattform überprüft GPUs vor ihrer Einplanung, überwacht aktive Workloads kontinuierlich und testet ungenutzte GPUs regelmäßig, um fehlerhafte Knoten zu erkennen und auszusondern.

AIR verarbeitet Trainingsdaten mithilfe integrierter Loader, die Daten streamen und zwischenspeichern. Dadurch müssen Jobs weniger Zeit auf Ein- und Ausgabevorgänge warten. Das ergänzende Tool UCVolumeDataset soll den Datendurchsatz erhöhen, ohne dass eine eigene Datenladepipeline entwickelt werden muss. Nutzer können über eine Befehlszeilenschnittstelle auf GPUs zugreifen oder interaktiv in Notebooks und IDEs arbeiten. Databricks zufolge lässt sich der erste Workload mit einem einzigen CLI-Befehl starten. Mit der Funktion AIR Skills können Workloads außerdem mithilfe einer einzigen Eingabeaufforderung in natürlicher Sprache von Kubernetes- oder SLURM-Clustern migriert werden.

AIR ist nativ in Lakeflow, das Pipeline-Orchestrierungsprodukt des Unternehmens, integriert. So bleiben GPU-Workloads mit vor- und nachgelagerten Pipelines synchronisiert. Laut der Ankündigung sind für die Überführung eines Workloads in die Produktion nur wenige zusätzliche YAML-Zeilen erforderlich. Sie beschrieb außerdem integrierte Prioritäts- und Präemptionssteuerungen, die ungenutzte GPU-Zeit minimieren, sowie die Überwachung mit Tools wie Genie ZeroOps. Auf der Produktseite von AI Runtime werden bedarfsgerecht verfügbare NVIDIA-GPUs mit Kapazitäten in mehreren Regionen, verteiltes Training über mehrere GPUs und Knoten mit verwaltetem RDMA-Netzwerk, optimiertes Checkpointing für lang laufende Jobs sowie die Unterstützung benutzerdefinierter Docker-Container, darunter NVIDIA-NGC-Container, aufgeführt.

Kostia Omelianchuk, Applied Research Scientist und Area Tech Lead bei Superhuman, erklärte in der Ankündigung, die Plattform habe es seinem Team ermöglicht, das groß angelegte Training von einem Knoten mit acht A100-GPUs auf 16 H100-GPUs über mehrere Knoten hinweg umzustellen. Die Trainingszeit sei von etwa sieben Tagen auf 48 Stunden gesunken, was einer Beschleunigung um den Faktor 3,5 entspreche.

Starts und Fehlerbehebung in Sekunden

Databricks zufolge startet AIR Workloads innerhalb von Sekunden – selbst auf großen RDMA-fähigen Clustern mit Dutzenden GPUs. Der Dienst nutzt vorgehaltene serverlose GPU-Pools und verzögertes Laden von Images. So starten Workloads innerhalb von Sekunden, während die übrigen Image-Daten im Hintergrund geladen werden. Nutzer können vorgefertigte Umgebungen ausführen oder eigene Container verwenden. Dank Umgebungs-Caching müssen Umgebungen nur einmal erstellt werden. Das Unternehmen bezeichnete AIR als mit allen wichtigen Frameworks kompatibel; auf der Produktseite werden PyTorch und Ray als unterstützte Optionen genannt.

Databricks zufolge überträgt eine neue Observability-Funktion im Experiment-Tracking-Tool MLflow Protokolle bereits wenige Sekunden nach dem Absenden eines Laufs, wenn Nutzer beim AIR-Befehl das watch-Flag hinzufügen. Eine neue Protokollanzeige wurde speziell für das Training über mehrere Knoten hinweg entwickelt. Genie Code ist in die gesamte Umgebung integriert und bietet vorgefertigte Agentenfunktionen zur Fehlerbehebung und Optimierung der GPU-Trainingsleistung. Das Unternehmen erklärte, diese Funktionen vermittelten Erkenntnisse aus seinen Forschungs- und Performance-Teams – darunter, wie es die Trainingszeit für Qwen mit AIR um den Faktor 6 verkürzte.

Joe Tyler, leitender KI-Forscher bei Sonar, erklärte, dass Forschungsingenieure dort AIR nutzten, um Trainingspipelines für LLMs aufzubauen und Hypothesen schnell zu überprüfen. Dabei hätten sie Einblick in jede Phase der Pipeline. Nikhil Sunderraj, leitender Machine-Learning-Ingenieur bei FactSet, sagte, der Zeitaufwand für die Einrichtung, das Training und die Bereitstellung eines benutzerdefinierten Text-To-Formula-Modells sei von Tagen auf Stunden gesunken.

Sicherheit, Governance und erste Schritte

Databricks zufolge arbeitet AIR innerhalb des Governance-Rahmens von Databricks und Unity Catalog. Dieser setzt einheitliche Lese- und Schreibberechtigungen für den Datenzugriff, Checkpoints und Protokolle von GPU-Workloads durch. Das Unternehmen erklärte, AIR biete Isolation auf VM-Ebene statt Isolationsmechanismen, die den Host-Kernel offenlegen. Außerdem unterstütze AIR PrivateLink und serverlose Egress-Kontrollen, gestützt auf die Investitionen des Unternehmens in die Sicherheit serverloser Dienste. Die Ankündigung verwies auf den OpenAI-Hugging-Face-Vorfall als Beleg für die Risiken, die entstehen, wenn GPU-Infrastruktur getrennt von verwalteten Unternehmensdaten betrieben wird.

Die AIR-Nutzung und die damit verbundenen Kosten werden neben anderen Databricks-Workloads in den Abrechnungssystemtabellen von Databricks aufgeführt. Nutzungsdatensätze auf Workload-Ebene zeigen, welche Trainingsläufe das GPU-Budget beanspruchen.

Robert Macy III, Machine-Learning-Ingenieur bei Robinhood, sagte, AIR helfe seinen Teams, schneller von Experimenten zum Training überzugehen – mit integrierter Governance und Datenkontrollen. Eran Barash, Vizepräsident für künstliche Intelligenz und maschinelles Lernen bei QuantHealth, sagte, sein Team skaliere verteiltes Training auf serverlosen GPUs mit Millionen von Datensätzen innerhalb bestehender Daten-Workflows. Zach Richardson, KI-Leiter bei TinyFish, sagte, sein Team könne auf GPUs trainieren, Ergebnisse mit MLflow bewerten und das webbasierte Modell des Unternehmens bereitstellen, ohne für jede Phase eine separate Infrastruktur aufsetzen zu müssen.

Databricks verwies neue Nutzer auf eine Schnellstartanleitung, Notebook-Vorlagen und Einführungsleitfäden sowie auf das klonbare GitHub-Repository ai-runtime-cookbook. Damit lasse sich laut Databricks mit einem einzigen CLI-Befehl der erste GPU-Workload starten. Für weitere Informationen verwies das Unternehmen Kunden an ihre jeweiligen Account-Teams.