Databricks zpřístupňuje AI Runtime pro trénování na GPU

Společnost Databricks 21. října 2026 oznámila všeobecnou dostupnost platformy AI Runtime (AIR), plně spravované bezserverové platformy GPU integrované do Databricks Lakehouse, která slouží k trénování a dolaďování modelů hlubokého učení na podnikových datech.

Databricks uvedla, že AIR už využívají stovky společností, včetně Robinhood, PicPay, Merck, Flo Health, TinyFish a FactSet, k trénování modelů hlubokého učení a jejich nasazování do produkce; případy použití zahrnují zdravotnictví, výrobu i agenty určené koncovým uživatelům. Podle společnosti platformu používá také její vlastní tým Databricks AI Research k trénování modelů, na nichž stojí KARL a AI Parse. AIR podle ní prověřilo v praxi více než 100 000 GPU hodin trénovacích běhů.

Společnost představila toto vydání jako řešení pro týmy zaměřené na AI, které tráví více času zajišťováním kapacity GPU, řešením selhání a čekáním na spuštění experimentů než vylepšováním svých modelů. Provozování infrastruktury GPU odděleně od Lakehouse podle oznámení vytváří mezery ve správě a ohrožuje citlivá trénovací data.

Spravovaná infrastruktura GPU

Databricks zajišťuje nákup GPU, konfiguraci clusterů i správu sítí, takže zákazníci mohou začít s trénováním, aniž by sami museli provozovat kompletní platformu GPU. Společnost uvedla, že před trénováním i během něj provádí desítky kontrol stavu GPU a sítě, aby bylo možné spolehlivě škálovat úlohy na stovky GPU. Platforma ověřuje GPU před jejich naplánováním, průběžně sleduje aktivní úlohy a v pravidelných intervalech testuje nečinné GPU, aby odhalila a vyřadila nefunkční uzly.

AIR zpracovává trénovací data pomocí vestavěných nástrojů pro načítání, které je průběžně načítají a ukládají do mezipaměti, čímž zkracují dobu, po kterou úlohy čekají na vstupně-výstupní operace. Související nástroj UCVolumeDataset má zvýšit propustnost dat bez nutnosti vytvářet vlastní datový proces načítání. Uživatelé mohou GPU využívat z příkazového řádku nebo pracovat interaktivně v noteboocích a vývojových prostředích IDE. Databricks uvedla, že první úlohu lze spustit jediným příkazem CLI a že funkce AIR Skills pomocí jediného pokynu v přirozeném jazyce migruje úlohy z clusterů Kubernetes nebo SLURM.

AIR se nativně integruje s Lakeflow, produktem společnosti pro orchestraci datových pipeline, takže úlohy GPU zůstávají synchronizované s předcházejícími i navazujícími pipeline. Podle oznámení stačí k přesunu úlohy do produkce přidat několik řádků YAML. Oznámení také popsalo vestavěné řízení priorit a předbíhání, které omezuje dobu nečinnosti GPU, a monitorování pomocí nástrojů, jako je Genie ZeroOps. Na stránce produktu AI Runtime jsou uvedeny GPU NVIDIA dostupné na vyžádání s kapacitou ve více regionech, distribuované trénování napříč více GPU a uzly se spravovanou sítí RDMA, optimalizované ukládání kontrolních bodů pro dlouhotrvající úlohy a podpora vlastních kontejnerů Docker, včetně kontejnerů NVIDIA NGC.

Kostia Omelianchuk, výzkumný pracovník v aplikovaném výzkumu a technický vedoucí oblasti ve společnosti Superhuman, v oznámení uvedl, že platforma jeho týmu umožnila přesunout rozsáhlé trénování z jednoho uzlu s osmi GPU A100 na 16 GPU H100 rozmístěných na více uzlech. Doba trénování klesla přibližně ze sedmi dnů na 48 hodin, což označil za 3,5násobné zrychlení.

Spouštění a ladění v řádu sekund

Databricks uvedla, že AIR zajišťuje spuštění v řádu sekund i u rozsáhlých clusterů s podporou RDMA a desítkami GPU. Služba využívá předem aktivované bezserverové fondy GPU a postupné načítání obrazů, takže úlohy spouští během několika sekund a zbývající data obrazů se načítají na pozadí. Uživatelé mohou spouštět předpřipravená prostředí nebo používat vlastní kontejnery; díky ukládání prostředí do mezipaměti se každé prostředí sestavuje pouze jednou. Společnost uvedla, že AIR je kompatibilní se všemi hlavními frameworky; stránka produktu mezi podporovanými možnostmi uvádí PyTorch a Ray.

Databricks uvedla, že nové funkce pro sledování provozu v nástroji MLflow pro sledování experimentů začnou odesílat protokoly několik sekund po zadání běhu, pokud uživatelé do příkazu AIR přidají příznak watch. Součástí je také nový prohlížeč protokolů vytvořený speciálně pro trénování na více uzlech. Napříč celým prostředím je integrován Genie Code s předpřipravenými dovednostmi agentů pro řešení problémů a optimalizaci výkonu trénování na GPU. Společnost uvedla, že tyto dovednosti vycházejí z poznatků jejích výzkumných a výkonnostních týmů, včetně toho, jak na AIR zkrátila dobu trénování modelu Qwen šestkrát.

Joe Tyler, vedoucí výzkumník v oblasti AI ve společnosti Sonar, uvedl, že tamní výzkumní inženýři využívali AIR k sestavování trénovacích pipeline pro LLM a rychlému ověřování hypotéz, přičemž měli přehled o každé fázi pipeline. Nikhil Sunderraj, hlavní inženýr strojového učení ve společnosti FactSet, uvedl, že čas potřebný k nastavení, trénování a nasazení vlastního modelu Text To Formula se zkrátil z dnů na hodiny.

Zabezpečení, správa a začátky

Databricks uvedla, že AIR funguje v rámci perimetru správy Databricks a Unity Catalog, který zajišťuje jednotná oprávnění ke čtení a zápisu při přístupu k datům, kontrolním bodům a protokolům u úloh GPU. Společnost uvedla, že AIR zajišťuje izolaci na úrovni virtuálních počítačů, nikoli pomocí izolačních mechanismů, které zpřístupňují jádro hostitele, a že podporuje PrivateLink a řízení odchozího provozu v bezserverovém prostředí, které vychází z jejích investic do zabezpečení bezserverových služeb. Oznámení poukázalo na incident OpenAI a Hugging Face jako na příklad rizik spojených se správou infrastruktury GPU odděleně od podnikových dat podléhajících řízení.

Využití AIR a související náklady se zobrazují v systémových tabulkách fakturace Databricks vedle dalších úloh Databricks. Záznamy o využití na úrovni úloh ukazují, které trénovací běhy čerpají rozpočet na GPU.

Robert Macy III, inženýr strojového učení ve společnosti Robinhood, uvedl, že AIR jeho týmům pomáhá rychleji přejít od experimentování k trénování a zároveň nabízí integrované řízení a kontrolu nad daty. Eran Barash, viceprezident pro umělou inteligenci a strojové učení ve společnosti QuantHealth, uvedl, že jeho tým škáluje distribuované trénování na bezserverových GPU napříč miliony záznamů v rámci stávajících datových pracovních postupů. Zach Richardson, vedoucí oddělení AI ve společnosti TinyFish, uvedl, že jeho tým může trénovat na GPU, vyhodnocovat výsledky pomocí MLflow a provozovat model společnosti navržený pro web, aniž by pro každou fázi musel budovat samostatnou infrastrukturu.

Databricks odkázal nové uživatele na stručného průvodce rychlým začátkem, šablonové notebooky a úvodní průvodce. Doporučil také klonovatelné úložiště ai-runtime-cookbook na GitHubu, které podle společnosti dokáže spustit první úlohu využívající GPU jediným příkazem CLI. Zákazníky odkázal na jejich týmy pro správu účtů, kde získají další informace.