Databricks udostępnia AI Runtime do trenowania modeli na GPU

21 października 2026 r. Databricks ogłosił ogólną dostępność AI Runtime (AIR) — w pełni zarządzanej, bezserwerowej platformy GPU wbudowanej w Databricks Lakehouse, przeznaczonej do trenowania i dostrajania modeli głębokiego uczenia na danych przedsiębiorstwa.

Databricks poinformował, że setki firm, w tym Robinhood, PicPay, Merck, Flo Health, TinyFish i FactSet, już korzystają z AIR do trenowania modeli głębokiego uczenia i wdrażania ich w środowisku produkcyjnym. Zastosowania obejmują opiekę zdrowotną, produkcję oraz agentów obsługujących klientów. Firma dodała, że jej własny zespół Databricks AI Research używa tej platformy do trenowania modeli, na których opierają się KARL i AI Parse, a AIR sprawdził się w ponad 100 000 godzinach pracy GPU w przebiegach treningowych.

Firma przedstawiła to wydanie jako odpowiedź na sytuację, w której zespoły AI poświęcają więcej czasu na zapewnianie dostępu do GPU, zarządzanie awariami i oczekiwanie na uruchomienie eksperymentów niż na ulepszanie modeli. Jak podano w komunikacie, uruchamianie infrastruktury GPU poza Lakehouse powoduje luki w zarządzaniu i naraża wrażliwe dane treningowe na ryzyko.

Zarządzana infrastruktura GPU

Databricks odpowiada za pozyskiwanie GPU, konfigurację klastrów i zarządzanie siecią, dzięki czemu klienci mogą rozpocząć trenowanie bez konieczności samodzielnego obsługiwania całej platformy GPU. Firma poinformowała, że przed treningiem i w jego trakcie przeprowadza dziesiątki testów kondycji GPU i sieci, aby obciążenia mogły niezawodnie skalować się do setek GPU. Platforma sprawdza GPU przed ich przydzieleniem, stale monitoruje aktywne obciążenia, a także okresowo testuje nieużywane GPU, by wykrywać i usuwać niesprawne węzły.

AIR przesyła dane treningowe za pomocą wbudowanych mechanizmów ładowania, które strumieniują je i buforują, skracając czas oczekiwania zadań na operacje wejścia/wyjścia. Towarzyszące narzędzie UCVolumeDataset ma zwiększać przepustowość danych bez konieczności tworzenia własnego potoku ładowania. Użytkownicy mogą uzyskiwać dostęp do GPU z poziomu interfejsu wiersza poleceń albo pracować interaktywnie w notesach i zintegrowanych środowiskach programistycznych (IDE). Databricks poinformował, że do uruchomienia pierwszego obciążenia wystarczy jedno polecenie CLI, a funkcja AIR Skills przenosi obciążenia z klastrów Kubernetes lub SLURM za pomocą jednego polecenia w języku naturalnym.

AIR natywnie integruje się z Lakeflow, produktem firmy do orkiestracji potoków, dzięki czemu obciążenia GPU pozostają zsynchronizowane z poprzedzającymi je i następującymi po nich potokami. Jak podano w komunikacie, przeniesienie obciążenia do środowiska produkcyjnego wymaga dodania zaledwie kilku wierszy YAML. Opisano w nim również wbudowane mechanizmy ustalania priorytetów i wywłaszczania, które ograniczają czas bezczynności GPU, oraz monitorowanie za pomocą narzędzi takich jak Genie ZeroOps. Na stronie produktu AI Runtime wymieniono dostępne na żądanie karty NVIDIA GPU z obsługą wielu regionów, rozproszone trenowanie na wielu kartach GPU i węzłach z zarządzaną siecią RDMA, zoptymalizowane tworzenie punktów kontrolnych dla długo działających zadań oraz obsługę własnych kontenerów Docker, w tym kontenerów NVIDIA NGC.

Kostia Omelianchuk, naukowiec zajmujący się badaniami stosowanymi i lider techniczny obszaru w Superhuman, powiedział w komunikacie, że platforma pozwoliła jego zespołowi przenieść trenowanie na dużą skalę z jednego węzła z ośmioma kartami A100 GPU na 16 kart H100 GPU rozmieszczonych na wielu węzłach. Czas trenowania skrócił się z około siedmiu dni do 48 godzin, co — jak stwierdził — oznaczało 3,5-krotne przyspieszenie.

Uruchamianie w kilka sekund i debugowanie

Databricks poinformował, że AIR zapewnia opóźnienie uruchamiania liczone w sekundach nawet w dużych klastrach obsługujących RDMA, wyposażonych w dziesiątki GPU. Usługa korzysta z ciepłych bezserwerowych pul GPU i leniwego ładowania obrazów: obciążenia uruchamiają się w kilka sekund, a pozostałe dane obrazów ładują się w tle. Użytkownicy mogą korzystać z gotowych środowisk lub używać własnych kontenerów, a buforowanie środowisk sprawia, że są one budowane tylko raz. Firma opisała AIR jako rozwiązanie zgodne ze wszystkimi głównymi platformami i bibliotekami, a na stronie produktu wśród obsługiwanych opcji wymieniono PyTorch i Ray.

Databricks poinformował, że nowe funkcje obserwowalności w narzędziu MLflow do śledzenia eksperymentów przesyłają logi już po kilku sekundach od wysłania zadania, jeśli użytkownik doda flagę watch do polecenia AIR. Nowa przeglądarka logów została zaprojektowana specjalnie z myślą o trenowaniu na wielu węzłach. W całym środowisku zintegrowano Genie Code, wyposażone w gotowe umiejętności agentów służące do debugowania problemów i optymalizacji wydajności trenowania na GPU. Firma poinformowała, że umiejętności te wykorzystują wiedzę zespołów badawczych i zespołów ds. wydajności, między innymi doświadczenia z sześciokrotnym skróceniem czasu trenowania modelu Qwen w AIR.

Joe Tyler, główny badacz AI w Sonar, powiedział, że inżynierowie prowadzący tam prace badawcze wykorzystywali AIR do tworzenia potoków trenowania modeli LLM i szybkiego testowania hipotez, mając wgląd w każdy etap potoku. Nikhil Sunderraj, główny inżynier uczenia maszynowego w FactSet, poinformował, że czas potrzebny na skonfigurowanie, wytrenowanie i wdrożenie niestandardowego modelu Text To Formula skrócił się z dni do godzin.

Bezpieczeństwo, zarządzanie i rozpoczęcie pracy

Databricks poinformował, że AIR działa w ramach granic zarządzania Databricks i Unity Catalog, które egzekwuje spójne uprawnienia do odczytu i zapisu w zakresie dostępu do danych, punktów kontrolnych i logów obciążeń GPU. Firma dodała, że AIR zapewnia izolację na poziomie maszyn wirtualnych, a nie za pomocą mechanizmów izolacji udostępniających jądro systemu hosta, oraz obsługuje PrivateLink i bezserwerowe mechanizmy kontroli ruchu wychodzącego, oparte na inwestycjach firmy w bezpieczeństwo bezserwerowe. W komunikacie przywołano incydent OpenAI Hugging Face jako przykład zagrożeń związanych z zarządzaniem infrastrukturą GPU poza środowiskiem, w którym chronione są dane przedsiębiorstwa.

Informacje o wykorzystaniu AIR i związanych z nim kosztach są dostępne w tabelach systemowych rozliczeń Databricks, obok danych dotyczących innych obciążeń Databricks. Zapisy wykorzystania na poziomie obciążenia wskazują, które zadania treningowe zużywają budżet przeznaczony na GPU.

Robert Macy III, inżynier uczenia maszynowego w Robinhood, powiedział, że AIR pozwala jego zespołom szybciej przechodzić od eksperymentów do trenowania modeli, zapewniając wbudowane mechanizmy zarządzania i kontroli danych. Eran Barash, wiceprezes ds. sztucznej inteligencji i uczenia maszynowego w QuantHealth, powiedział, że jego zespół skaluje rozproszone trenowanie na bezserwerowych procesorach GPU, przetwarzając miliony rekordów w ramach istniejących przepływów pracy z danymi. Zach Richardson, szef działu AI w TinyFish, powiedział, że jego zespół może trenować modele na procesorach GPU, oceniać wyniki za pomocą MLflow i udostępniać natywny dla sieci model firmy bez konieczności uruchamiania osobnej infrastruktury dla każdego etapu.

Databricks skierował nowych użytkowników do przewodnika szybkiego startu, szablonowych notebooków i przewodników dla początkujących, a także do klonowalnego repozytorium ai-runtime-cookbook w serwisie GitHub. Jak podała firma, pozwala ono uruchomić pierwsze obciążenie GPU za pomocą jednego polecenia CLI. Databricks odesłał klientów do zespołów odpowiedzialnych za obsługę ich kont, aby uzyskali więcej informacji.