Databricks зробила AI Runtime загальнодоступним для навчання на GPU

21 жовтня 2026 року Databricks оголосила про загальну доступність AI Runtime (AIR) — повністю керованої безсерверної платформи GPU, вбудованої в Databricks Lakehouse і призначеної для навчання й донавчання моделей глибинного навчання на корпоративних даних.

За словами Databricks, сотні компаній, зокрема Robinhood, PicPay, Merck, Flo Health, TinyFish і FactSet, уже використовують AIR для навчання моделей глибинного навчання та їх запуску у виробничому середовищі. Сфери застосування охоплюють охорону здоров’я, виробництво та агентів для взаємодії зі споживачами. Компанія повідомила, що її власна команда Databricks AI Research використовує платформу для навчання моделей, на яких працюють KARL і AI Parse, і зазначила, що AIR пройшла перевірку в понад 100 000 запусків навчання тривалістю в GPU-годинах.

Компанія представила цей випуск як відповідь на проблему, через яку команди, що працюють із ШІ, витрачають більше часу на забезпечення доступу до ресурсів GPU, керування збоями та очікування запуску експериментів, ніж на вдосконалення моделей. Як зазначено в оголошенні, окремий від Lakehouse запуск інфраструктури GPU створює прогалини в управлінні даними та наражає конфіденційні навчальні дані на ризик.

Керована інфраструктура GPU

Databricks бере на себе закупівлю GPU, налаштування кластерів і керування мережею, тож клієнти можуть розпочинати навчання, не створюючи власну повноцінну платформу GPU. За словами компанії, до початку навчання та під час нього вона виконує десятки перевірок справності GPU і мережі, щоб надійно масштабувати навантаження до сотень GPU. Платформа перевіряє GPU перед їх призначенням, безперервно відстежує активні навантаження та періодично тестує незадіяні GPU, щоб виявляти й вилучати несправні вузли.

AIR передає навчальні дані за допомогою вбудованих завантажувачів, які потоково зчитують і кешують їх, скорочуючи час очікування завдань на операції введення-виведення. Допоміжний інструмент UCVolumeDataset має підвищити пропускну здатність обробки даних без створення власного конвеєра завантаження. Користувачі можуть отримувати доступ до GPU через інтерфейс командного рядка або працювати інтерактивно в ноутбуках та IDE. За словами Databricks, для запуску першого навантаження достатньо однієї команди CLI, а функція AIR Skills переносить навантаження з кластерів Kubernetes або SLURM за допомогою одного запиту природною мовою.

AIR нативно інтегрується з Lakeflow — продуктом компанії для оркестрації конвеєрів, — тож навантаження GPU залишаються синхронізованими з попередніми та наступними конвеєрами. Згідно з оголошенням, для перенесення навантаження у виробниче середовище потрібно додати лише кілька рядків YAML. В оголошенні також згадано вбудовані засоби керування пріоритетами та витісненням, які зводять до мінімуму час простою GPU, а також моніторинг за допомогою таких інструментів, як Genie ZeroOps. На сторінці продукту AI Runtime перелічено GPU NVIDIA, доступні на вимогу в кількох регіонах, розподілене навчання на кількох GPU та вузлах із керованою мережею RDMA, оптимізоване створення контрольних точок для тривалих завдань і підтримку власних контейнерів Docker, зокрема контейнерів NVIDIA NGC.

Костя Омелянчук, науковець із прикладних досліджень і технічний керівник напряму в Superhuman, заявив в оголошенні, що платформа дала його команді змогу перейти від масштабного навчання на одному вузлі з вісьмома GPU A100 до навчання на 16 GPU H100 на кількох вузлах. Час навчання скоротився приблизно із семи днів до 48 годин, що, за його словами, прискорило процес у 3,5 раза.

Запуск за секунди та налагодження

За словами Databricks, AIR забезпечує запуск за лічені секунди навіть на великих кластерах із підтримкою RDMA, що налічують десятки GPU. Сервіс використовує попередньо розгорнуті безсерверні пули GPU та відкладене завантаження образів: навантаження запускаються за секунди, тоді як решта даних образу завантажується у фоновому режимі. Користувачі можуть запускати готові середовища або використовувати власні контейнери, а завдяки кешуванню середовища створюються лише один раз. Компанія зазначила, що AIR сумісна з усіма основними фреймворками, а на сторінці продукту серед підтримуваних варіантів названо PyTorch і Ray.

Databricks повідомила, що в новому інтерфейсі спостережуваності інструмента відстеження експериментів MLflow журнали починають надходити за лічені секунди після запуску, якщо користувачі додають до команди AIR прапорець watch. Також створено новий засіб перегляду журналів, спеціально призначений для навчання на кількох вузлах. Genie Code інтегровано в усі етапи роботи; він містить готові навички агентів для налагодження проблем та оптимізації продуктивності навчання на GPU. За словами компанії, ці навички враховують напрацювання її дослідницьких команд і команд із підвищення продуктивності, зокрема досвід скорочення часу навчання Qwen в AIR у 6 разів.

Джо Тайлер, провідний дослідник ШІ в Sonar, розповів, що інженери-дослідники компанії використовували AIR для створення конвеєрів навчання LLM і швидкої перевірки гіпотез, маючи змогу відстежувати кожен етап конвеєра. Ніхіл Сундеррадж, провідний інженер із машинного навчання у FactSet, повідомив, що налаштування, навчання та розгортання власної моделі Text To Formula тепер займає години замість днів.

Безпека, управління даними та початок роботи

За словами Databricks, AIR працює в межах периметра управління даними Databricks і Unity Catalog, який забезпечує узгоджені дозволи на читання та запис для доступу до даних, контрольних точок і журналів навантажень GPU. Компанія зазначила, що AIR забезпечує ізоляцію на рівні віртуальної машини, а не використовує механізми ізоляції, які відкривають доступ до ядра хост-системи. Також AIR підтримує PrivateLink і засоби керування вихідним трафіком безсерверних середовищ, спираючись на інвестиції компанії в безпеку безсерверних обчислень. В оголошенні як приклад ризиків, пов’язаних з окремим від корпоративних даних, захищених засобами управління, керуванням інфраструктурою GPU, наведено інцидент OpenAI та Hugging Face.

Використання AIR і витрати на нього відображаються в системних таблицях виставлення рахунків Databricks поряд з іншими робочими навантаженнями Databricks. Записи про використання на рівні робочих навантажень показують, які запуски навчання витрачають бюджет на GPU.

Роберт Мейсі III, інженер із машинного навчання в Robinhood, сказав, що AIR допомагає його командам швидше переходити від експериментів до навчання, адже засоби керування даними й дотриманням правил вбудовані в платформу. Еран Бараш, віцепрезидент із питань штучного інтелекту та машинного навчання в QuantHealth, сказав, що його команда масштабує розподілене навчання на безсерверних GPU, обробляючи мільйони записів у межах наявних робочих процесів із даними. Зак Річардсон, керівник напряму штучного інтелекту в TinyFish, сказав, що його команда може навчати моделі на GPU, оцінювати результати за допомогою MLflow і розгортати веборієнтовану модель компанії без створення окремої інфраструктури для кожного етапу.

Databricks порадили новим користувачам ознайомитися з коротким посібником для початку роботи, шаблонними ноутбуками й вступними посібниками, а також із репозиторієм ai-runtime-cookbook на GitHub, який можна клонувати. За словами компанії, за допомогою однієї команди CLI він дає змогу запустити перше робоче навантаження на GPU. Компанія порадила клієнтам звертатися до своїх команд із роботи з обліковими записами, щоб дізнатися більше.