Databricks открывает общий доступ к AI Runtime для обучения на GPU

21 октября 2026 года Databricks объявила о всеобщей доступности AI Runtime (AIR) — полностью управляемой бессерверной платформы на базе GPU, встроенной в Databricks Lakehouse и предназначенной для обучения и дообучения моделей глубокого обучения на корпоративных данных.

По словам Databricks, сотни компаний, включая Robinhood, PicPay, Merck, Flo Health, TinyFish и FactSet, уже используют AIR для обучения моделей глубокого обучения и их внедрения в production. Сценарии применения охватывают здравоохранение, производство и пользовательских агентов. Компания сообщила, что собственная команда Databricks AI Research использует платформу для обучения моделей, лежащих в основе KARL и AI Parse, и отметила, что AIR прошла проверку в боевых условиях в ходе обучающих запусков общей продолжительностью более 100 000 GPU-часов.

Компания представила этот релиз как ответ на проблему, с которой сталкиваются команды разработчиков ИИ: они тратят больше времени на получение доступа к GPU, управление сбоями и ожидание запуска экспериментов, чем на совершенствование моделей. Как отмечалось в объявлении, использование GPU-инфраструктуры отдельно от Lakehouse создает пробелы в управлении данными и подвергает риску конфиденциальные обучающие данные.

Управляемая инфраструктура GPU

Databricks берет на себя закупку GPU, настройку кластеров и управление сетями, поэтому клиенты могут приступать к обучению, не развертывая собственную полноценную платформу для работы с GPU. Компания сообщила, что до и во время обучения выполняет десятки проверок состояния GPU и сети, чтобы обеспечить надежное масштабирование рабочих нагрузок до сотен GPU. Перед планированием задач платформа проверяет GPU, непрерывно отслеживает активные рабочие нагрузки и периодически тестирует незадействованные GPU, выявляя и удаляя неисправные узлы.

AIR передает обучающие данные с помощью встроенных загрузчиков, которые выполняют потоковую передачу и кэширование, сокращая время ожидания ввода-вывода для заданий. Вспомогательный инструмент UCVolumeDataset призван повысить пропускную способность обработки данных без создания собственного конвейера загрузки. Пользователи могут обращаться к GPU через интерфейс командной строки или работать в интерактивном режиме в блокнотах и интегрированных средах разработки. По словам Databricks, для запуска первой рабочей нагрузки достаточно одной команды CLI, а функция AIR Skills переносит рабочие нагрузки из кластеров Kubernetes или SLURM с помощью одного запроса на естественном языке.

AIR изначально интегрирована с Lakeflow — продуктом компании для оркестрации конвейеров, — благодаря чему рабочие нагрузки GPU синхронизируются с предшествующими и последующими конвейерами. Согласно объявлению, для переноса рабочей нагрузки в production достаточно добавить несколько строк YAML. В нем также упоминались встроенные механизмы управления приоритетами и вытеснением, которые сводят к минимуму время простоя GPU, а также мониторинг с помощью таких инструментов, как Genie ZeroOps. На странице продукта AI Runtime перечислены доступные по запросу GPU NVIDIA с ресурсами в нескольких регионах, распределенное обучение на нескольких GPU и узлах с управляемой сетью RDMA, оптимизированное сохранение контрольных точек для длительных заданий и поддержка пользовательских контейнеров Docker, в том числе контейнеров NVIDIA NGC.

Костя Омелянчук, специалист по прикладным исследованиям и технический руководитель направления в Superhuman, рассказал в объявлении, что платформа позволила его команде перенести масштабное обучение с одного узла с восемью GPU A100 на 16 GPU H100, распределенных по нескольким узлам. Время обучения сократилось примерно с семи дней до 48 часов — это, по его оценке, ускорение в 3,5 раза.

Запуск за секунды и отладка

По словам Databricks, AIR обеспечивает запуск за считаные секунды даже на крупных кластерах с поддержкой RDMA и десятками GPU. Сервис использует предварительно разогретые бессерверные пулы GPU и отложенную загрузку образов: рабочие нагрузки запускаются за секунды, пока оставшиеся данные образа загружаются в фоновом режиме. Пользователи могут запускать готовые среды или использовать собственные контейнеры; благодаря кэшированию среды создаются только один раз. Компания заявила, что AIR совместима со всеми основными фреймворками; среди поддерживаемых вариантов на странице продукта указаны PyTorch и Ray.

Databricks сообщила, что в новом интерфейсе наблюдаемости инструмента отслеживания экспериментов MLflow журналы начинают поступать через несколько секунд после отправки запуска, если пользователи добавляют флаг watch к команде AIR. Кроме того, новый просмотрщик журналов разработан специально для обучения на нескольких узлах. Genie Code интегрирована во все этапы работы и включает готовые навыки агента для устранения неполадок и повышения производительности обучения на GPU. По словам компании, эти навыки учитывают выводы ее исследовательских команд и команд по повышению производительности, в том числе опыт сокращения времени обучения Qwen на AIR в 6 раз.

Джо Тайлер, ведущий исследователь ИИ в Sonar, рассказал, что инженеры-исследователи компании использовали AIR для создания конвейеров обучения LLM и быстрой проверки гипотез, отслеживая каждый этап конвейера. Нихил Сандерадж, ведущий инженер по машинному обучению в FactSet, сообщил, что время, необходимое для настройки, обучения и развертывания пользовательской модели Text To Formula, сократилось с нескольких дней до нескольких часов.

Безопасность, управление данными и начало работы

По словам Databricks, AIR работает в контуре управления Databricks и Unity Catalog, обеспечивая единообразное применение разрешений на чтение и запись при доступе к данным, контрольным точкам и журналам рабочих нагрузок GPU. Компания заявила, что AIR обеспечивает изоляцию на уровне виртуальных машин, а не использует механизмы изоляции, открывающие доступ к ядру хост-системы. Кроме того, платформа поддерживает PrivateLink и средства управления исходящим трафиком в бессерверной среде, опираясь на инвестиции компании в безопасность бессерверных решений. В объявлении отмечалось, что инцидент с OpenAI и Hugging Face наглядно показал риски, связанные с управлением GPU-инфраструктурой отдельно от корпоративных данных, защищенных механизмами управления.

Использование AIR и связанные с ним расходы отражаются в системных таблицах Databricks для учета биллинга наряду с другими рабочими нагрузками Databricks. Записи об использовании ресурсов на уровне рабочих нагрузок показывают, какие запуски обучения расходуют бюджет на GPU.

Роберт Мэйси III, инженер по машинному обучению в Robinhood, отметил, что AIR помогает его командам быстрее переходить от экспериментов к обучению, поскольку средства управления и контроля данных встроены в платформу. Эран Бараш, вице-президент по искусственному интеллекту и машинному обучению в QuantHealth, рассказал, что его команда масштабирует распределенное обучение на бессерверных GPU, обрабатывая миллионы записей в рамках существующих рабочих процессов с данными. Зак Ричардсон, руководитель направления ИИ в TinyFish, сообщил, что его команда может обучать модели на GPU, оценивать результаты с помощью MLflow и развертывать веб-ориентированную модель компании без создания отдельной инфраструктуры для каждого этапа.

Databricks предложила новым пользователям краткое руководство по началу работы, шаблоны ноутбуков и вводные инструкции, а также клонируемый репозиторий ai-runtime-cookbook на GitHub. По словам компании, с его помощью можно запустить первую рабочую нагрузку на GPU одной командой CLI. За дополнительной информацией компания направила клиентов к их командам по работе с учетными записями.