Databricks、GPUトレーニング向けAI Runtimeの一般提供を開始

Databricksは2026年10月21日、企業データを用いたディープラーニングモデルのトレーニングとファインチューニング向けに、Databricks Lakehouseに組み込まれたフルマネージドのサーバーレスGPUプラットフォームAI Runtimeの一般提供を開始した（AIR）。

Databricksによると、Robinhood、PicPay、Merck、Flo Health、TinyFish、FactSetなど数百社がすでにAIRを利用し、ディープラーニングモデルをトレーニングして本番環境に導入している。用途は、ヘルスケア、製造業、消費者向けエージェントなど多岐にわたる。同社は、自社のDatabricks AI Researchチームも、KARLとAI Parseを支えるモデルのトレーニングにこのプラットフォームを活用していると述べ、10万GPU時間を超えるトレーニング実行で実戦投入されてきたと説明した。

同社は今回のリリースについて、AIチームがモデルの改善よりも、GPUの確保や障害対応、実験の開始待ちに多くの時間を費やしているという課題への対応だと位置付けた。また、Lakehouseとは別にGPUインフラを運用すると、ガバナンスに抜けが生じ、機密性の高いトレーニングデータが危険にさらされると発表で述べた。

マネージドGPUインフラ

DatabricksがGPUの調達、クラスターの構成、ネットワーク管理を担うため、顧客は自社でGPUプラットフォーム全体を運用することなくトレーニングを開始できる。同社によると、トレーニングの前と実行中に数十種類のGPUおよびネットワークの健全性チェックを行い、ワークロードを数百基のGPUまで安定して拡張できるようにしている。プラットフォームはGPUをスケジュールに割り当てる前に検証し、稼働中のワークロードを継続的に監視するとともに、アイドル状態のGPUも定期的にテストして、異常のあるノードを検出・排除する。

AIRは組み込みのローダーを通じてトレーニングデータをストリーミングしながらキャッシュするため、ジョブがI/O待ちに費やす時間を短縮できる。専用ツールのUCVolumeDatasetは、独自のデータ読み込みパイプラインを構築せずにデータスループットを高めることを目的としている。ユーザーはコマンドラインインターフェースからGPUにアクセスできるほか、ノートブックやIDE内で対話的に作業することもできる。Databricksによると、最初のワークロードはCLIコマンド1つで実行でき、AIR Skills機能を使えば、自然言語のプロンプト1つでKubernetesまたはSLURMクラスターからワークロードを移行できる。

AIRは同社のパイプラインオーケストレーション製品Lakeflowとネイティブに連携し、GPUワークロードを上流および下流のパイプラインと同期させる。発表によると、ワークロードを本番環境に移行するにはYAMLに数行を追加するだけでよい。また、アイドル状態のGPU時間を最小限に抑える優先度設定とプリエンプション制御を標準搭載し、Genie ZeroOpsなどのツールによる監視にも対応する。AI Runtimeの製品ページには、複数リージョンで利用できるオンデマンドのNVIDIA GPU、管理されたRDMAネットワークによる複数GPU・複数ノード間の分散トレーニング、長時間実行ジョブ向けに最適化されたチェックポイント機能、NVIDIA NGCコンテナを含むカスタムDockerコンテナのサポートが記載されている。

Superhumanの応用研究サイエンティスト兼エリアテックリードであるKostia Omelianchuk氏は発表の中で、このプラットフォームによってチームは大規模トレーニングを、A100 GPU 8基を搭載した単一ノードから、複数ノードにまたがるH100 GPU 16基の構成へと移行できたと述べた。トレーニング時間はおよそ7日から48時間に短縮され、同氏はこれを3.5倍の高速化と説明した。

数秒での起動とデバッグ

Databricksによると、AIRは数十基のGPUを備えた大規模なRDMA対応クラスターでも、数秒で起動できる。サービスは稼働状態のサーバーレスGPUプールと遅延画像読み込みを利用し、残りのイメージデータをバックグラウンドで読み込みながら、ワークロードを数秒で開始する。ユーザーは事前構築済みの環境を実行することも、独自のコンテナを持ち込むこともできる。また、環境をキャッシュするため、環境の構築は一度だけで済む。同社は、AIRが主要なすべてのフレームワークと互換性があると説明しており、製品ページには対応オプションとしてPyTorchとRayが挙げられている。

Databricksによると、実行の送信時にAIRコマンドへwatchフラグを追加すると、実験追跡ツールMLflowの新しい可観測性機能で、数秒後にはログのストリーミングが始まる。また、マルチノードトレーニング専用の新しいログビューアーも提供する。Genie Codeは一連の機能に組み込まれており、問題のデバッグやGPUトレーニング性能の最適化に役立つ、パッケージ済みのエージェントスキルを備える。同社によると、これらのスキルには研究チームとパフォーマンスチームの知見が反映されており、AIR上でQwenのトレーニング時間を6分の1に短縮した方法も含まれている。

SonarのAI主任研究員であるJoe Tyler氏は、同社の研究エンジニアがAIRを使ってLLMのトレーニングパイプラインを構築し、各段階を把握しながら仮説を迅速に検証できたと述べた。FactSetの主席機械学習エンジニアであるNikhil Sunderraj氏によると、カスタムのText To Formulaモデルのセットアップ、トレーニング、デプロイにかかる時間は、数日から数時間に短縮された。

セキュリティ、ガバナンス、利用開始

Databricksによると、AIRはDatabricksとUnity Catalogのガバナンス境界内で動作し、GPUワークロードのデータアクセス、チェックポイント、ログに対して、一貫した読み取り・書き込み権限を適用する。同社は、AIRがホストカーネルを露出させる分離方式ではなく、VMレベルの分離を提供すると述べた。また、同社のサーバーレスセキュリティへの投資を基盤として、PrivateLinkとサーバーレスのエグレス制御にも対応する。発表では、OpenAIのHugging Faceインシデントを挙げ、GPUインフラをガバナンスの適用された企業データから切り離して管理するリスクを強調した。

AIRの使用状況とコストは、ほかのDatabricksワークロードとともにDatabricksの請求システムテーブルに表示されます。ワークロード単位の使用状況記録から、どのトレーニング実行がGPU予算を消費しているかを確認できます。

Robinhoodの機械学習エンジニア、Robert Macy III氏は、AIRを使うことで、ガバナンスとデータ管理機能が組み込まれた環境のもと、チームが実験からトレーニングへより迅速に移行できると述べました。QuantHealthの人工知能・機械学習担当バイスプレジデント、Eran Barash氏は、既存のデータワークフロー内で数百万件のレコードを対象に、サーバーレスGPUを使った分散トレーニングをチームで拡張できると述べました。TinyFishのAI責任者、Zach Richardson氏は、チームがGPUでトレーニングを行い、MLflowで結果を評価し、各段階で個別のインフラを構築することなく、同社のウェブネイティブモデルを提供できると述べました。

Databricksは新規ユーザー向けに、クイックスタートガイド、テンプレートノートブック、入門ガイドを案内しました。また、GitHub上の複製可能なai-runtime-cookbookリポジトリを紹介し、CLIコマンド1つで最初のGPUワークロードを起動できると説明しました。同社は、詳細については担当のアカウントチームに問い合わせるよう顧客に案内しました。