Databricks 面向 GPU 训练的 AI Runtime 正式全面开放

Databricks 于 2026 年 10 月 21 日宣布 AI Runtime 正式全面开放。AI Runtime（AIR）是一款完全托管的无服务器 GPU 平台，内置于 Databricks Lakehouse，可利用企业数据训练和微调深度学习模型。

Databricks 表示，包括 Robinhood、PicPay、Merck、Flo Health、TinyFish 和 FactSet 在内的数百家公司已在使用 AIR 训练深度学习模型，并将其部署到生产环境中，应用场景涵盖医疗保健、制造业和面向消费者的智能体。该公司称，其内部的 Databricks AI Research 团队也在使用这一平台训练支撑 KARL 和 AI Parse 的模型，并表示 AIR 已经经受了超过 100,000 GPU 小时训练任务的考验。

该公司将此次发布定位为对 AI 团队所面临问题的回应：他们花在保障 GPU 容量、处理故障和等待实验启动上的时间，超过了用于改进模型的时间。公告称，将 GPU 基础设施独立于 Lakehouse 运行会造成治理漏洞，并使敏感训练数据面临风险。

托管式 GPU 基础设施

Databricks 负责采购 GPU、配置集群和管理网络，因此客户无需自行运营完整的 GPU 平台即可开始训练。该公司表示，会在训练前和训练过程中执行数十项 GPU 与网络健康检查，确保工作负载能够可靠地扩展至数百个 GPU；平台会在调度 GPU 前对其进行验证，持续监控正在运行的工作负载，并定期测试空闲 GPU，以发现并移除状态异常的节点。

AIR 通过内置加载器传输训练数据，并对数据进行流式处理和缓存，从而减少作业等待输入/输出的时间。配套工具 UCVolumeDataset 旨在无需自定义数据加载管道即可提升数据吞吐量。用户可以通过命令行界面访问 GPU，也可以在笔记本和集成开发环境中进行交互式操作。Databricks 表示，启动首个工作负载只需执行一条 CLI 命令；其 AIR Skills 功能则可通过一条自然语言提示，将工作负载从 Kubernetes 或 SLURM 集群迁移过来。

AIR 与 Databricks 的管道编排产品 Lakeflow 原生集成，使 GPU 工作负载与上游和下游管道保持同步。公告称，将工作负载迁移至生产环境只需额外添加几行 YAML 配置；公告还介绍了内置的优先级和抢占控制功能，可尽量减少 GPU 空闲时间，并提到可通过 Genie ZeroOps 等工具进行监控。AI Runtime 产品页面列出了按需使用的 NVIDIA GPU（支持多区域容量）、借助托管式 RDMA 网络在多个 GPU 和节点间进行分布式训练、针对长时间运行作业优化的检查点功能，以及对自定义 Docker 容器的支持，包括 NVIDIA NGC 容器。

Superhuman 应用研究科学家兼领域技术负责人 Kostia Omelianchuk 在公告中表示，该平台让他的团队得以将大规模训练从一台配备 8 个 A100 GPU 的节点，扩展到分布在多个节点上的 16 个 H100 GPU。训练时间从约 7 天缩短至 48 小时，他称速度提升了 3.5 倍。

秒级启动与调试

Databricks 表示，即使是在配备数十个 GPU 的大型 RDMA 集群上，AIR 的启动延迟也能达到秒级。该服务使用预热的无服务器 GPU 池和延迟镜像加载，在数秒内启动工作负载，同时在后台加载其余镜像数据。用户可以运行预构建环境，也可以使用自己的容器；环境缓存则意味着环境只需构建一次。该公司称，AIR 兼容所有主流框架，产品页面列出的支持选项包括 PyTorch 和 Ray。

Databricks 表示，在 MLflow 实验跟踪工具中新增的可观测性体验，能够在用户为 AIR 命令添加 watch 标志后，于运行提交数秒后开始传输日志；此外，还新增了专为多节点训练打造的日志查看器。整个体验中均嵌入了 Genie Code，并预先封装了用于调试问题和优化 GPU 训练性能的智能体技能。该公司表示，这些技能融入了其研究和性能团队的经验，包括他们如何借助 AIR 将 Qwen 的训练时间缩短了 6 倍。

Sonar 首席 AI 研究员 Joe Tyler 表示，该公司的研究工程师使用 AIR 搭建 LLM 训练管道，并快速验证假设，同时能够查看管道的每个阶段。FactSet 首席机器学习工程师 Nikhil Sunderraj 表示，搭建、训练和部署自定义 Text To Formula 模型所需的时间已从数天缩短至数小时。

安全、治理与入门

Databricks 表示，AIR 在 Databricks 和 Unity Catalog 的治理边界内运行，可对 GPU 工作负载的数据访问、检查点和日志实施一致的读取和写入权限。该公司称，AIR 提供虚拟机级隔离，而非会暴露宿主机内核的隔离机制；它还支持 PrivateLink 和无服务器出站流量控制，这些能力依托于 Databricks 在无服务器安全方面的投入。公告援引 OpenAI Hugging Face 事件，指出将 GPU 基础设施与受治理的企业数据分开管理会带来风险。

AIR 的使用情况和费用会与其他 Databricks 工作负载一同显示在 Databricks 计费系统表中；工作负载级别的使用记录会标明哪些训练任务消耗了 GPU 预算。

Robinhood 的机器学习工程师 Robert Macy III 表示，AIR 内置治理和数据控制功能，能帮助他的团队更快地从实验阶段进入训练阶段。QuantHealth 的人工智能与机器学习副总裁 Eran Barash 表示，他的团队能够在现有数据工作流中，利用无服务器 GPU 对数百万条记录进行扩展式分布式训练。TinyFish 的人工智能负责人 Zach Richardson 表示，他的团队可以使用 GPU 进行训练，通过 MLflow 评估结果，并部署该公司的 Web 原生模型，而无需为每个阶段单独搭建基础设施。

Databricks 为新用户提供了快速入门指南、模板笔记本和入门指南，并在 GitHub 上提供了可克隆的 ai-runtime-cookbook 代码库；据该公司介绍，只需运行一条 CLI 命令，就能启动首个 GPU 工作负载。该公司建议客户联系其客户团队了解更多信息。