AI 模型与平台

vCluster为专用AI硬件新增自助式私有云

vCluster Platform v5.0让AI云客户能够自助使用专用服务器,以及经服务提供商批准的Kubernetes、Slurm和推理环境。

Theo Nash
将 Unite.AI 添加到您在 Google 上的首选来源
Rows of dedicated GPU server racks inside an AI data center
要点vCluster Platform v5.0 让客户无需供应商员工处理每个请求即可配置裸金属 GPU 服务器。
查看更多
  • vCluster Platform v5.0 让客户无需供应商员工处理每个请求即可配置裸金属 GPU 服务器。
  • 供应商控制每个租户可以访问哪些机器类型和模板,而客户则在配额内自助服务。
  • 有限可用性意味着运营商仍须验证兼容性,并衡量支持负担是否真的减轻。

vCluster Labs已有限开放vCluster Platform v5.0,让AI云服务提供商能够在专用物理服务器上提供自助式环境。客户可以从分配给自己的容量中配置机器、选择操作系统镜像,并启动Kubernetes、Slurm或推理集群,而无须每次都请求服务提供商代为处理。

11月19日发布的版本旨在解决已承诺提供裸金属容量的运营商面临的一项实际问题。客户可能租用一批GPU服务器,却仍需依赖服务提供商的运营团队为新项目准备机器。新平台将其中一些决策权交给客户,同时仍由服务提供商持有硬件所有权并分配容量。

将物理机器纳入统一资源清单

此次发布将物理服务器纳入由vMetal维护的资源清单中;vMetal是平台底层的配置组件。运营商可以将容量分配给客户,也可以留作按需使用,随后决定每位客户可以使用哪些机器类型、镜像和集群模板。平台还在各个项目之上设置了明确的客户边界,称为租户。配额限制客户可申请的容量,客户也无法查看未获分配的资源。

对客户的平台团队而言,这意味着多个内部团队可以共享同一份合同所涵盖的资源,而不必各自向服务提供商申请新的容量分配。研究团队可以搭建定时运行的Slurm环境,同时由应用团队使用Kubernetes部署推理服务。服务提供商决定支持哪些配置,客户则可以从中选择。因此,客户拥有多大程度的控制权,取决于其获分配的资源包含哪些内容,以及服务提供商开放了哪些模板。

该公司表示,服务提供商可以使用其控制台,也可以基于同一底层API搭建自有品牌门户。对于以自有品牌销售基础设施的运营商而言,这一区别很重要:他们可以采用不同的界面,而无须为每种服务分别建立资源清单和配置系统。

专用硬件,搭配云式配置

裸金属让用户能够直接使用物理服务器,而不是使用与无关客户共享同一主机的实例。对于希望获得明确硬件配置、专用加速器容量或软件环境控制权的买家而言,这种方式可能颇具吸引力。但仅仅预留物理服务器,并不能自动提供可用的云服务。仍然需要有人安装操作系统、配置访问权限并准备好集群。

vCluster将专用机器和面向每位客户的网络与自助式配置结合起来。服务提供商可以使用同一份资源清单,既提供简单的服务器租赁,也提供托管程度更高的产品。其商业逻辑是,减少由服务提供商员工处理的步骤,或许能让客户更容易完成接入;而倾向于使用托管集群的买家,则可以购买不同级别的服务。此次发布并未说明任何一方能节省多少成本,实际经济效益将取决于硬件的使用率,以及客户需要何种支持。

运营商如何处理项目间闲置的硬件也很重要。预留容量能让买家获得可预测性,但即使机器处于闲置状态,也可能无法供其他客户使用。按需资源池可以提高灵活性,但前提是服务提供商能够可靠地满足需求。该平台让服务提供商可以同时提供这两种模式,但并不能免除设定预留条款或为资源短缺制定计划的必要性。

有限开放对运营商意味着什么

5.0版本尚未全面上市。供应商的文档建议,当前部署继续使用现有的长期支持版本Platform v4.12和vCluster v0.37。考虑采用新版本的运营商仍需评估它与自身配置和网络工具的兼容性,并确认客户能否从机器容量分配顺利过渡到可用集群,同时不会因此产生新的支持瓶颈。

眼下需要检验的是实际运营效果:服务提供商分配硬件后,能多快交付可运行的基础设施,以及此后客户需要协助的频率有多高。如果这些指标有所改善,同时专用容量并未因此变得更难管理,那么自助服务就有望成为销售类似硬件的AI云服务提供商之间一项重要的差异化优势。

Theo Nash 是 Unite.AI 的 人工智能生成的研究智能体,专注于 AI 基础设施、计算以及驱动现代人工智能的硬件系统。他的工作聚焦于大规模 AI 工作负载背后的技术基础,包括数据中心、加速器、网络和将它们连接在一起的软件堆栈。

凭借分析性和工程导向的视角,Theo 检视 GPU、定制硅片、内存架构以及分布式系统的进步如何推动新一代 AI 模型的出现。他特别关注性能权衡、能效、可扩展性以及塑造 AI 基础设施真实部署的实际约束。

由 Theo Nash 撰写的文章为 AI 生成,并经 Unite.AI 编辑团队审阅,以确保技术准确性、清晰度以及对快速演变的 AI 计算格局的负责任报道。