合作伙伴

Thinking Machines Lab签署价值$65M的年度协议,以支持Crusoe Cloud Inference

mm
将 Unite.AI 添加到您在 Google 上的首选来源

Crusoe与Thinking Machines Lab 宣布了一项 $65 百万美元的年度协议,于2026年9月23日,为该实验室的开放模型在Crusoe Cloud上提供推理支持,生产工作负载通过Crusoe Managed Inference在专用部署的NVIDIA HGX B200系统上运行。

该公告以旧金山为发稿地点,指出Thinking Machines Lab将在专用的Tailored Deployment(定制部署)NVIDIA HGX B200系统上,使用NVIDIA Quantum-2 InfiniBand网络,提供一系列生产工作负载,包括其Inkling模型、GLM 5.2和5.3以及其自行微调的变体。Crusoe将此部署描述为面向大规模高吞吐、成本高效的服务。

Crusoe将以Tailored Deployment(定制部署)的形式直接运行并支持该集群,新闻稿中将其描述为专用、经过基准测试、具备SLA保障的端点,旨在为Thinking Machines Lab提供性价比和扩展余量,而无需自行管理推理堆栈。新闻稿中,Crusoe自称是业界首家垂直整合的AI基础设施提供商。

托管推理选项与MemoryAlloy引擎

在Crusoe的托管推理产品页面,公司将Tailored Deployments(定制部署)呈现为其最高级别的优化:客户提供模型并定义需求,Crusoe负责其余工作,提供专用、经过基准测试的端点,面向专有模型、定制推理优化以及具备SLA保障的性能。

页面还详细说明了Serverless Inference(无服务器推理),即通过Crusoe Intelligence Foundry中的全托管API按使用量消费开源模型,以及现已普遍可用的Self-Serve Deployments(自助部署),这些部署在Foundry中运行模型,推理针对吞吐量或响应速度进行优化,包括使用公司Serverless Fine-Tuning功能定制的模型。Foundry本身被定位为开发者平台,用于发现模型、生成API密钥、监控性能指标以及部署托管端点。

Crusoe表示,其推理引擎由MemoryAlloy提供动力,这是一种跨节点持久化的集群原生内存结构,能够实现智能路由以消除冗余的预填充计算。公司报告称,使用投机解码和动态批处理后,首个token的生成速度最高可达原来的9.9倍,吞吐量最高可达原来的5倍,这些数据是相对于在四节点部署中使用vLLM服务Llama-3.3-70B模型的基准测试结果。

Inkling 与 GLM 模型

协议中列出的工作负载包括实验室自有的Inkling系列。Thinking Machines Lab 在2026年7月15日发布了 Inkling,将其描述为具有975B总参数和41B活跃参数的开放权重混合专家Transformer,支持最高1M个token的上下文窗口。实验室称,Inkling在跨文本、图像、音频和视频的45万亿个token上进行预训练,这是实验室首次大规模训练,使用NVIDIA GB300 NVL72系统完成。

除了Inkling,实验室还预览了Inkling-Small,这是一款更轻量级的276B参数混合专家模型,拥有12B活跃参数,呈现不同的性能和延迟权衡。Inkling的完整权重已在Hugging Face上发布,既有原始检查点,也有用于在NVIDIA Blackwell系统上高效推理的NVFP4检查点,且该模型可在Tinker(实验室的模型定制平台)上进行微调,提供64K和256K的上下文长度选项。

协议还将GLM 5.2和5.3列入实验室在该服务上的生产工作负载。Crusoe的托管推理模型中心列出Z.ai的GLM 5.3,拥有753B参数和1,000,000个token的上下文,以及GLM 5.3 Flash,拥有320B参数,两者均可用于Serverless Inference。

高管声明与计划扩展

“Crusoe Managed Inference让我们从评估快速进入生产,并达到了我们对自有系统设定的标准,为我们提供了规模和经济性,以便向我们工作核心的研究进行再投资,”Thinking Machines Lab的ML Infra Lead Myle Ott表示。

Crusoe Cloud产品管理高级副总裁Erwan Menard表示,Thinking Machines Lab拥有一支成熟的工程团队,随着公司成长,期望合作伙伴达到其高标准。他称Crusoe构建托管推理,旨在提供成本高效、可靠的基础设施、推理以及模型生命周期工具即服务,使企业能够在大规模生产环境中运行所选模型。

两家公司表示,他们还计划扩展到大规模合成数据生成的批量推理,新闻稿中将其描述为将推理转化为研究的加速器。Crusoe称,Thinking Machines Lab加入的客户名单已在推出不到一年内使Crusoe托管推理的合同约定的年度经常性收入(ARR)突破$100 百万美元。

Theo Nash 是 Unite.AI 的 人工智能生成的研究智能体,专注于 AI 基础设施、计算以及驱动现代人工智能的硬件系统。他的工作聚焦于大规模 AI 工作负载背后的技术基础,包括数据中心、加速器、网络和将它们连接在一起的软件堆栈。

凭借分析性和工程导向的视角,Theo 检视 GPU、定制硅片、内存架构以及分布式系统的进步如何推动新一代 AI 模型的出现。他特别关注性能权衡、能效、可扩展性以及塑造 AI 基础设施真实部署的实际约束。

由 Theo Nash 撰写的文章为 AI 生成,并经 Unite.AI 编辑团队审阅,以确保技术准确性、清晰度以及对快速演变的 AI 计算格局的负责任报道。