Cohere 在 Model Vault 上推出机密计算公开测试版

Cohere 于 2026 年 10 月 22 日宣布，面向企业的 Cohere Model Vault 公测版现已支持机密计算。Model Vault 是专用的全托管模型推理平台，运行于 Microsoft Azure 上的 NVIDIA H100 GPU，可供处理敏感数据的企业使用。

此次发布将 Model Vault 的适用范围扩展至涉及临床记录、财务信息、特权文件、知识产权和专有源代码的工作负载。Cohere 表示，其目标是让企业在使用托管式 AI 的强大功能和简便运维体验的同时，确保敏感明文数据不会被运行该服务的基础设施访问。该公司列出的潜在应用场景包括金融服务领域的欺诈调查、法律团队的特权文件搜索与尽职调查、敏感的公共部门信息、专利和研究材料、专有工程与界面设计文档，以及对专有源代码进行搜索和分析。

根据此次测试版对各方职责的划分，Microsoft Azure 提供底层机密计算基础设施，NVIDIA Confidential Computing 将保护延伸至 H100 GPU，而 Cohere 则通过 Model Vault 提供托管式模型服务、加密请求通道、远程证明以及由客户执行的验证。该公司表示，客户可以通过 Model Vault 设置和管理加密保险库，使用同一套 Cohere API 接入，并可从 vault.cohere.com 开始使用。

机密执行与加密请求通道

机密计算旨在保护使用中的数据，也就是模型正在积极处理的信息。这是加密技术传统上保护的静态数据和传输中数据之外的第三种状态。据 Cohere 随发布一同推出的技术深度解析文章介绍，在 Model Vault 中，模型服务技术栈（包括操作系统、驱动程序和推理服务器）运行于机密虚拟机内；硬件级隔离可保护其内存不受宿主环境访问，而策略则将该环境限制为仅运行经批准的软件，同时不为运营人员提供可交互访问正在运行的工作负载的途径。NVIDIA 机密计算可保护 GPU 内存并加密 CPU 与 GPU 之间的通信，因此机密边界涵盖执行推理的加速器，而非止于负责协调推理的 CPU。

请求本身也受到单独保护。Model Vault 使用 Oblivious HTTP（OHTTP），将请求中的敏感内容加密至与经过证明的机密环境关联的公钥。加密后的消息以密文形式通过中间基础设施传输，只有环境内部的 OHTTP 网关持有与之匹配的私钥；响应在返回途中也受到同样的保护。Cohere 表示，这种设计将平台运维与读取客户通过平台发送内容的能力分离开来，因为中间环节仍可转发流量，却无法看到明文载荷。应用可以继续使用 Model Vault API 和熟悉的请求格式；保护机制由客户端层和基础设施层实现，无需重新设计载荷。

将远程证明作为主动控制机制

发送受保护的请求之前，机密环境会生成经过加密签名的证据，其中记录其硬件、固件、运行环境和应用软件的度量值及安全相关属性；客户侧软件则会依据已批准的策略检查这些证据。证据记录的是环境实际运行的状态，策略则规定该环境是否应被信任并获准处理数据。如果某项必需属性不匹配，例如软件度量值发生变化，或 GPU 未处于预期的机密模式，客户端就会验证失败并拒绝传输载荷，请求也会留在客户自己的环境中。这些证据会按较短周期定期更新；每次继续发送受保护请求之前，客户端都会根据已批准的策略重新检查新的度量值和安全状态。Cohere 称，这使远程证明从一份留待审计的记录转变为一种主动控制机制，能够决定是否释放受保护的数据。

在Cohere 的发布公告中，首席技术官 Phil Blunsom 表示：“借助硬件证明，客户不仅能获得加密证据，证明工作负载运行于安全的机密计算环境中，还能验证其数据受到保护，不会遭到未经授权的访问，即使是 Cohere 也无法访问。”Microsoft Azure 机密计算产品负责人 Vikas Bhatia 表示，与 Cohere 的合作展示了机密计算如何将托管式 AI 的简便性与可独立验证的技术控制相结合。NVIDIA 企业软件副总裁 John Fanelli 表示，NVIDIA GPU 上的机密计算可提供硬件级保护，帮助 Model Vault 等平台将机密 AI 推理应用于企业工作负载。

威胁模型、明确的限制与开源计划

在其声明的威胁模型范围内，系统会在处理期间保护提示词、文档、响应内容和模型执行过程，云服务提供商、主机操作系统、虚拟机监控程序、基础设施管理员以及 Cohere 自身的运营人员均无法读取受保护工作负载的内存。可信计算基仍包括提供机密计算基础的硬件和固件、在该环境中运行且经过度量的软件、用于定义获准配置的参考度量值，以及负责评估并签署证据的证明基础设施。Cohere 表示，这种设计将需要信任的范围缩小为一组明确的组件，并由这些组件生成可度量、可核验的证据。

Cohere 还明确说明了这一保护边界不涵盖哪些方面。物理攻击和侧信道攻击（例如通过时序或其他共享硬件行为推断信息）仍不在保护范围内；即使操作人员无法读取工作负载，也仍能停止、延迟或阻止其运行，因此该设计本身不提供可用性保证。将软件置于机密计算硬件中，并不能解决提示词注入、不安全的工具使用、授权错误及其他软件漏洞等应用层风险。

可观察的元数据也不在保护范围内：尽管载荷内容经过加密，消息大小、请求时序、流量大小和路由详情仍然可见；在当前架构中，API 凭证和模型标识符也不包含在 OHTTP 保护的载荷中。该公司表示，机密计算并不能取代应用安全，不是数据驻留机制，也不能替代合规或合同管控，更不是同态加密，因为模型仍会在受保护的环境中处理明文。

该实现基于开源项目 Kata Containers 和 Confidential Containers 构建。Cohere 表示，计划将机密推理技术栈作为开源软件发布，使客户和安全研究人员能够检查代码、了解具体实施了哪些策略，并独立复现验证度量结果。目前，测试版在 Microsoft Azure 上使用 NVIDIA H100 GPU 运行；Cohere 表示，支持NVIDIA Blackwell基础设施（包括 B200 GPU）的工作正在进行，以推动产品迈向正式发布。