Modal计划推出NVIDIA Vera，为沙盒提供支持，首次采用Arm架构

Modal于2026年10月19日在一篇公司博客文章中表示，计划推出对NVIDIA Arm架构Vera CPU的支持，为Modal Sandboxes提供算力。这将是该公司首次打破全x86架构的服务器集群配置。Modal公布的基准测试结果显示，在负载运行时，Vera的任务吞吐量最高可达同等x86机器的两倍。

Modal表示，NVIDIA在公告发布前一周，将Modal首台Vera CPU服务器亲自送到了该公司位于旧金山的办公室。Vera是NVIDIA兼容Arm架构的处理器，为Vera Rubin GPU平台打造，也可作为独立的CPU服务器使用。将Arm架构引入服务器集群，需要改动Modal的基础设施和镜像构建系统。该公司称，长期以来一直只运行x86机器，因此这将是一项重大变革。

多租户干扰与突发容量

运行沙盒产品意味着要在每台云主机上同时运行数百个容器和虚拟机。Modal表示，由此形成的多租户集群容易受到干扰。资源使用情况可能出现极端突发：沙盒在等待语言模型响应时，大部分时间可能处于空闲状态；但随后一次npm安装或耗费资源的grep命令，就可能让CPU使用量飙升至基线的10倍。只有在运行时才能确定每项工作负载的具体特征，因此资源配置往往只能靠估算；而不同类型的租户共用同一计算资源池，也会产生“吵闹邻居”问题，即一个客户的行为降低了另一个客户的性能。

Modal Sandboxes无需按最大使用量预先固定预留资源，而是支持突发使用：用户可以按其P50使用量预留有保障的容量，并依靠主机节点内部的余量吸收短暂的使用高峰。Modal表示，这种做法已为用户节省数百万美元，但也承认，与严格限制资源使用相比，这会让用户更容易受到“吵闹邻居”效应的影响。

Modal指出，沙盒最常见的两种用途是后台智能体和强化学习迭代任务；前者包括Ramp Inspect，以及在Niteshift上运行的智能体。该公司表示，大多数训练流程仍采用同步方式，因此，所有受CPU限制的并行迭代任务都必须完成后，处于空闲状态的GPU才能进入下一步。这意味着，CPU上节省的时间也就是GPU上节省的时间。对于后台智能体，Modal表示，更快的执行速度意味着更快得到答案、减少CPU耗时，进而降低销售成本。

Agentless Agent Bench基准测试

为了评估Vera，Modal构建并发布了无代理智能体基准测试，其中包含50个Terminal-Bench标准答案解法及其验证器；所有网络调用均已移除，并预热在并发运行的Docker容器中。Modal表示，构建智能体基准测试颇具难度，因为其沙盒服务器上执行的大多数工作并不受CPU限制。因此，该公司整理了一组并发且异构的任务，涵盖智能体和强化学习进程实际在CPU上执行的工作，包括编译、文件内容搜索、git操作和设备模拟。根据公开代码仓库的信息，该基准测试基于terminal-bench-2.1任务数据集构建，并将Dockerfile移植为兼容Arm架构的版本；只有通过任务验证器，运行才算完成。

在未加载的机器上进行串行测试（测量单项任务的直接延迟）时，Modal发现，Vera通常比其他受测处理器更快——包括Intel GNR、AMD Zen 5，以及AWS Graviton 4和5——但并非每次都更快，优势幅度也并不特别大。文章作者表示，自己起初对这些结果持怀疑态度。

Modal表示，在负载运行时，各处理器的表现开始显现差异。吞吐量测试会逐步增加机器上并发运行的容器数量，并在固定时间内循环执行任务，尽可能多地完成通过验证的任务。Modal称，早期基准测试显示，与同等的x86 GNR机器相比，Vera的任务吞吐量最高可达两倍；单项任务的延迟则与x86相当或更低。在大多数系统中，随着资源打包密度增加，吞吐量和延迟会此消彼长，直至CPU达到饱和。但Modal表示，随着作业不断增加，Vera并未变慢，仍以最初的速度持续完成任务。

Modal报告称，随着逻辑CPU数量增加，Vera的表现持续提升，而其他受测处理器的吞吐量很早便陷入平台期。受测机器的物理核心数分别为：Intel GNR有128个，Graviton和GNR虚拟机各有96个，Vera有88个。Modal表示，由于其他方案很早便达到平台期，测试结果表明，Vera的性能可能还能进一步提升，超出该公司能够使用的那台基准测试节点所展现的水平。

该公司将Vera在资源争用情况下的优势归因于其高内存带宽。Modal表示，这使每个核心能够容纳明显更多的容器工作负载，同时不会造成CPU降频。对Modal的调度器而言，这意味着更高的资源打包密度，以及更宽裕的突发保护；对沙盒用户而言，该公司表示，这意味着在不牺牲延迟的情况下实现更大的绝对规模和更高的吞吐量。

Vera的设计与量产进展

NVIDIA 在其 GTC 大会上于 2026 年 3 月 16 日推出了 Vera，并称这是一款专为智能体式 AI 和强化学习打造的处理器。该芯片搭载 88 个由 NVIDIA 定制设计的 Olympus 核心，每个核心都能通过 NVIDIA 称为“空间多线程”的功能同时运行两项任务；此外还配备第二代低功耗内存子系统，采用 LPDDR5X 技术，带宽最高可达 1.2 TB/s。NVIDIA 声称，Vera 的处理效率是传统 CPU 的两倍，速度快 50%。

发布会上，NVIDIA 还推出了一款 Vera CPU 机架，集成了 256 个液冷 CPU。据 NVIDIA 称，该机架可支持超过 22,500 个 CPU 环境同时运行，且每个环境都能独立以满性能运行。NVIDIA 表示，Vera 已全面投产，合作伙伴将于 2026 年下半年获得该产品；该公司还列举了计划部署这款 CPU 的云服务提供商，包括 Alibaba Cloud、ByteDance、CoreWeave、Lambda、Nebius、Nscale 和 Oracle Cloud Infrastructure。

Modal 表示，随着 Vera 部署工作的推进，公司计划与 NVIDIA 及云服务提供商密切合作，扩大 Vera 集群规模。