Modal lên kế hoạch triển khai NVIDIA Vera cho Sandbox, đánh dấu bước chuyển đầu tiên sang Arm

Trong bài đăng trên blog của công ty ngày 19 tháng 10 năm 2026, Modal cho biết họ dự định triển khai hỗ trợ CPU Vera dựa trên Arm của NVIDIA để vận hành Modal Sandboxes. Đây sẽ là lần đầu tiên công ty rời khỏi đội máy chủ hoàn toàn dùng x86, sau khi kết quả kiểm thử chuẩn mà Modal công bố cho thấy máy có thể xử lý số tác vụ nhiều gấp đôi so với máy x86 tương đương khi chịu tải.

Modal cho biết NVIDIA đã đích thân chuyển máy chủ CPU Vera đầu tiên đến văn phòng của công ty ở San Francisco trong tuần trước khi thông báo được đưa ra. Vera là bộ xử lý tương thích với Arm của NVIDIA, được thiết kế cho nền tảng GPU Vera Rubin nhưng cũng có thể được cung cấp dưới dạng máy chủ CPU độc lập. Việc đưa Arm vào hệ thống máy chủ sẽ đòi hỏi phải thay đổi trên toàn bộ hạ tầng và hệ thống xây dựng image của Modal; công ty mô tả đây là thay đổi rất lớn sau một thời gian dài chỉ vận hành các máy x86.

Nhiễu đa bên thuê và năng lực xử lý đột biến

Vận hành sản phẩm Sandbox đồng nghĩa với việc chạy hàng trăm container và máy ảo đồng thời trên mỗi máy chủ đám mây; Modal cho biết các cụm đa bên thuê hình thành theo cách này thường có mức độ nhiễu cao. Mức sử dụng tài nguyên có thể biến động cực mạnh: một sandbox có thể hầu như không hoạt động trong lúc chờ mô hình ngôn ngữ, rồi mức sử dụng CPU tăng vọt lên gấp 10 lần mức cơ sở do cài đặt gói npm hoặc chạy một lệnh grep tốn kém. Chỉ khi chạy mới biết được đặc điểm của từng khối lượng công việc, vì vậy việc ước tính tài nguyên cần thiết thường chỉ là phỏng đoán. Ngoài ra, việc gom các bên thuê có nhu cầu khác nhau vào cùng một nhóm tài nguyên điện toán có thể gây ra vấn đề “hàng xóm ồn ào”, khi hành vi của một khách hàng làm giảm hiệu năng của khách hàng khác.

Thay vì yêu cầu đặt trước một lượng tài nguyên cố định đủ đáp ứng mức sử dụng tối đa, Modal Sandboxes hỗ trợ tăng công suất đột biến, cho phép người dùng đặt trước dung lượng được đảm bảo cho mức sử dụng P50 và tin tưởng rằng phần dự phòng bên trong nút máy chủ sẽ hấp thụ các đợt tăng tải ngắn hạn. Modal cho biết cách làm này đã giúp người dùng tiết kiệm hàng triệu đô la, nhưng cũng thừa nhận rằng nó làm tăng nguy cơ chịu ảnh hưởng từ hiện tượng “hàng xóm ồn ào”, vốn có thể tránh được nếu áp dụng các giới hạn nghiêm ngặt.

Modal xác định hai trường hợp sử dụng Sandbox phổ biến: các tác nhân chạy nền, trong đó có Ramp Inspect và các tác nhân chạy trên Niteshift, cùng với các đợt chạy mô phỏng trong học tăng cường. Công ty cho biết phần lớn hệ thống huấn luyện vẫn hoạt động đồng bộ, do đó toàn bộ loạt tác vụ chạy mô phỏng phân nhánh bị giới hạn bởi CPU phải hoàn tất thì các GPU đang nhàn rỗi mới có thể chuyển sang bước tiếp theo; điều đó có nghĩa là tiết kiệm thời gian trên CPU cũng là tiết kiệm thời gian trên GPU. Với các tác nhân chạy nền, công ty cho biết thực thi nhanh hơn đồng nghĩa với việc nhận được câu trả lời sớm hơn và giảm thời gian sử dụng CPU, qua đó hạ giá vốn hàng bán.

Bộ kiểm thử tác nhân không cần tác nhân

Để đo hiệu năng của Vera, Modal đã xây dựng và phát hành Bộ kiểm thử tác nhân không cần tác nhân, gồm 50 lời giải oracle và bộ xác minh của Terminal-Bench, đã loại bỏ mọi lệnh gọi mạng và được làm nóng sẵn trong các container Docker chạy đồng thời. Modal cho biết việc xây dựng một bộ kiểm thử chuẩn cho tác nhân là khó khăn vì phần lớn công việc trên các máy chủ sandbox của họ không bị giới hạn bởi CPU. Vì vậy, công ty đã tập hợp một nhóm tác vụ đa dạng chạy đồng thời, phản ánh những việc mà tác nhân và quy trình học tăng cường thực sự thực hiện trên CPU, bao gồm biên dịch, tìm kiếm tệp bằng grep, thao tác Git và mô phỏng thiết bị. Theo kho mã công khai, bộ kiểm thử chuẩn này dựa trên tập dữ liệu tác vụ terminal-bench-2.1, với các Dockerfile được chuyển đổi để tương thích với Arm; một lượt chạy chỉ được tính là hoàn tất nếu bộ xác minh tác vụ xác nhận thành công.

Trong các bài kiểm thử tuần tự trên máy không chịu tải, nhằm đo độ trễ riêng của từng tác vụ khi chạy độc lập, Modal nhận thấy Vera thường nhanh hơn các bộ xử lý khác được thử nghiệm — Intel GNR, AMD Zen 5, AWS Graviton 4 và 5 — nhưng không phải lúc nào cũng vậy, và mức chênh lệch cũng không quá lớn. Tác giả bài đăng cho biết ban đầu họ hoài nghi về các kết quả này.

Modal cho biết khi chịu tải, kết quả lại khác biệt rõ rệt. Bài kiểm thử thông lượng tăng số lượng container chạy đồng thời trên máy và lặp lại càng nhiều tác vụ được xác minh hoàn tất càng tốt trong một khoảng thời gian cố định. Modal cho biết các lượt kiểm thử chuẩn ban đầu cho thấy Vera có thể xử lý số tác vụ nhiều gấp đôi so với máy GNR x86 tương đương, trong khi độ trễ của từng tác vụ được đo ở mức bằng hoặc thấp hơn x86. Ở hầu hết hệ thống, thông lượng và độ trễ phải đánh đổi với nhau khi mật độ đóng gói tăng lên, cho đến khi CPU bão hòa. Tuy nhiên, Modal cho biết Vera không chậm lại khi số lượng công việc tăng lên mà vẫn tiếp tục hoàn tất tác vụ với tốc độ ban đầu.

Modal cho biết hiệu năng của Vera tiếp tục được cải thiện khi số lượng CPU logic tăng lên, trong khi các bộ xử lý khác được thử nghiệm sớm chạm ngưỡng thông lượng. Số lõi vật lý của các máy được thử nghiệm lần lượt là 128 với Intel GNR, 96 với Graviton và máy ảo GNR, và 88 với Vera. Vì các lựa chọn thay thế sớm đạt ngưỡng, Modal cho biết kết quả cho thấy họ có thể đẩy Vera đi xa hơn nữa so với nút máy duy nhất dùng để kiểm thử chuẩn mà họ có quyền truy cập.

Công ty cho rằng lợi thế của Vera khi phải cạnh tranh tài nguyên đến từ băng thông bộ nhớ cao, giúp nhiều khối lượng công việc trong container được đóng gói trên mỗi lõi hơn đáng kể mà không làm CPU bị điều tiết. Với bộ lập lịch của Modal, điều này đồng nghĩa với mật độ đóng gói cao hơn và khả năng bảo vệ trước các đợt tăng tải linh hoạt hơn; công ty cho biết với người dùng Sandbox, điều đó giúp tăng quy mô tuyệt đối và thông lượng mà không phải hy sinh độ trễ.

Thiết kế và tình trạng sản xuất của Vera

NVIDIA ra mắt Vera vào ngày 16 tháng 3 năm 2026 tại hội nghị GTC, giới thiệu đây là bộ xử lý được thiết kế chuyên biệt cho AI tác tử và học tăng cường. Chip này có 88 lõi Olympus tùy chỉnh do NVIDIA thiết kế, mỗi lõi có thể chạy hai tác vụ thông qua tính năng mà NVIDIA gọi là Spatial Multithreading, cùng một hệ thống bộ nhớ tiết kiệm điện thế hệ thứ hai sử dụng LPDDR5X, cung cấp băng thông lên đến 1,2 TB/giây. NVIDIA tuyên bố Vera cho hiệu quả gấp đôi và tốc độ xử lý nhanh hơn 50% so với CPU truyền thống.

Khi ra mắt, NVIDIA cũng giới thiệu một tủ rack CPU Vera tích hợp 256 CPU làm mát bằng chất lỏng. Theo công ty, hệ thống này có thể duy trì hơn 22.500 môi trường CPU chạy đồng thời, mỗi môi trường hoạt động độc lập ở hiệu suất tối đa. NVIDIA cho biết Vera đã được đưa vào sản xuất toàn diện, dự kiến sẽ có mặt tại các đối tác trong nửa cuối năm 2026; hãng nêu Alibaba Cloud, ByteDance, CoreWeave, Lambda, Nebius, Nscale và Oracle Cloud Infrastructure trong số các nhà cung cấp dịch vụ đám mây có kế hoạch triển khai CPU này.

Modal cho biết họ dự định hợp tác chặt chẽ với NVIDIA và các nhà cung cấp dịch vụ đám mây để mở rộng đội máy Vera khi quá trình triển khai diễn ra.