Modal Berencana Menggunakan NVIDIA Vera untuk Sandbox dalam Langkah Pertamanya Menuju Arm

Dalam sebuah unggahan blog perusahaan pada 19 Oktober 2026, Modal mengatakan berencana menghadirkan dukungan untuk CPU Vera berbasis Arm dari NVIDIA guna menjalankan Modal Sandboxes. Langkah ini akan menjadi penyimpangan pertama perusahaan dari armada yang seluruhnya menggunakan x86, setelah hasil tolok ukur yang diterbitkannya menunjukkan throughput tugas hingga dua kali lipat dibandingkan mesin x86 setara saat dibebani kerja.

NVIDIA mengantarkan langsung server CPU Vera pertama milik Modal ke kantor perusahaan di San Francisco pada pekan sebelum pengumuman tersebut, kata Modal. Vera adalah prosesor NVIDIA yang kompatibel dengan Arm, dirancang untuk platform GPU Vera Rubin, tetapi juga tersedia sebagai server CPU mandiri. Menambahkan Arm ke dalam armada akan mengharuskan perubahan pada infrastruktur dan sistem pembangunan image Modal. Perusahaan menyebutnya sebagai perubahan besar setelah sekian lama hanya menjalankan mesin x86.

Gangguan Multi-Penyewa dan Kapasitas Lonjakan

Mengatur produk Sandbox berarti menjalankan ratusan kontainer dan mesin virtual secara bersamaan di setiap host cloud. Modal mengatakan klaster multi-penyewa yang dihasilkan rentan mengalami gangguan. Penggunaan sumber daya bisa sangat berfluktuasi: sebuah sandbox mungkin sebagian besar menganggur saat menunggu model bahasa, lalu penggunaan CPU melonjak hingga 10 kali lipat dari tingkat dasar akibat pemasangan npm atau perintah grep yang berat. Pola setiap beban kerja baru diketahui saat dijalankan, sehingga penentuan kebutuhan sumber daya sering kali hanya berupa perkiraan. Selain itu, penempatan penyewa dengan kebutuhan beragam dalam satu kumpulan komputasi menimbulkan masalah “tetangga yang berisik”, ketika perilaku seorang pelanggan menurunkan kinerja pelanggan lain.

Alih-alih mewajibkan reservasi tetap yang ukurannya disesuaikan dengan penggunaan maksimum, Modal Sandboxes mendukung kapasitas lonjakan. Fitur ini memungkinkan pengguna mencadangkan kapasitas terjamin untuk penggunaan P50 dan mengandalkan ruang cadangan di dalam node host untuk menampung lonjakan sementara. Modal mengatakan pendekatan ini telah menghemat jutaan dolar bagi pengguna, tetapi mengakui bahwa pendekatan tersebut meningkatkan risiko dampak dari “tetangga yang berisik”, yang seharusnya dapat dihindari dengan batasan ketat.

Modal menyebut dua penggunaan Sandbox yang umum: agen latar belakang—termasuk Ramp Inspect dan agen yang berjalan di Niteshift—serta proses rollout pembelajaran penguatan. Menurut perusahaan, sebagian besar penyiapan pelatihan masih berjalan secara sinkron, sehingga seluruh rangkaian rollout yang dibatasi CPU harus selesai sebelum GPU yang menganggur dapat melanjutkan ke langkah berikutnya. Artinya, waktu yang dihemat pada CPU juga menghemat waktu pada GPU. Untuk agen latar belakang, kata perusahaan, eksekusi yang lebih cepat berarti jawaban lebih cepat dan waktu penggunaan CPU lebih singkat, sehingga biaya pokok penjualan turun.

Tolok Ukur Agen Agentless

Untuk mengukur kinerja Vera, Modal membuat dan merilis tolok ukur agen Agentless, yang mencakup 50 solusi acuan dan verifikator Terminal-Bench, dengan semua panggilan jaringan dihapus, lalu menyiapkannya terlebih dahulu di kontainer Docker yang berjalan secara bersamaan. Modal mengatakan bahwa membuat tolok ukur untuk agen AI sulit karena sebagian besar pekerjaan di server sandbox-nya tidak dibatasi oleh CPU. Karena itu, perusahaan menyusun campuran tugas yang berjalan serentak dan beragam, yang benar-benar dilakukan agen dan proses pembelajaran penguatan pada CPU, termasuk kompilasi, pencarian teks dalam berkas, operasi git, dan emulasi perangkat. Menurut repositori publiknya, tolok ukur tersebut dibuat berdasarkan kumpulan data tugas terminal-bench-2.1, dengan Dockerfile yang diadaptasi agar kompatibel dengan Arm. Suatu pengujian hanya dihitung selesai jika verifikator tugas menyatakan berhasil.

Dalam pengujian serial pada mesin yang tidak sedang dibebani, yang mengukur latensi langsung untuk setiap tugas, Modal mendapati bahwa Vera sering kali lebih cepat daripada prosesor lain yang diuji—Intel GNR, AMD Zen 5, serta AWS Graviton 4 dan 5—tetapi tidak selalu, dan keunggulannya tidak terlalu besar. Penulis unggahan tersebut mengatakan bahwa pada awalnya ia meragukan hasil itu.

Modal melaporkan bahwa hasilnya berbeda saat mesin dibebani. Dalam pengujian throughput, jumlah kontainer yang berjalan bersamaan di mesin ditingkatkan, lalu sebanyak mungkin tugas terverifikasi diselesaikan secara berulang dalam waktu yang ditentukan. Modal mengatakan pengujian awalnya menunjukkan throughput tugas di Vera hingga dua kali lipat dibandingkan mesin GNR x86 yang setara, sementara latensi masing-masing tugas tercatat sama atau lebih rendah daripada di x86. Pada kebanyakan sistem, throughput dan latensi saling mengorbankan ketika kepadatan penempatan meningkat hingga CPU mencapai kapasitas penuh. Namun, menurut Modal, Vera tidak melambat saat pekerjaan menumpuk dan terus menyelesaikan tugas dengan kecepatan semula.

Modal melaporkan bahwa kinerja Vera terus meningkat seiring bertambahnya jumlah CPU logis, sementara prosesor lain yang diuji lebih awal mencapai titik ketika throughput tidak lagi meningkat. Jumlah inti fisik pada mesin yang diuji adalah 128 untuk Intel GNR, 96 untuk Graviton dan mesin virtual GNR, serta 88 untuk Vera. Karena prosesor alternatif lebih awal mencapai titik tersebut, Modal mengatakan hasilnya menunjukkan bahwa Vera mungkin dapat diuji lebih jauh lagi daripada yang dimungkinkan oleh satu node tolok ukur yang tersedia bagi perusahaan.

Perusahaan mengaitkan keunggulan Vera saat menghadapi beban bersamaan dengan bandwidth memorinya yang tinggi. Menurut Modal, hal ini memungkinkan jauh lebih banyak beban kerja kontainer ditempatkan pada setiap inti tanpa pembatasan kinerja CPU. Bagi penjadwal Modal, artinya kepadatan penempatan yang lebih tinggi dan perlindungan terhadap lonjakan yang lebih toleran; bagi pengguna Sandbox, kata perusahaan, artinya skala absolut dan throughput yang lebih tinggi tanpa mengorbankan latensi.

Desain dan Status Produksi Vera

NVIDIA meluncurkan Vera pada 16 Maret 2026 dalam konferensi GTC-nya, dan menyebutnya sebagai prosesor yang dirancang khusus untuk AI agentik dan pembelajaran penguatan. Chip ini memiliki 88 inti Olympus kustom yang dirancang NVIDIA. Setiap inti mampu menjalankan dua tugas melalui fitur yang disebut NVIDIA Spatial Multithreading, serta dilengkapi subsistem memori berdaya rendah generasi kedua berbasis LPDDR5X yang menyediakan bandwidth hingga 1,2 TB/s. NVIDIA mengklaim Vera memberikan hasil dengan efisiensi dua kali lipat dan kecepatan 50% lebih tinggi dibandingkan CPU tradisional.

Saat peluncuran, NVIDIA juga memperkenalkan rak CPU Vera yang mengintegrasikan 256 CPU berpendingin cairan. Menurut NVIDIA, rak ini dapat menopang lebih dari 22.500 lingkungan CPU yang berjalan secara bersamaan, masing-masing beroperasi secara mandiri dengan kinerja penuh. NVIDIA mengatakan Vera telah memasuki produksi penuh dan akan tersedia bagi mitra pada paruh kedua 2026. NVIDIA menyebut Alibaba Cloud, ByteDance, CoreWeave, Lambda, Nebius, Nscale, dan Oracle Cloud Infrastructure sebagai sejumlah penyedia layanan cloud yang berencana menggunakan CPU tersebut.

Modal mengatakan pihaknya berniat bekerja sama erat dengan NVIDIA dan penyedia layanan cloud untuk memperbesar armada Vera seiring berlangsungnya peluncuran.