Modal планує розгорнути NVIDIA Vera для пісочниць — перший крок до Arm

19 жовтня 2026 року Modal повідомила в дописі в блозі компанії, що планує запровадити підтримку Arm-процесора NVIDIA Vera для роботи Modal Sandboxes. Це стане першим відступом компанії від використання виключно x86-систем. Опубліковані Modal результати тестування показали, що під навантаженням Vera забезпечує до удвічі вищу пропускну здатність за кількістю виконаних завдань, ніж еквівалентна машина x86.

За словами Modal, NVIDIA особисто доставила перший сервер компанії з процесором Vera до її офісу в Сан-Франциско за тиждень до оголошення. Vera — процесор NVIDIA, сумісний з Arm, створений для графічної платформи Vera Rubin, але доступний і як окремий сервер із центральним процесором. Щоб додати Arm до парку систем, довелося б змінити інфраструктуру Modal і систему збирання образів. Компанія назвала це масштабною зміною після тривалої історії використання виключно машин x86.

Шум у багатокористувацькому середовищі та резерв для пікових навантажень

Оркестрація продукту Sandbox передбачає одночасну роботу сотень контейнерів і віртуальних машин на кожному хмарному хості. За словами Modal, у таких кластерах із багатьма користувачами виникають перешкоди через взаємний вплив навантажень. Використання ресурсів може бути вкрай нерівномірним: пісочниця здатна майже простоювати, очікуючи на мовну модель, а потім споживання процесорного часу може зрости в 10 разів порівняно з базовим рівнем через встановлення npm-пакета або ресурсомістку команду grep. Характер кожного навантаження стає відомий лише під час виконання, тому обсяг потрібних ресурсів часто доводиться визначати навмання. А розміщення різнорідних користувачів в одному обчислювальному пулі створює проблему «шумного сусіда»: дії одного клієнта погіршують продуктивність іншого.

Замість того щоб вимагати фіксованих резервів, розрахованих на максимальне використання ресурсів, Modal Sandboxes підтримують роботу з піковими навантаженнями. Це дає змогу користувачам резервувати гарантовану потужність для свого рівня використання P50 і розраховувати, що запас ресурсів на вузлі хоста покриє тимчасові сплески. За словами Modal, такий підхід заощадив користувачам мільйони доларів, однак компанія визнала, що він підвищує ризик впливу «шумних сусідів», якому суворі обмеження зазвичай запобігають.

Modal назвала два поширені сценарії використання Sandbox: фонові агенти, зокрема Ramp Inspect та агенти, що працюють на Niteshift, а також розгортання для навчання з підкріпленням. За словами компанії, більшість систем навчання досі працюють синхронно, тому, перш ніж неактивні графічні процесори зможуть перейти до наступного кроку, мають завершитися всі паралельні розгортання, обмежені продуктивністю центрального процесора. Отже, заощаджений час процесора означає заощаджений час графічного процесора. Для фонових агентів, зазначила компанія, швидше виконання означає швидші відповіді та менший час використання процесора, а отже — нижчу собівартість реалізованих товарів.

Бенчмарк Agentless Agent Bench

Щоб оцінити Vera, Modal створила й опублікувала Agentless Agent Bench — набір із 50 еталонних розв’язань і засобів перевірки для Terminal-Bench, з якого вилучено всі мережеві виклики й завдання якого попередньо запущені в паралельних контейнерах Docker. Modal зазначила, що створити бенчмарк для агентів складно, адже більшість роботи на серверах-пісочницях не обмежена продуктивністю центрального процесора. Тому компанія зібрала паралельний і різнорідний набір завдань, які агенти й процеси навчання з підкріпленням фактично виконують на центральному процесорі, зокрема компіляцію, пошук у файлах, операції Git та емуляцію пристроїв. Згідно з відкритим репозиторієм, бенчмарк побудовано на наборі даних завдань terminal-bench-2.1, а файли Dockerfile адаптовано для сумісності з Arm. Запуск вважається завершеним лише тоді, коли завдання успішно проходить перевірку.

Під час послідовного тестування на ненавантаженій машині, яке вимірює затримку виконання окремого завдання, Modal виявила, що Vera часто, але не завжди, випереджала інші протестовані процесори — Intel GNR, AMD Zen 5, а також AWS Graviton 4 і 5. Перевага була не надто значною, і автор допису зізнався, що спочатку скептично поставився до результатів.

За даними Modal, під навантаженням результати відрізнялися. У тесті пропускної здатності поступово збільшують кількість одночасно запущених на машині контейнерів і за фіксований час виконують якомога більше завдань, що пройшли перевірку. Modal повідомила, що на ранніх етапах тестування Vera забезпечувала до удвічі вищу пропускну здатність за кількістю завдань, ніж еквівалентна машина x86 GNR, тоді як затримка виконання окремих завдань була такою самою або меншою, ніж на x86. У більшості систем зі зростанням щільності розміщення завдань виникає компроміс між пропускною здатністю та затримкою, аж доки процесор не досягає граничного навантаження. Однак, за словами Modal, Vera не сповільнювалася зі збільшенням кількості завдань і продовжувала виконувати їх у початковому темпі.

Modal повідомила, що зі збільшенням кількості логічних процесорів продуктивність Vera продовжувала зростати, тоді як інші протестовані процесори швидко досягали плато пропускної здатності. Кількість фізичних ядер у тестованих системах становила 128 для Intel GNR, 96 для Graviton і віртуальної машини GNR та 88 для Vera. Оскільки альтернативні процесори швидко досягали плато, результати, за словами Modal, свідчать про те, що Vera можна було б випробувати ще інтенсивніше, ніж на єдиному доступному компанії вузлі для бенчмарку.

Компанія пояснює перевагу Vera в умовах конкуренції за ресурси високою пропускною здатністю пам’яті, яка, за її словами, дає змогу розміщувати на кожному ядрі значно більше контейнеризованих навантажень без обмеження продуктивності процесора. Для планувальника Modal це означає вищу щільність розміщення завдань і більший запас для захисту від пікових навантажень; для користувачів Sandbox, зазначила компанія, — більше абсолютне масштабування та вища пропускна здатність без збільшення затримки.

Архітектура Vera та статус її виробництва

NVIDIA представила Vera 16 березня 2026 року на конференції GTC, описавши її як процесор, спеціально створений для агентного ШІ та навчання з підкріпленням. Чип має 88 спеціально розроблених NVIDIA ядер Olympus, кожне з яких може виконувати два завдання завдяки технології, яку NVIDIA називає Spatial Multithreading, а також підсистему пам’яті другого покоління з низьким енергоспоживанням на базі LPDDR5X, що забезпечує пропускну здатність до 1,2 ТБ/с. За заявою NVIDIA, Vera забезпечує вдвічі вищу ефективність і працює на 50% швидше за традиційні центральні процесори.

Під час запуску NVIDIA також представила стійку з процесорами Vera, що об’єднує 256 процесорів із рідинним охолодженням. За словами компанії, вона здатна підтримувати роботу понад 22 500 одночасних середовищ ЦП, кожне з яких працює незалежно з повною продуктивністю. NVIDIA повідомила, що Vera вже запущена в серійне виробництво, а партнерам стане доступна в другій половині 2026 року. Серед хмарних провайдерів, які планують розгорнути цей процесор, компанія назвала Alibaba Cloud, ByteDance, CoreWeave, Lambda, Nebius, Nscale та Oracle Cloud Infrastructure.

Modal повідомила, що має намір тісно співпрацювати з NVIDIA та хмарними провайдерами, щоб нарощувати парк Vera в міру розгортання системи.