Modal планирует внедрить NVIDIA Vera в песочницы — первый шаг компании в сторону Arm

19 октября 2026 года Modal сообщила в публикации в блоге компании, что планирует внедрить поддержку процессора NVIDIA Vera на базе Arm для работы Modal Sandboxes. Это станет первым отходом компании от парка, полностью состоящего из машин x86. Согласно опубликованным Modal результатам тестов, под нагрузкой производительность по числу выполненных задач может быть вдвое выше, чем у сопоставимой машины x86.

Как сообщила Modal, за неделю до объявления NVIDIA лично доставила первый сервер Modal с процессором Vera в офис компании в Сан-Франциско. Vera — процессор NVIDIA с поддержкой Arm, разработанный для графической платформы Vera Rubin, но также доступный в виде отдельного сервера с центральным процессором. Переход на Arm потребовал бы изменений во всей инфраструктуре Modal и системе сборки образов. Компания назвала это масштабным изменением после долгих лет работы исключительно на машинах x86.

Проблемы многопользовательской среды и пиковая нагрузка

Для работы продукта Sandbox требуется запускать сотни одновременно работающих контейнеров и виртуальных машин на каждом облачном хосте. По словам Modal, в возникающих в результате кластерах с несколькими арендаторами наблюдаются помехи. Использование ресурсов может быть крайне неравномерным: песочница может почти бездействовать, ожидая ответа языковой модели, а затем загрузка ЦП может подскочить в 10 раз выше базового уровня из-за установки пакета npm или ресурсоёмкой команды grep. Характер нагрузки становится известен только во время выполнения, поэтому объём ресурсов часто приходится определять на глаз. Кроме того, размещение в одном вычислительном пуле арендаторов с разными потребностями создаёт проблему «шумного соседа»: действия одного клиента ухудшают производительность другого.

Вместо того чтобы требовать фиксированного резерва ресурсов, рассчитанного на максимальное потребление, Modal Sandboxes поддерживает пиковую нагрузку: пользователи могут зарезервировать гарантированную мощность для своего уровня потребления P50 и рассчитывать, что резерв внутри хост-узла покроет временные всплески. По словам Modal, такой подход сэкономил пользователям миллионы долларов, однако компания признала, что он повышает подверженность эффекту «шумного соседа», которого в противном случае позволили бы избежать строгие ограничения.

Modal выделила два распространённых варианта использования песочниц: фоновые агенты, в частности Ramp Inspect и агенты, работающие на Niteshift, а также циклы обучения с подкреплением. По словам компании, большинство систем обучения по-прежнему работают синхронно, поэтому весь набор параллельно запущенных циклов с нагрузкой на ЦП должен завершиться, прежде чем простаивающие графические процессоры смогут перейти к следующему этапу. Это означает, что экономия времени на ЦП приводит к экономии времени на графическом процессоре. Для фоновых агентов, как отметила компания, более быстрое выполнение задач означает более быстрые ответы и меньшее время использования ЦП, что снижает себестоимость.

Тестовый набор для оценки агентов без агентной оболочки

Чтобы оценить Vera, Modal создала и выпустила тестовый набор для оценки агентов без агентной оболочки — коллекцию из 50 эталонных решений и средств проверки для Terminal-Bench, в которой удалены все сетевые вызовы, а контейнеры Docker одновременно предварительно прогреты. Modal отметила, что создать тест для агентных систем сложно, поскольку большая часть работы на серверах-песочницах не связана с нагрузкой на ЦП. Поэтому компания составила параллельно выполняемую неоднородную подборку задач, которые агенты и процессы обучения с подкреплением действительно выполняют на ЦП, включая компиляцию, поиск по файлам, операции Git и эмуляцию устройств. Согласно общедоступному репозиторию, тестовый набор основан на наборе данных задач terminal-bench-2.1, для которого Docker-файлы адаптированы для совместимости с Arm. Задача засчитывается как выполненная, только если её проверка пройдена.

В последовательных тестах на машине без нагрузки, измеряющих задержку выполнения отдельных задач без параллельной нагрузки, Modal обнаружила, что Vera часто, но не всегда, превосходила остальные протестированные процессоры — Intel GNR, AMD Zen 5, а также AWS Graviton 4 и 5. При этом преимущество не было особенно значительным, а автор публикации признался, что поначалу отнёсся к результатам скептически.

По данным Modal, под нагрузкой результаты различались. В тесте пропускной способности постепенно увеличивают число одновременно работающих контейнеров на машине и за фиксированное время выполняют как можно больше проверенных задач. Modal сообщила, что первые тесты показали: пропускная способность Vera по числу задач может быть вдвое выше, чем у сопоставимой машины x86 GNR, тогда как задержка выполнения отдельных задач была не выше, чем на x86. В большинстве систем с ростом плотности размещения возникает компромисс между пропускной способностью и задержкой, пока ЦП не достигает предельной загрузки. Однако, по словам Modal, Vera не замедлялась по мере накопления заданий и продолжала выполнять задачи с исходной скоростью.

Modal сообщила, что производительность Vera продолжала расти с увеличением числа логических процессоров, тогда как у остальных протестированных процессоров пропускная способность быстро выходила на плато. Число физических ядер в протестированных машинах составляло 128 у Intel GNR, 96 у Graviton и виртуальной машины GNR и 88 у Vera. Поскольку альтернативные процессоры быстро достигли плато, Modal считает, что Vera можно было бы нагрузить ещё сильнее, чем позволил единственный доступный компании тестовый узел.

Компания связывает преимущество Vera при конкурирующей нагрузке с высокой пропускной способностью памяти: по её словам, это позволяет размещать на каждом ядре значительно больше контейнерных задач без снижения частоты ЦП. Для планировщика Modal это означает более высокую плотность размещения и больший запас для защиты от пиковых нагрузок; для пользователей песочниц, как отметила компания, — более высокие абсолютные показатели масштаба и пропускной способности без увеличения задержки.

Конструкция Vera и статус её производства

NVIDIA представила Vera 16 марта 2026 года на конференции GTC, охарактеризовав её как процессор, специально разработанный для агентного ИИ и обучения с подкреплением. В чипе установлено 88 специальных ядер Olympus, разработанных NVIDIA. Каждое из них может выполнять две задачи благодаря технологии, которую NVIDIA называет Spatial Multithreading. Кроме того, чип оснащён подсистемой памяти второго поколения с низким энергопотреблением на базе LPDDR5X, обеспечивающей пропускную способность до 1,2 ТБ/с. По заявлению NVIDIA, Vera обеспечивает вдвое большую эффективность и работает на 50% быстрее традиционных процессоров.

При запуске NVIDIA также представила серверную стойку Vera CPU, объединяющую 256 процессоров с жидкостным охлаждением. По словам компании, она способна поддерживать более 22 500 одновременно работающих вычислительных сред, каждая из которых функционирует независимо и с максимальной производительностью. NVIDIA сообщила, что Vera уже запущена в массовое производство, а партнёры получат доступ к ней во второй половине 2026 года. Среди облачных провайдеров, планирующих внедрить этот процессор, компания назвала Alibaba Cloud, ByteDance, CoreWeave, Lambda, Nebius, Nscale и Oracle Cloud Infrastructure.

Modal заявила о намерении тесно сотрудничать с NVIDIA и облачными провайдерами, чтобы расширять парк систем Vera по мере развёртывания.