Modal prévoit de déployer NVIDIA Vera pour ses environnements Sandbox, une première incursion dans l’architecture Arm

Dans un article publié sur son blog le 19 octobre 2026, Modal a déclaré prévoir la prise en charge du processeur Vera de NVIDIA, basé sur Arm, pour faire fonctionner Modal Sandboxes. Il s’agirait de la première rupture de l’entreprise avec un parc exclusivement x86, après la publication de résultats de tests comparatifs montrant que, en charge, le débit de tâches pouvait atteindre le double de celui d’une machine x86 équivalente.

NVIDIA a livré en personne le premier serveur équipé d’un processeur Vera de Modal au bureau de l’entreprise à San Francisco, la semaine précédant l’annonce, a déclaré Modal. Vera est le processeur de NVIDIA compatible avec Arm, conçu pour la plateforme de GPU Vera Rubin, mais également proposé sous forme de serveur autonome équipé d’un processeur. L’intégration d’Arm au parc nécessiterait des changements dans l’ensemble de l’infrastructure de Modal et de son système de création d’images, une évolution majeure après une longue période d’utilisation exclusive de machines x86, a indiqué l’entreprise.

Bruit lié à la colocation et capacité à absorber les pics

L’orchestration d’un produit Sandbox consiste à exécuter des centaines de conteneurs et de machines virtuelles simultanément sur chaque hôte cloud ; Modal a indiqué que les grappes multi-tenant qui en résultent sont bruyantes. L’utilisation des ressources peut connaître des pics extrêmes : un environnement Sandbox peut rester presque inactif en attendant un modèle de langage, puis voir l’utilisation du processeur grimper à 10 fois son niveau de référence à cause d’une installation npm ou d’une commande grep coûteuse. Le profil de chaque charge de travail n’est connu qu’à l’exécution, si bien que le dimensionnement des ressources relève souvent de l’estimation. De plus, le regroupement de locataires aux profils hétérogènes dans un même pool de calcul crée des problèmes de voisin bruyant : le comportement d’un client dégrade alors les performances d’un autre.

Plutôt que d’imposer des réservations fixes dimensionnées pour couvrir l’utilisation maximale, Modal Sandboxes permet de dépasser la capacité réservée. Les utilisateurs peuvent ainsi réserver une capacité garantie correspondant à leur utilisation au 50e percentile (P50) et compter sur la marge disponible au sein du nœud hôte pour absorber les pics temporaires. Modal a indiqué que cette approche avait permis à ses utilisateurs d’économiser des millions de dollars, tout en reconnaissant qu’elle les expose davantage aux effets de voisin bruyant, que des limites strictes permettraient autrement d’éviter.

Modal a relevé deux cas d’utilisation fréquents de Sandbox : les agents d’arrière-plan, notamment Ramp Inspect et les agents exécutés sur Niteshift, ainsi que les cycles d’exécution en apprentissage par renforcement. La plupart des configurations d’entraînement sont encore synchrones, a indiqué l’entreprise : tous les cycles d’exécution sollicitant le processeur doivent donc être terminés avant que les GPU inactifs puissent passer à l’étape suivante. Le temps gagné sur le processeur est ainsi du temps gagné sur le GPU. Pour les agents d’arrière-plan, une exécution plus rapide signifie, selon l’entreprise, des réponses plus rapides et une durée d’utilisation moindre du processeur, ce qui réduit le coût des produits vendus.

Le banc d’essai d’agents sans agent

Pour évaluer Vera, Modal a créé et publié un banc d’essai d’agents sans agent, composé de 50 solutions de référence et vérificateurs Terminal-Bench, dont tous les appels réseau ont été supprimés, préchauffés dans des conteneurs Docker exécutés simultanément. Modal a expliqué qu’il était difficile de créer un banc d’essai pour les agents, car la majeure partie du travail effectué sur ses serveurs Sandbox ne sollicite pas le processeur. L’entreprise a donc constitué un ensemble de tâches hétérogènes exécutées simultanément, correspondant aux opérations que les agents et les processus d’apprentissage par renforcement effectuent réellement sur le processeur, notamment la compilation, la recherche dans les fichiers, les opérations Git et l’émulation de périphériques. Selon le dépôt public, le banc d’essai repose sur le jeu de données de tâches terminal-bench-2.1, avec des fichiers Docker adaptés à la compatibilité avec Arm ; une exécution n’est considérée comme terminée que si le vérificateur de la tâche la valide.

Lors de tests séquentiels sur une machine non chargée, qui mesurent la latence directe de chaque tâche, Modal a constaté que Vera était souvent plus rapide que les autres processeurs testés — Intel GNR, AMD Zen 5, ainsi qu’AWS Graviton 4 et 5 —, mais pas toujours, et avec une marge rarement importante. L’auteur de l’article a indiqué avoir d’abord été sceptique quant aux résultats.

Modal a rapporté que les résultats divergeaient en situation de charge. Le test de débit augmente le nombre de conteneurs exécutés simultanément sur la machine et répète autant de tâches vérifiées que possible dans un délai fixe. Selon l’entreprise, ses premiers tests comparatifs ont montré que Vera pouvait atteindre jusqu’au double du débit de tâches d’une machine GNR x86 équivalente, tandis que la latence de chaque tâche était égale ou inférieure à celle mesurée sur x86. Dans la plupart des systèmes, le débit et la latence s’opposent lorsque la densité de regroupement augmente, jusqu’à saturation du processeur. Modal a toutefois indiqué que Vera ne ralentissait pas à mesure que les tâches s’accumulaient et continuait de les terminer à son rythme initial.

Modal a indiqué que les performances de Vera continuaient de s’améliorer à mesure que le nombre de processeurs logiques augmentait, tandis que les autres processeurs testés atteignaient rapidement un plateau de débit. Les machines testées comptaient respectivement 128 cœurs physiques pour Intel GNR, 96 pour Graviton et la machine virtuelle GNR, et 88 pour Vera. Les autres solutions atteignant rapidement leur plateau, Modal estime que ses résultats indiquent qu’elle pourrait pousser Vera encore plus loin que le nœud de test unique auquel elle avait accès.

L’entreprise attribue l’avantage de Vera en situation de forte contention à sa bande passante mémoire élevée, qui permet, selon elle, de regrouper beaucoup plus de charges de travail en conteneurs sur chaque cœur sans limitation de la fréquence du processeur. Pour l’ordonnanceur de Modal, cela se traduit par une densité de regroupement supérieure et une meilleure tolérance aux pics ; pour les utilisateurs de Sandbox, l’entreprise affirme que cela permet d’atteindre une échelle et un débit absolus plus élevés sans sacrifier la latence.

Conception et état de production de Vera

NVIDIA a lancé Vera le 16 mars 2026 lors de sa conférence GTC, le présentant comme un processeur spécialement conçu pour l’IA agentique et l’apprentissage par renforcement. La puce est équipée de 88 cœurs Olympus personnalisés conçus par NVIDIA, chacun pouvant exécuter deux tâches grâce à une fonctionnalité que NVIDIA appelle Spatial Multithreading, ainsi que d’un sous-système mémoire de deuxième génération à faible consommation, basé sur LPDDR5X, qui offre une bande passante pouvant atteindre 1,2 To/s. NVIDIA affirme que Vera fournit des résultats avec une efficacité deux fois supérieure et une vitesse accrue de 50 % par rapport aux processeurs traditionnels.

Lors du lancement, NVIDIA a également présenté une baie de processeurs Vera intégrant 256 processeurs refroidis par liquide. Selon l’entreprise, celle-ci peut prendre en charge plus de 22 500 environnements CPU simultanés, chacun fonctionnant indépendamment à pleine performance. NVIDIA a indiqué que Vera était en pleine production et que ses partenaires pourraient y accéder au second semestre 2026. L’entreprise a cité Alibaba Cloud, ByteDance, CoreWeave, Lambda, Nebius, Nscale et Oracle Cloud Infrastructure parmi les fournisseurs de services cloud prévoyant de déployer le processeur.

Modal a déclaré vouloir collaborer étroitement avec NVIDIA et des fournisseurs de services cloud afin d’augmenter la taille de son parc Vera au fil du déploiement.