Η Modal σχεδιάζει την ανάπτυξη του NVIDIA Vera για τα Sandbox, στην πρώτη της μετάβαση σε Arm

Η Modal ανέφερε σε ανάρτηση στο ιστολόγιο της εταιρείας στις 19 Οκτωβρίου 2026 ότι σχεδιάζει να προσθέσει υποστήριξη για τον επεξεργαστή Vera της NVIDIA, που βασίζεται στην αρχιτεκτονική Arm, ώστε να τροφοδοτεί τα Modal Sandboxes. Πρόκειται για την πρώτη απομάκρυνση της εταιρείας από έναν στόλο που αποτελείται αποκλειστικά από συστήματα x86, μετά τη δημοσίευση αποτελεσμάτων συγκριτικών δοκιμών που έδειξαν έως και διπλάσια διεκπεραιωτική ικανότητα εργασιών από ένα αντίστοιχο μηχάνημα x86 υπό φόρτο.

Η NVIDIA παρέδωσε αυτοπροσώπως τον πρώτο διακομιστή CPU Vera της Modal στα γραφεία της εταιρείας στο Σαν Φρανσίσκο, την εβδομάδα πριν από την ανακοίνωση, ανέφερε η Modal. Το Vera είναι ο επεξεργαστής της NVIDIA που είναι συμβατός με Arm. Σχεδιάστηκε για την πλατφόρμα GPU Vera Rubin, αλλά διατίθεται και ως αυτόνομος διακομιστής CPU. Η ενσωμάτωση της Arm στον στόλο θα απαιτούσε αλλαγές σε όλη την υποδομή και το σύστημα κατασκευής εικόνων της Modal, κάτι που η εταιρεία περιέγραψε ως μεγάλη αλλαγή, έπειτα από μακρά περίοδο αποκλειστικής χρήσης μηχανημάτων x86.

Θόρυβος σε περιβάλλον πολλών μισθωτών και δυνατότητα διαχείρισης αιχμών

Η ενορχήστρωση ενός προϊόντος Sandbox προϋποθέτει την ταυτόχρονη εκτέλεση εκατοντάδων κοντέινερ και εικονικών μηχανών σε κάθε διακομιστή νέφους, ενώ η Modal ανέφερε ότι οι συστάδες πολλών μισθωτών που προκύπτουν είναι επιβαρυμένες από θόρυβο. Η χρήση πόρων μπορεί να παρουσιάζει εξαιρετικά απότομες διακυμάνσεις: ένα sandbox μπορεί να παραμένει σχεδόν αδρανές όσο περιμένει ένα γλωσσικό μοντέλο και κατόπιν η χρήση CPU να εκτοξεύεται σε 10 φορές πάνω από τη βασική τιμή, εξαιτίας μιας εγκατάστασης npm ή μιας απαιτητικής εντολής grep. Το προφίλ κάθε φόρτου εργασίας γίνεται γνωστό μόνο κατά την εκτέλεση, οπότε η διαστασιολόγηση των πόρων συχνά βασίζεται σε εκτίμηση. Επιπλέον, η συγκέντρωση διαφορετικών μισθωτών σε μία κοινόχρηστη δεξαμενή υπολογιστικών πόρων δημιουργεί προβλήματα «θορυβώδους γείτονα», όπου η συμπεριφορά ενός πελάτη υποβαθμίζει τις επιδόσεις ενός άλλου.

Αντί να απαιτούνται σταθερές δεσμεύσεις πόρων που να καλύπτουν τη μέγιστη χρήση, τα Modal Sandboxes υποστηρίζουν την προσωρινή αύξηση της χωρητικότητας, επιτρέποντας στους χρήστες να δεσμεύουν εγγυημένη χωρητικότητα για τη χρήση P50 και να βασίζονται στο διαθέσιμο περιθώριο του κεντρικού κόμβου για την απορρόφηση πρόσκαιρων αιχμών. Η Modal ανέφερε ότι αυτή η προσέγγιση έχει εξοικονομήσει στους χρήστες εκατομμύρια δολάρια, αλλά αναγνώρισε ότι αυξάνει την έκθεση στις επιπτώσεις των «θορυβωδών γειτόνων», τις οποίες θα απέτρεπαν διαφορετικά τα αυστηρά όρια.

Η Modal εντόπισε δύο συνηθισμένες χρήσεις των Sandbox: τους πράκτορες παρασκηνίου, αναφέροντας το Ramp Inspect και πράκτορες που εκτελούνται στο Niteshift, καθώς και τις εκτελέσεις ενισχυτικής μάθησης. Τα περισσότερα περιβάλλοντα εκπαίδευσης εξακολουθούν να λειτουργούν συγχρονισμένα, ανέφερε η εταιρεία, επομένως πρέπει να ολοκληρωθούν όλες οι παράλληλες εκτελέσεις εργασιών που βασίζονται στην CPU προτού οι αδρανείς GPU προχωρήσουν στο επόμενο βήμα. Αυτό σημαίνει ότι ο χρόνος που εξοικονομείται στην CPU είναι χρόνος που εξοικονομείται στην GPU. Όσο για τους πράκτορες παρασκηνίου, η εταιρεία ανέφερε ότι η ταχύτερη εκτέλεση οδηγεί σε ταχύτερες απαντήσεις και μικρότερο χρόνο χρήσης CPU, μειώνοντας το κόστος πωληθέντων.

Το σύνολο δοκιμών πρακτόρων Agentless

Για να μετρήσει τις επιδόσεις του Vera, η Modal δημιούργησε και κυκλοφόρησε το σύνολο δοκιμών πρακτόρων Agentless, μια συλλογή 50 λύσεων αναφοράς και επαληθευτών του Terminal-Bench, από την οποία είχαν αφαιρεθεί όλες οι κλήσεις δικτύου, με τα κοντέινερ Docker να έχουν προθερμανθεί και να εκτελούνται ταυτόχρονα. Η Modal ανέφερε ότι είναι δύσκολο να δημιουργηθεί μια συγκριτική δοκιμή για συστήματα πρακτόρων, επειδή το μεγαλύτερο μέρος της εργασίας στους διακομιστές sandbox της δεν βασίζεται στην CPU. Έτσι, συγκέντρωσε ένα σύνολο εργασιών που εκτελούνται ταυτόχρονα και διαφέρουν μεταξύ τους, αποτυπώνοντας όσες πράγματι εκτελούν στην CPU οι πράκτορες και οι διεργασίες ενισχυτικής μάθησης, όπως μεταγλώττιση, αναζήτηση σε αρχεία με grep, λειτουργίες git και εξομοίωση συσκευών. Σύμφωνα με το δημόσιο αποθετήριο, η συγκριτική δοκιμή βασίζεται στο σύνολο δεδομένων εργασιών terminal-bench-2.1, με Dockerfiles προσαρμοσμένα για συμβατότητα με Arm, και μια εκτέλεση θεωρείται ολοκληρωμένη μόνο αν περάσει τον έλεγχο του επαληθευτή εργασιών.

Σε σειριακές δοκιμές σε μηχάνημα χωρίς φόρτο, οι οποίες μετρούν την καθυστέρηση κάθε εργασίας όταν εκτελείται μεμονωμένα, η Modal διαπίστωσε ότι το Vera ήταν συχνά ταχύτερο από τους άλλους επεξεργαστές που δοκιμάστηκαν —Intel GNR, AMD Zen 5 και AWS Graviton 4 και 5—, αλλά όχι πάντα ούτε με ιδιαίτερα μεγάλη διαφορά. Ο συντάκτης της ανάρτησης ανέφερε ότι αρχικά αντιμετώπισε με σκεπτικισμό τα αποτελέσματα.

Υπό φόρτο, ανέφερε η Modal, τα αποτελέσματα διέφεραν. Στη δοκιμή διεκπεραιωτικής ικανότητας αυξάνεται ο αριθμός των ταυτόχρονων κοντέινερ στο μηχάνημα και επαναλαμβάνονται όσο το δυνατόν περισσότερες επαληθευμένες ολοκληρώσεις εργασιών μέσα σε καθορισμένο χρονικό διάστημα. Η Modal ανέφερε ότι οι αρχικές δοκιμές της έδειξαν έως και διπλάσια διεκπεραιωτική ικανότητα εργασιών στο Vera σε σύγκριση με ένα αντίστοιχο μηχάνημα x86 GNR, ενώ η καθυστέρηση κάθε επιμέρους εργασίας ήταν ίση ή μικρότερη από εκείνη στο x86. Στα περισσότερα συστήματα, όσο αυξάνεται η πυκνότητα τοποθέτησης εργασιών, υπάρχει ανταλλαγή μεταξύ διεκπεραιωτικής ικανότητας και καθυστέρησης, μέχρι να κορεστεί η CPU. Η Modal, όμως, ανέφερε ότι το Vera δεν επιβράδυνε καθώς συσσωρεύονταν εργασίες και συνέχιζε να τις ολοκληρώνει με τον αρχικό του ρυθμό.

Η Modal ανέφερε ότι οι επιδόσεις του Vera συνέχιζαν να βελτιώνονται όσο αυξανόταν ο αριθμός των λογικών CPU, ενώ οι άλλοι επεξεργαστές που δοκιμάστηκαν έφταναν γρήγορα σε πλατό διεκπεραιωτικής ικανότητας. Τα μηχανήματα της δοκιμής είχαν 128 φυσικούς πυρήνες στο Intel GNR, 96 στο Graviton και στην εικονική μηχανή GNR, και 88 στο Vera. Καθώς οι εναλλακτικές λύσεις έφταναν γρήγορα σε πλατό, η Modal ανέφερε ότι τα αποτελέσματα υποδηλώνουν πως θα μπορούσε να πιέσει το Vera ακόμη περισσότερο από ό,τι επέτρεπε ο μοναδικός κόμβος συγκριτικών δοκιμών στον οποίο είχε πρόσβαση.

Η εταιρεία αποδίδει το πλεονέκτημα του Vera υπό ανταγωνισμό για πόρους στο υψηλό εύρος ζώνης μνήμης του, το οποίο, όπως ανέφερε, επιτρέπει να εκτελούνται σημαντικά περισσότερα φορτία εργασίας κοντέινερ ανά πυρήνα χωρίς περιορισμό της ταχύτητας της CPU. Για τον χρονοπρογραμματιστή της Modal, αυτό σημαίνει μεγαλύτερη πυκνότητα τοποθέτησης εργασιών και μεγαλύτερη ανοχή στις αιχμές· για τους χρήστες των Sandbox, η εταιρεία ανέφερε ότι σημαίνει υψηλότερη απόλυτη κλίμακα και μεγαλύτερη διεκπεραιωτική ικανότητα χωρίς συμβιβασμούς στην καθυστέρηση.

Σχεδιασμός και κατάσταση παραγωγής του Vera

Η NVIDIA κυκλοφόρησε τον Vera στις 16 Μαρτίου 2026, στο συνέδριο GTC, παρουσιάζοντάς τον ως επεξεργαστή ειδικά σχεδιασμένο για τεχνητή νοημοσύνη με αυτόνομους πράκτορες και ενισχυτική μάθηση. Το τσιπ διαθέτει 88 προσαρμοσμένους πυρήνες Olympus, σχεδιασμένους από την NVIDIA, καθένας από τους οποίους μπορεί να εκτελεί δύο εργασίες μέσω μιας λειτουργίας που η NVIDIA ονομάζει Spatial Multithreading, καθώς και υποσύστημα μνήμης χαμηλής κατανάλωσης δεύτερης γενιάς, βασισμένο σε LPDDR5X, με εύρος ζώνης έως 1,2 TB/s. Η NVIDIA ισχυρίζεται ότι ο Vera προσφέρει διπλάσια αποδοτικότητα και ταχύτητα κατά 50% μεγαλύτερη από τους παραδοσιακούς CPU.

Κατά την παρουσίαση, η NVIDIA παρουσίασε επίσης ένα rack CPU Vera, το οποίο ενσωματώνει 256 υγρόψυκτους CPU και, σύμφωνα με την εταιρεία, μπορεί να υποστηρίξει περισσότερα από 22.500 ταυτόχρονα περιβάλλοντα CPU, καθένα από τα οποία εκτελείται ανεξάρτητα με πλήρεις επιδόσεις. Η NVIDIA δήλωσε ότι ο Vera βρίσκεται σε πλήρη παραγωγή και ότι θα είναι διαθέσιμος στους συνεργάτες το δεύτερο εξάμηνο του 2026. Ανάμεσα στους παρόχους cloud που σχεδιάζουν να αναπτύξουν τον CPU είναι οι Alibaba Cloud, ByteDance, CoreWeave, Lambda, Nebius, Nscale και Oracle Cloud Infrastructure.

Η Modal δήλωσε ότι σκοπεύει να συνεργαστεί στενά με την NVIDIA και τους παρόχους cloud, ώστε να επεκτείνει τον στόλο Vera καθώς προχωρά η διάθεσή του.