Modal ने सैंडबॉक्स के लिए NVIDIA Vera की शुरुआत की योजना बनाई, Arm की दिशा में पहला कदम

Modal ने 19 अक्टूबर 2026 को कंपनी की एक ब्लॉग पोस्ट में कहा कि वह Modal Sandboxes को शक्ति देने के लिए NVIDIA के Arm-आधारित Vera CPU का समर्थन शुरू करने की योजना बना रही है। कंपनी के प्रकाशित बेंचमार्क नतीजों में दिखा कि लोड के तहत यह समकक्ष x86 मशीन की तुलना में कार्यों का थ्रूपुट दोगुने तक पहुंचा सकता है। यह कंपनी के पूरे बेड़े को x86 पर चलाने की परंपरा से पहला बदलाव होगा।

Modal ने बताया कि घोषणा से एक सप्ताह पहले NVIDIA ने Modal का पहला Vera CPU सर्वर सैन फ़्रांसिस्को स्थित कंपनी के कार्यालय में खुद पहुंचाया था। Vera, NVIDIA का Arm-संगत प्रोसेसर है। इसे Vera Rubin GPU प्लेटफ़ॉर्म के लिए बनाया गया है, लेकिन यह स्टैंडअलोन CPU सर्वर के रूप में भी उपलब्ध है। बेड़े में Arm को शामिल करने के लिए Modal के बुनियादी ढांचे और इमेज-बिल्ड सिस्टम में बदलाव करने होंगे। कंपनी ने कहा कि केवल x86 मशीनें चलाने के लंबे इतिहास के बाद यह एक बड़ा बदलाव होगा।

मल्टी-टेनेंट वातावरण का शोर और अचानक बढ़ते लोड को संभालने की क्षमता

Sandbox उत्पाद को व्यवस्थित ढंग से चलाने के लिए हर क्लाउड होस्ट पर एक साथ सैकड़ों कंटेनर और वर्चुअल मशीनें चलानी पड़ती हैं। Modal के मुताबिक, इससे बनने वाले मल्टी-टेनेंट क्लस्टर में संसाधनों का उपयोग अप्रत्याशित और अस्थिर रहता है। संसाधनों की खपत में अचानक बड़े उतार-चढ़ाव आ सकते हैं: कोई सैंडबॉक्स भाषा मॉडल के जवाब का इंतज़ार करते हुए लगभग निष्क्रिय रह सकता है, और फिर npm इंस्टॉल या भारी grep कमांड के कारण CPU का उपयोग सामान्य स्तर से 10 गुना बढ़ सकता है। हर कार्यभार का स्वरूप रनटाइम पर ही पता चलता है, इसलिए संसाधनों का आकार तय करना अक्सर एक अनुमान होता है। एक ही कंप्यूट पूल में अलग-अलग तरह के ग्राहकों के कार्यभार रखने से ‘पड़ोसी ग्राहक’ की समस्या भी पैदा होती है, जिसमें एक ग्राहक की गतिविधि दूसरे के प्रदर्शन को घटा देती है।

अधिकतम उपयोग के हिसाब से तय स्थिर आरक्षण अनिवार्य करने के बजाय, Modal Sandboxes में बर्स्ट क्षमता उपलब्ध है। इससे उपयोगकर्ता अपने P50 उपयोग के लिए सुनिश्चित क्षमता आरक्षित कर सकते हैं और भरोसा रख सकते हैं कि होस्ट नोड में उपलब्ध अतिरिक्त गुंजाइश अस्थायी उछाल को संभाल लेगी। Modal के अनुसार, इस तरीके से उपयोगकर्ताओं ने लाखों डॉलर बचाए हैं। हालांकि, कंपनी ने माना कि इससे उन प्रभावों का जोखिम बढ़ता है जिन्हें सख्त सीमाएं लगाने पर टाला जा सकता है।

Modal ने Sandbox के दो आम उपयोग बताए: बैकग्राउंड एजेंट, जिनके उदाहरण के तौर पर कंपनी ने Ramp Inspect और Niteshift पर चलने वाले एजेंटों का उल्लेख किया; और रीइन्फोर्समेंट लर्निंग के रोलआउट। कंपनी के अनुसार, प्रशिक्षण की अधिकतर व्यवस्थाएं अब भी सिंक्रोनस हैं। इसलिए CPU पर निर्भर सभी समानांतर रोलआउट पूरे होने के बाद ही निष्क्रिय GPU अगले चरण पर जा सकते हैं; यानी CPU पर बचाया गया समय GPU पर भी बचता है। कंपनी ने कहा कि बैकग्राउंड एजेंटों के लिए तेज़ निष्पादन का मतलब है जल्दी जवाब और CPU का कम समय तक उपयोग, जिससे बेची गई वस्तुओं की लागत घटती है।

Agentless Agent Bench

Vera का प्रदर्शन मापने के लिए Modal ने Agentless Agent Bench बनाया और जारी किया। इसमें Terminal-Bench के 50 ऑरेकल समाधान और सत्यापनकर्ता शामिल हैं; सभी नेटवर्क कॉल हटा दिए गए हैं और इन्हें एक साथ चलने वाले Docker कंटेनरों में पहले से तैयार रखा गया है। Modal ने कहा कि एजेंट-आधारित बेंचमार्क बनाना कठिन है, क्योंकि उसके सैंडबॉक्स सर्वरों पर होने वाले अधिकांश काम CPU पर निर्भर नहीं होते। इसलिए कंपनी ने उन कार्यों का एक साथ चलने वाला, विविध मिश्रण तैयार किया जिन्हें एजेंट और रीइन्फोर्समेंट-लर्निंग प्रक्रियाएं वास्तव में CPU पर करते हैं—जैसे कोड संकलित करना, फ़ाइलों में grep से खोज करना, git संचालन और डिवाइस का अनुकरण। सार्वजनिक रिपॉज़िटरी के अनुसार, यह बेंचमार्क terminal-bench-2.1 कार्य डेटासेट पर आधारित है और इसमें Arm के अनुकूल बनाए गए Dockerfile शामिल हैं। किसी कार्य को तभी पूरा माना जाता है जब उसका सत्यापनकर्ता सफल हो।

बिना लोड वाली मशीन पर क्रमिक परीक्षणों में—जो हर कार्य की सीधी विलंबता मापते हैं—Modal ने पाया कि Vera अक्सर परीक्षण किए गए अन्य प्रोसेसरों, Intel GNR, AMD Zen 5 और AWS Graviton 4 तथा 5, से तेज़ था; लेकिन हमेशा नहीं, और अंतर भी बहुत बड़ा नहीं था। पोस्ट के लेखक ने बताया कि शुरुआत में उन्हें इन नतीजों पर संदेह हुआ था।

Modal के मुताबिक, लोड के तहत नतीजे अलग-अलग हो गए। थ्रूपुट परीक्षण में मशीन पर एक साथ चलने वाले कंटेनरों की संख्या बढ़ाई जाती है और तय समय में जितने संभव हों, उतने सत्यापित कार्य पूरे किए जाते हैं। Modal ने कहा कि शुरुआती बेंचमार्क परीक्षणों में Vera ने समकक्ष x86 GNR मशीन की तुलना में कार्यों का थ्रूपुट दोगुने तक दिया, जबकि अलग-अलग कार्यों की विलंबता x86 के बराबर या उससे कम रही। अधिकांश प्रणालियों में, मशीन पर कार्यों का घनत्व बढ़ने के साथ थ्रूपुट और विलंबता के बीच समझौता करना पड़ता है, जब तक कि CPU अपनी अधिकतम क्षमता तक न पहुंच जाए। लेकिन Modal के अनुसार, काम बढ़ने पर Vera की गति कम नहीं हुई और वह शुरू की रफ्तार से ही कार्य पूरे करता रहा।

Modal ने बताया कि लॉजिकल CPU की संख्या बढ़ने पर Vera का प्रदर्शन लगातार बेहतर होता गया, जबकि परीक्षण किए गए अन्य प्रोसेसरों का थ्रूपुट जल्द ही एक स्तर पर अटक गया। परीक्षण की गई मशीनों में भौतिक कोर की संख्या Intel GNR के लिए 128, Graviton और GNR वर्चुअल मशीन के लिए 96, और Vera के लिए 88 थी। चूंकि दूसरे विकल्पों का प्रदर्शन जल्दी ही ठहर गया, Modal के मुताबिक नतीजे संकेत देते हैं कि वह Vera को उपलब्ध एकमात्र बेंचमार्क नोड से भी आगे बढ़ाकर परख सकती थी।

कंपनी Vera के प्रतिस्पर्धी लोड के दौरान बेहतर प्रदर्शन का श्रेय उसकी उच्च मेमोरी बैंडविड्थ को देती है। Modal के अनुसार, इससे CPU की गति सीमित किए बिना हर कोर पर कहीं अधिक कंटेनर कार्यभार चलाए जा सकते हैं। Modal के शेड्यूलर के लिए इसका मतलब है अधिक कार्यभार घनत्व और अचानक बढ़े लोड को संभालने की बेहतर गुंजाइश। कंपनी ने कहा कि Sandbox उपयोगकर्ताओं को इससे विलंबता घटाए बिना अधिक कुल क्षमता और थ्रूपुट मिलता है।

Vera की डिज़ाइन और उत्पादन की स्थिति

NVIDIA ने अपने GTC सम्मेलन में 16 मार्च 2026 को Vera लॉन्च किया और इसे एजेंटिक AI तथा सुदृढ़ीकरण अधिगम के लिए विशेष रूप से बनाया गया प्रोसेसर बताया। इस चिप में NVIDIA द्वारा डिज़ाइन किए गए 88 कस्टम Olympus कोर हैं। NVIDIA की Spatial Multithreading नामक सुविधा के ज़रिए हर कोर दो कार्य चला सकता है। इसमें LPDDR5X पर आधारित दूसरी पीढ़ी का कम बिजली खपत करने वाला मेमोरी सबसिस्टम भी है, जो 1.2 TB/s तक की बैंडविड्थ देता है। NVIDIA का दावा है कि Vera पारंपरिक CPUs की तुलना में दोगुनी दक्षता के साथ और 50% अधिक तेज़ी से परिणाम देता है।

लॉन्च के समय NVIDIA ने Vera CPU रैक भी पेश किया, जिसमें तरल-शीतलन वाले 256 CPUs एकीकृत हैं। NVIDIA के अनुसार, यह 22,500 से अधिक CPU परिवेशों को एक साथ संभाल सकता है, जिनमें से हर एक स्वतंत्र रूप से पूर्ण प्रदर्शन पर चलता है। NVIDIA ने कहा कि Vera का पूर्ण पैमाने पर उत्पादन जारी है और यह 2026 की दूसरी छमाही में साझेदारों के लिए उपलब्ध होगा। कंपनी ने उन क्लाउड प्रदाताओं में Alibaba Cloud, ByteDance, CoreWeave, Lambda, Nebius, Nscale और Oracle Cloud Infrastructure के नाम लिए, जो इस CPU को तैनात करने की योजना बना रहे हैं।

Modal ने कहा कि Vera की तैनाती आगे बढ़ने के साथ वह NVIDIA और क्लाउड प्रदाताओं के साथ मिलकर अपने Vera बेड़े का विस्तार करने का इरादा रखती है।