IBM ने Spyre एक्सेलेरेटर को PyTorch का प्रथम श्रेणी का बैकएंड बनाया

IBM ने 26 अक्टूबर, 2026 को प्रकाशित IBM Research के एक ब्लॉग पोस्ट में कहा कि 2026 की दूसरी छमाही में PyTorch इकोसिस्टम में लागू किए गए सॉफ़्टवेयर अपडेट से उसका Spyre डेटा-प्रवाह एक्सेलेरेटर PyTorch का प्रथम श्रेणी का बैकएंड बन गया है। इससे उस योजना को अमली जामा पहनाया गया है, जिसकी रूपरेखा IBM और PyTorch Foundation ने अक्टूबर 2025 में पेश की थी।

IBM, Spyre को अपना डेटा-प्रवाह एआई एक्सेलेरेटर बताता है। इसे अनुमान-आधारित निष्पादन के लिए अनुकूलित किया गया है और उन उद्यमी टीमों के लिए बनाया गया है जो IBM Z, LinuxONE और Power सिस्टम पर अपने अनुप्रयोगों और डेटा के साथ एआई चलाती हैं। इसकी कम-परिशुद्धता वाली गणना भाषा जनन और एम्बेडिंग मॉडल में होने वाले मैट्रिक्स-केंद्रित कार्यों के लिए है। पारंपरिक GPU निर्धारित थ्रेड समूहों में निर्देश-धाराओं के रूप में कर्नेल निष्पादित करता है, जबकि Spyre अपने गणना इंजनों तक डेटा पहुँचते ही गणना शुरू कर देता है।

पोस्ट के अनुसार, 2026 की दूसरी छमाही में IBM, Red Hat और PyTorch Foundation के सहयोगियों—जिनमें Meta और Hugging Face शामिल हैं—ने ऐसे अपडेट जारी किए जिनमें शुरुआत से ही मॉडल सक्षम करना, vLLM में हार्डवेयर-निरपेक्ष मॉडल, निरंतर प्रतिगमन और रिलीज़ परीक्षण तथा नेटिव-डिवाइस एकीकरण शामिल थे। 2025 के PyTorch Conference में, 21 अक्टूबर, 2025 की तारीख़ वाले IBM Research के एक पोस्ट में IBM ने कहा था कि वह 2026 में Spyre के लिए और व्यापक समर्थन देने की योजना बना रहा है। इसमें Spyre को ओपन-सोर्स अनुमान-आधारित निष्पादन कार्यप्रवाहों में प्रथम श्रेणी के बैकएंड के रूप में शामिल करना और एकीकृत कंपाइलर मार्गों, अनुकूलित कर्नेल निर्माण तथा कई एक्सेलेरेटरों की पारदर्शी शेड्यूलिंग पर ध्यान देना शामिल था। तब तक IBM ने अनुमान-आधारित निष्पादन के रनटाइम के रूप में vLLM और Spyre जैसे एक्सेलेरेटरों को एकीकृत करने के लिए फ्रंटएंड कंपाइलर के रूप में torch.compile को अपना लिया था। उसने vLLM के लिए Spyre प्लगइन भी दिया था, जो बड़े भाषा मॉडल के अनुमान-आधारित निष्पादन में पेज्ड अटेंशन सक्षम करता है।

Inductor पर नए सिरे से तैयार किया गया कंपाइलर

इस एकीकरण के केंद्र में torch-spyre है—एक PyTorch बैकएंड, जो सामान्य PyTorch कोड को Spyre के लिए निष्पादन योग्य योजना में संकलित करता है। मॉडल का अधिकांश तर्क PyTorch कंपाइलर से बिना बदलाव गुज़रता है; जब किसी ऑपरेशन को अभी प्रभावी ढंग से निचले स्तर के निर्देशों में नहीं बदला जा सकता, तो एक अडैप्टर उसकी जगह गणितीय रूप से समतुल्य ऐसा रूप दे सकता है जिसे कंपाइलर संभाल सके।

13 अक्टूबर, 2026 को प्रकाशित PyTorch Foundation की एक पोस्ट में Dave Grove, Olivier Tardieu और IBM Spyre Team ने बताया कि उन्होंने torch-spyre के torch.compile बैकएंड को sendnn—शुरू से पूरी तरह बनाया गया एक संकलन स्टैक—से बदलकर backend=inductor कर दिया। यह PyTorch के अपने Inductor का विस्तार करके बनाया गया ओपन-सोर्स बैकएंड है। लेखकों के अनुसार, lizard कोड विश्लेषक से मापने पर sendnn में 6,170 फ़ंक्शनों में C++ और Python की कुल लगभग 273,000 पंक्तियाँ थीं, जबकि Inductor एक्सटेंशन में 1,878 फ़ंक्शनों में Python की लगभग 38,600 पंक्तियाँ थीं—यानी प्रति फ़ंक्शन कम जटिलता के साथ लगभग 7 गुना कम पंक्तियाँ।

Spyre 75-वाट का PCIe से जुड़ने वाला एक्सेलेरेटर है। यह 32 छोटे कोर से बना है, जो एक रिंग के ज़रिए आपस में जुड़े हैं। साझा कैश के बजाय हर कोर के पास अपना 2 MB का स्क्रैचपैड है। यह डेटा को 128-बाइट के निश्चित आकार वाले खंडों में भेजता है, जिन्हें स्टिक कहा जाता है। पोस्ट के अनुसार, कंपाइलर पर किए गए काम में स्टिक-स्तर पर डेटा का आवागमन, स्क्रैचपैड की योजना और संकलन के समय कोर का निर्धारण शामिल था।

रिपोर्ट किए गए मापों में टाइलिंग और लेआउट के विकल्पों से मैटमल कर्नेल के समय में 29–69% की कमी शामिल है। स्क्रैचपैड को ध्यान में रखकर की गई शेड्यूलिंग से सॉफ़्टमैक्स कर्नेल का औसतिका समय 32.51 माइक्रोसेकंड से घटकर 23.67 माइक्रोसेकंड हो गया—यानी 27% की कमी। इसके अलावा, एक फ़्यूज़्ड MLP-शैली के कर्नेल ने कोर उपयोग को लगभग दो-तिहाई से बढ़ाकर करीब 80% किया और कर्नेल का समय लगभग 17% घटाया। इन फ़ैसलों की कसौटी परखने के लिए बनाए गए एक कृत्रिम ग्राफ़ में, ऑन-चिप डेटा पुनर्व्यवस्था की एक नई विधि ने डिवाइस मेमोरी तक आने-जाने में लगने वाले 80-माइक्रोसेकंड के समय को कोरों के बीच 1.1-माइक्रोसेकंड के डेटा-स्थानांतरण से बदल दिया। पोस्ट में यह भी कहा गया है कि डिवाइस-विशिष्ट डीकंपोज़िशन पंजीकृत करने की torch-spyre की ज़रूरत ने आउट-ऑफ़-ट्री Inductor बैकएंड समर्थन में सुधार को बढ़ावा दिया। ये सुधार PyTorch 2.12 में दो मर्ज किए गए पुल अनुरोधों के रूप में शामिल हुए।

नेटिव-डिवाइस एकीकरण

PrivateUse1 पंजीकरण के ज़रिए Spyre एक नेटिव PyTorch डिवाइस बन जाता है और tensor.to(“spyre”) को डिवाइस की वास्तविक पहचान मिलती है। PyTorch का एलोकेटर टेंसरों को डिवाइस की मेमोरी में रखता है, स्ट्रीम कार्यों का क्रम तय करती हैं और रनटाइम इवेंट अलग-अलग स्ट्रीम में निर्भर कार्यों को जोड़ते हैं। कार्ड में हाई-बैंडविड्थ रिंग से जुड़े 32 कोर हैं, जिनमें से हर एक के पास 2 MB का स्थानीय स्क्रैचपैड है। टेंसरों और प्रोग्रामों के लिए इसमें अधिकतम 128 GB LPDDR5 भी है। मौजूदा रनटाइम प्रोग्राम शुरू होते समय उनमें पैच लगाता है और तीन क्रमबद्ध चरणों में प्रतीकात्मक टेंसर पतों की जगह वास्तविक पते रखता है।

टीम के अनुसार, Granite 3.3 8B पर बैच आकार 1 और अनुक्रम लंबाई 1024 के साथ किए गए प्रदर्शन में, डेटा स्थानांतरण के रास्ते से ग्राफ़ निर्माण हटाने पर प्रीफ़िल 9.9% और डिकोड 13.6% तेज़ हुआ। इस काम को कंप्यूट डिस्पैच से भी हटाने पर कुल गति प्रीफ़िल के लिए 1.7 गुना और डिकोड के लिए 2.4 गुना हो गई। इस बढ़त का लगभग तीन-चौथाई हिस्सा कंप्यूट पथ से आया।

8 अक्टूबर, 2026 को प्रकाशित Spyre को नेटिव PyTorch डिवाइस के रूप में तैयार करना में लेखकों ने लिखा, “फ़ायदा यह है कि न Spyre को और न ही PyTorch को किसी और चीज़ का रूप धरने की ज़रूरत है।” उन्होंने कहा कि Spyre अपना डेटा-प्रवाह निष्पादन मॉडल बनाए रखता है, जबकि उपयोगकर्ताओं को टेंसर रखने, स्ट्रीम और संकलन के परिचित तरीकों वाला नेटिव PyTorch डिवाइस मिलता है।

vLLM की पोर्टेबिलिटी और Llm-D से जुड़ाव

Spyre एक आउट-ऑफ़-ट्री एक्सेलरेटर है, न कि उन GPU प्लेटफ़ॉर्मों में से एक जिन्हें AI सॉफ़्टवेयर में आम तौर पर समर्थन मिलता है। यह मॉडल ग्राफ़ का ट्रेस बनाने के लिए TorchDynamo और उस ग्राफ़ को लक्षित हार्डवेयर के लिए निम्न-स्तरीय रूप में बदलने के लिए TorchInductor पर निर्भर करता है। vLLM में CustomOp और PluggableLayer जैसे विस्तार तंत्र हार्डवेयर प्लगइन को सॉफ़्टवेयर स्टैक के बड़े हिस्सों को फिर से लागू किए बिना उसके व्यवहार को अनुकूलित करने देते हैं।

IBM, Meta और Hugging Face के लेखकों द्वारा 22 सितंबर, 2026 को प्रकाशित vLLM में हार्डवेयर-अज्ञेय मॉडल में, टीम ने बताया कि vLLM हार्डवेयर-विशिष्ट “फ्लैट” मॉडल परिभाषाओं की ओर बढ़ रहा है और चार डिज़ाइन सिद्धांतों पर आधारित हार्डवेयर-अज्ञेय लेयर प्रस्तुत कीं: संकलित किए जा सकने योग्य, विस्तार योग्य, हार्डवेयर-विशिष्ट पथों से अलग-थलग और पोर्टेबल। vLLM की मुख्य शाखा में शुरुआती समर्थन शामिल हो चुका है और transformers बैकएंड पर इसे USE_HW_AGNOSTIC=1 के साथ सक्षम किया जा सकता है। लेखकों के अनुसार, इस तरीके को Spyre के आउट-ऑफ़-ट्री प्लगइन के साथ Gemma 4, Qwen3 और Granite 4.2 सहित कई मॉडलों पर मान्य किया गया है। NVIDIA H100 GPU पर, तीन हालिया मॉडलों के ज्यामितीय माध्य के रूप में मापने पर, हार्डवेयर-अज्ञेय लेयर ने मूल कार्यान्वयन की तुलना में कुल टोकन थ्रूपुट 3.4% के भीतर हासिल किया।

IBM की पोस्ट बताती है कि Spyre का PyTorch एकीकरण ही उसे llm-d से जोड़ता है: llm-d, vLLM के आधार पर कई तरह के एक्सेलरेटरों पर वितरित अनुमान चलाता है; vLLM, PyTorch के ज़रिए हर एक्सेलरेटर तक पहुँचता है; और जब किसी डिवाइस के लिए काम करने वाला PyTorch बैकएंड उपलब्ध हो जाता है, तो vLLM का हार्डवेयर प्लगइन उसे उपलब्ध करा सकता है, ताकि llm-d उस पर काम निर्धारित कर सके।

पहले दिन से सुविधा उपलब्ध कराना और निरंतर परीक्षण

IBM Spyre टीम की 20 अगस्त, 2026 की पोस्ट में HF-adapters नाम की एक परियोजना का वर्णन है, जो कोडिंग एजेंटों की मदद से रनटाइम पैच के मसौदे तैयार करती है, ताकि Hugging Face Transformers के सामान्य मॉडल Spyre पर चल सकें। पोस्ट के अनुसार, अप्रैल 2026 के मध्य से जून के अंत तक 13 अलग-अलग अडैप्टर, Hugging Face के सबसे अधिक डाउनलोड किए गए 10,000 एम्बेडिंग मॉडलों में से 7,960 को चलाने में सक्षम हो गए; इनमें से 6,804 Spyre पर उनका एंड-टू-एंड परीक्षण पास करते हैं। एक उदाहरण में gelu_new एक्टिवेशन के torch.pow(x, 3.0) को गणितीय रूप से समतुल्य x x x से बदला जाता है, जिसे torch-spyre स्टैक निम्न-स्तरीय रूप में बदल सकता है। इंसान निदान का काम अपने पास रखते हैं: वे केवल डिवाइस पर होने वाली उन विफलताओं का पता लगाते हैं जो फ़्यूज़ किए गए ऑपरेशनों से पैदा होती हैं और हर एजेंट के निष्कर्षों को एंड-टू-एंड नतीजों से जाँचते हैं।

30 सितंबर, 2026 की एक पोस्ट में IBM और Red Hat के इंजीनियरों ने PyTorch के Cross-Repository CI Relay के साथ torch-spyre के L2 एकीकरण का वर्णन किया। यह एकीकरण, PyTorch में हुए बदलावों पर डाउनस्ट्रीम परीक्षण शुरू करता है और उनके नतीजे PyTorch के CI डैशबोर्ड पर वापस भेजता है। इसमें एजेंट-आधारित चार-चरणीय परीक्षण-चयन पाइपलाइन को घोषणात्मक YAML परीक्षण-पुनःउपयोग ढाँचे के साथ जोड़ा गया है। लेखकों ने लिखा कि PyTorch 2.13 से 2.14 पर अपग्रेड करने के दौरान दसियों हज़ार बदले हुए परीक्षणों के बजाय लगभग 4,000 परीक्षणों का मूल्यांकन करना पड़ा। उन्होंने यह भी कहा कि पुनःउपयोग योग्य हिस्सों को PyTorch में शामिल कराने के लिए वे PyTorch टीम के साथ काम करने का इरादा रखते हैं और इसके लिए PyTorch OpenReg को संदर्भ के रूप में इस्तेमाल करेंगे।

IBM Z, LinuxONE और Power11 उपयोगकर्ताओं के लिए लक्षित अनुभव यह है कि वे Hugging Face जैसे पारिस्थितिक तंत्रों से मॉडल प्राप्त करें और लगभग वही PyTorch-आधारित कार्यप्रवाह इस्तेमाल करें जो वे Nvidia GPU के साथ अपनाते हैं। IBM की पोस्ट के अनुसार, साझा PyTorch विस्तार-बिंदु वास्तुकला के अधिकतर अंतर को छिपा देते हैं। vLLM पोस्ट के लेखकों ने कहा कि उनकी योजना CI में हार्डवेयर-अज्ञेय मॉडलों को शामिल करना शुरू करने और Spyre पर मॉडल सर्व करने के लिए धीरे-धीरे इस तरीके को डिफ़ॉल्ट बनाने की है।