Google ने अपने TPUs पर मूल PyTorch उपलब्ध कराया: TorchTPU को ओपन सोर्स किया

Google ने 20 अक्टूबर, 2026 को PyTorch Conference 2026 में घोषणा की कि Tensor Processing Units (TPUs) के लिए उसका मूल PyTorch स्टैक TorchTPU अब GitHub पर ओपन सोर्स के रूप में उपलब्ध है, कंपनी ने Google Cloud ब्लॉग पर बताया। यह सॉफ़्टवेयर Meta की PyTorch टीम के साथ मिलकर विकसित किया गया है और इसे मौजूदा PyTorch वर्कलोड कोड में बहुत कम बदलाव के साथ TPUs पर चलाने के लिए बनाया गया है।

Google के अनुसार, इस रिलीज़ के साथ TPUs भी PyTorch के लिए GPUs और CPUs की तरह एक मूल विकल्प बन गए हैं। vLLM, SGLang, llm-d, TorchTitan, Ray, TorchRec, Hugging Face और LiteRT समेत टूल के ज़रिए यह ट्रेनिंग, सर्विंग और डिप्लॉयमेंट में काम आता है। डेवलपर eager mode में मॉडल की गड़बड़ियाँ पहचान सकते हैं और फिर torch.compile के ज़रिए उत्पादन-स्तर के प्रदर्शन तक पहुँच सकते हैं, जिससे TPU का उपयोग बेहतर होता है और मेमोरी पर अतिरिक्त दबाव घटता है।

Meta में PyTorch इंजीनियरिंग की निदेशक Jana van Greunen ने घोषणा में कहा कि TorchTPU, Meta को अपनी मुख्य मशीन लर्निंग सिस्टम टीम के साथ हार्डवेयर को लचीले ढंग से सह-विकसित करने की सुविधा देता है और साथ ही बड़े LLM, Ads और Recommendation सिस्टम वर्कलोड को भी सपोर्ट करता है। उन्होंने कहा, “इससे हम अपने PyTorch वर्कलोड Google TPUs पर तैनात कर सकते हैं, इंजीनियरिंग टीमों को सीधे फ़ीडबैक दे सकते हैं और वह इकोसिस्टम लचीलापन तैयार कर सकते हैं जिसकी सभी को ज़रूरत है।”

हगिंग और सर्विंग इंटीग्रेशन

Google ने Hugging Face के साथ साझेदारी की, ताकि Hugging Face Hub पर उपलब्ध ओपन-वेट मॉडल TorchTPU पर मूल रूप से चल सकें। Transformers v5 में, किसी मॉडल को TPUs पर तैनात करने के लिए यह पैरामीटर देकर device_map="tpu", और Diffusers लाइब्रेरी भी TPUs पर मूल रूप से चलती है। इसमें eager mode, torch.compile और कई एक्सेलरेटर पर टेंसर पैरेललिज़्म का समर्थन शामिल है। Google ने बताया कि उसने TPU इन्फ्रास्ट्रक्चर पर Hugging Face Transformers सुइट की हर रात लगातार जाँच के लिए समर्पित CI/CD पाइपलाइनें भी बनाई हैं। Hugging Face में उत्पाद उपाध्यक्ष Jeff Boudier ने कहा कि यह सहयोग प्लेटफ़ॉर्म की हार्डवेयर चुनने की प्रतिबद्धता को व्यवहार में उतारता है।

सर्विंग के लिए, TorchTPU पर PyTorch का मूल vLLM बैकएंड Inferact के साथ साझेदारी में विकसित किया गया। Google के अनुसार, यह कस्टम Pallas कर्नेल का उपयोग करके TPU हार्डवेयर पर लगातार बैचिंग, क्वांटाइज़ेशन और मल्टी-चिप पैरेललिज़्म को सपोर्ट करता है। साथ ही, यह अपस्ट्रीम वर्कर मॉडल, शेड्यूलर और API सर्वर को जस का तस रखता है, इसलिए मौजूदा इन्फ़रेंस स्टैक में किसी बदलाव की ज़रूरत नहीं पड़ती। Inferact के CEO और सह-संस्थापक Simon Mo ने कहा कि इस एकीकरण से TPUs पर vLLM का व्यापक स्तर का समर्थन उपलब्ध होता है।

RadixArk के साथ विकसित SGLang के लिए PyTorch का मूल बैकएंड, संरचित और एजेंट-आधारित वर्कलोड के लिए बनाया गया है। घोषणा के अनुसार, SGLang अनुरोधों के बीच KV कैश का पुनः उपयोग करने के लिए RadixAttention का इस्तेमाल करता है, ताकि बार-बार आने वाले प्रॉम्प्ट प्रीफ़िक्स के लिए दोबारा गणना न करनी पड़े। TorchTPU संस्करण में डिसएग्रीगेशन ट्रांसफ़र बैकएंड है, जो HiCache के लिए I/O बैकएंड का काम भी करता है। RadixArk के CTO और सह-संस्थापक Banghua Zhu ने कहा कि अलग-अलग सिलिकॉन पर SGLang का समर्थन शुरू करते समय TorchTPU ने कंपनी के काम को गति दी है।

Google, Red Hat, IBM और 500 से अधिक योगदानकर्ताओं तथा 25 संगठनों वाले समुदाय के साथ llm-d 1.0 को Cloud Native Computing Foundation के Sandbox प्रोजेक्ट के रूप में भी जारी कर रहा है। घोषणा में llm-d को PyTorch सर्विंग इकोसिस्टम और Kubernetes-आधारित उत्पादन डिप्लॉयमेंट के बीच सेतु बताया गया है: इसका राउटर प्रीफ़िक्स-कैश की जानकारी के आधार पर अनुरोध को उस प्रतिकृति तक भेजता है जिसके पास उसका संदर्भ पहले से मौजूद होता है, और यह कंप्यूट-प्रधान प्रीफ़िल को मेमोरी-प्रधान डिकोड से अलग करता है। संस्करण 1.0 में मल्टी-टेनेंट फ़्लो कंट्रोल, राउटर की उच्च उपलब्धता, स्थिर v1 APIs और एजेंटों के लिए सेशन-जागरूक रूटिंग जोड़ी गई है। Google Kubernetes Engine पर एक साझा llm-d एंडपॉइंट GPUs या TPUs, दोनों में से किसी पर भी चल सकता है।

Zenteiq के संस्थापक Prof. Sashikumaar Ganesan ने घोषणा में कहा कि llm-d से संचालित GKE Inference Gateway ने कंपनी के सिंथेटिक डेटा निर्माण के लिए कुल इन्फ़रेंस थ्रूपुट 4× से अधिक बढ़ाया। इससे हर दिन जनरेट किए जा सकने वाले टोकनों की क्षमता, प्रत्येक 1,000 TPU v6e एक्सेलरेटर पर 1.47 बिलियन से बढ़कर 5.97 बिलियन टोकन हो गई।

ट्रेनिंग और ऑर्केस्ट्रेशन

वितरित ट्रेनिंग के लिए PyTorch-मूल संदर्भ कार्यान्वयन TorchTitan में अब वह शामिल है जिसे Google, torch.compile, TorchTitan के SimpleFSDP, विशेष Pallas कर्नेल और ग्राफ़-स्तरीय ऑप्टिमाइज़ेशन पर आधारित उत्पादन-स्तर का TorchTPU एकीकरण बताता है। TorchTitan, Llama 3 70B और 405B, Qwen 3 8B और 32B तथा MuseGlimmer 30B जैसे डेंस मॉडल के प्री-ट्रेनिंग के लिए TorchTPU रेसिपी देता है। इसमें Qwen 3 235B का मिक्सचर-ऑफ़-एक्सपर्ट्स मॉडल और FLUX.1 12B डिफ्यूज़न ट्रांसफ़ॉर्मर भी शामिल हैं। Google ने बताया कि इस एकीकरण को अधिकतम 8,000 Ironwood TPUs (TPU v7x) पर मान्य किया गया है और TorchTitan के ज़रिए TorchTPU ट्रेनिंग ने Qwen 3 8B पर 52% तक Model Flops Utilization हासिल किया। साथ ही, अधिकतम 8,192 Ironwood TPUs पर स्केलिंग लगभग रैखिक रही।

Google ने VeRL में TPU बैकएंड और शुरू से अंत तक काम करने वाली संदर्भ रेसिपी भी शामिल की है। VeRL एक रीइन्फ़ोर्समेंट लर्निंग फ़्रेमवर्क है। अलग-अलग ट्रेनर और सैंपलर वाली आर्किटेक्चर पर बनी और गणितीय तर्क के डेटासेट पर प्रदर्शित GRPO रेसिपी का उद्देश्य डेवलपर को TPUs पर VeRL वर्कलोड चलाने देना है, जबकि उनके मौजूदा हार्डवेयर-निरपेक्ष मॉडल और एल्गोरिदम कोड को जस का तस रखा जाता है।

Ray एक ही कार्यप्रवाह में CPU, GPU और TPU पर PyTorch के डेटा प्रसंस्करण, प्रशिक्षण, सुदृढीकरण अधिगम और सेवा-प्रदान को व्यवस्थित करने के लिए मूल TorchTPU सहायता जोड़ता है। Anyscale के मुख्य वास्तुकार एडवर्ड ओक्स ने कहा कि कंपनियों ने TPUs को Ray में प्रथम-श्रेणी का त्वरक बनाने के लिए मिलकर काम किया। उन्होंने कहा, “TorchTPU, Google के TPUs को सीधे इस उद्योग-मानक स्टैक में शामिल करता है।”

पिछली वास्तुकला और उपलब्धता

TorchTPU को 7 अप्रैल, 2026 को सार्वजनिक रूप से Google Developers Blog की एक पोस्ट में पेश किया गया था। पोस्ट में PyTorch के PrivateUse1 इंटरफ़ेस पर आधारित “Eager First” डिज़ाइन का वर्णन था, जिसमें Debug, Strict और Fused eager मोड एक साझा संकलन कैश से संचालित होते हैं। Google ने उस समय कहा था कि Fused Eager, Strict Eager की तुलना में 50% से 100+% तक प्रदर्शन-वृद्धि देता है और TorchTPU पर torch.compile, Torch Dynamo के साथ FX ग्राफ़ कैप्चर करता है तथा उन्हें XLA और StableHLO के ज़रिए निम्न-स्तर पर रूपांतरित करता है; इसमें Pallas और JAX में लिखे कस्टम कर्नेल इस्तेमाल होते हैं। पोस्ट के अनुसार, यह स्टैक पहले से ही Distributed Data Parallel, FSDPv2 और DTensor का समर्थन करता है और इसे अलग-अलग रैंकों में भिन्न निष्पादन संभालने के लिए तैयार किया गया है। इसमें TorchTPU की 2026 की रूपरेखा के मदों में सार्वजनिक GitHub रिपॉज़िटरी शुरू करना भी शामिल था।

torch_tpu रिपॉज़िटरी अब google-pytorch GitHub संगठन के तहत सार्वजनिक है और Apache 2.0 लाइसेंस के अंतर्गत उपलब्ध है। इसकी README में कस्टम ATen कर्नेल, XLA गणनाओं के लिए संकलन कैश, डेटा और टेन्सर समानांतरता के लिए वितरित प्रशिक्षण सहायता, torch.compile एकीकरण, डिबगिंग और बेंचमार्किंग उपयोगिताएँ तथा Llama, Qwen, ResNet, DLRM, minGPT और UNet के उदाहरण सूचीबद्ध हैं। यह परियोजना Python 3.11 और इसके बाद के संस्करणों का समर्थन करती है। torch-tpu 0.2.0 पैकेज 19 अक्टूबर, 2026 को PyPI पर जारी किया गया, जिसमें CPython 3.11 से 3.14 तक के लिए Linux x86-64 व्हील शामिल हैं। उपयोगकर्ता मार्गदर्शिका torchtpu.readthedocs.io पर उपलब्ध है। README में बताया गया है कि परियोजना की इंटरैक्टिव नोटबुक TPU VM से चलानी होंगी; इसके लिए v6e GCE इंस्टेंस सबसे आसान विकल्प है।

इसी घोषणा में Google ने कहा कि पहले TensorFlow Lite के नाम से जानी जाने वाली LiteRT, PyTorch इकोसिस्टम का हिस्सा बन रही है। LiteRT-Torch लाइब्रेरी एक ही कॉल के माध्यम से PyTorch मॉडल का रूपांतरण करती है litert-torch.convert() और रूपांतरित मॉडल Android, iOS, macOS, Windows, Linux, वेब तथा IoT उपकरणों पर चलते हैं। PyTorch मॉडलों के लिए ऑनबोर्डिंग, निदान और अनुमान-प्रदर्शन का समायोजन स्वचालित करने के उद्देश्य से बनाए गए TPU एजेंटों का एक समूह GitHub पर शुरुआती पूर्वावलोकन के रूप में उपलब्ध है।

घोषणा में डेवलपरों को TPUs पर PyTorch चलाना शुरू करने के लिए Google Cloud के TPU दस्तावेज़ देखने को कहा गया है।