Google veröffentlicht TorchTPU als Open Source und bringt natives PyTorch auf seine TPUs

Google gab am 20. Oktober 2026 auf der PyTorch Conference 2026 bekannt, dass TorchTPU, Googles nativer PyTorch-Stack für Tensor Processing Units (TPUs), nun als Open Source auf GitHub verfügbar ist, teilte das Unternehmen im Google-Cloud-Blog mit. Die Software wurde gemeinsam mit dem PyTorch-Team bei Meta entwickelt und soll bestehende PyTorch-Workloads mit minimalen Codeänderungen auf TPUs ausführen.

Mit der Veröffentlichung kommen TPUs als native PyTorch-Option zu GPUs und CPUs hinzu, wie Google mitteilte. Die Unterstützung erstreckt sich über Training, Inferenz und Bereitstellung und umfasst Tools wie vLLM, SGLang, llm-d, TorchTitan, Ray, TorchRec, Hugging Face und LiteRT. Entwickler können Modelle im Eager-Modus debuggen und anschließend mit torch.compile eine Leistung auf Produktionsniveau erzielen, um die TPU-Auslastung zu optimieren und den Speicherbedarf zu senken.

Jana van Greunen, Director of PyTorch Engineering bei Meta, sagte in der Ankündigung, TorchTPU ermögliche es Meta, Hardware flexibel gemeinsam mit dem zentralen Team für maschinelles Lernen zu entwickeln und zugleich wichtige Workloads für LLM-, Werbe- und Empfehlungssysteme zu unterstützen. „So können wir unsere PyTorch-Workloads auf Google-TPUs bereitstellen, den Entwicklungsteams direktes Feedback geben und die nötige Flexibilität im Ökosystem schaffen“, sagte sie.

Integrationen für Hugging und Inferenz

Google ging eine Partnerschaft mit Hugging Face ein, damit Modelle mit offenen Gewichten auf dem Hugging-Face-Hub nativ mit TorchTPU ausgeführt werden können. In Transformers v5 erfolgt die Bereitstellung eines Modells auf TPUs durch Übergabe device_map="tpu", und die Diffusers-Bibliothek läuft nativ auf TPUs und unterstützt den Eager-Modus, torch.compile sowie Tensor-Parallelisierung über mehrere Beschleuniger hinweg. Google teilte mit, außerdem eigens eingerichtete CI/CD-Pipelines für kontinuierliche nächtliche Tests der Hugging-Face-Transformers-Suite auf der TPU-Infrastruktur entwickelt zu haben. Jeff Boudier, VP of Product bei Hugging Face, sagte, die Zusammenarbeit setze das Bekenntnis der Plattform zur Wahlfreiheit bei Hardware in die Praxis um.

Für die Inferenz wurde das native PyTorch-vLLM-Backend für TorchTPU in Zusammenarbeit mit Inferact entwickelt. Google zufolge unterstützt es kontinuierliches Batching, Quantisierung und Parallelisierung über mehrere Chips auf TPU-Hardware mithilfe kundenspezifischer Pallas-Kernels. Dabei bleiben die vorgelagerten Workermodelle, Scheduler und API-Server erhalten, sodass bestehende Inferenz-Stacks nicht geändert werden müssen. Simon Mo, CEO und Mitgründer von Inferact, sagte, die Integration bringe erstklassige vLLM-Unterstützung auf TPUs.

Ein natives PyTorch-Backend für SGLang, das gemeinsam mit RadixArk entwickelt wurde, ist auf strukturierte und agentische Workloads ausgelegt. Laut Ankündigung nutzt SGLang RadixAttention, um den KV-Cache anfrageübergreifend wiederzuverwenden, sodass wiederkehrende Prompt-Präfixe nicht erneut berechnet werden müssen. Die TorchTPU-Version verwendet zudem ein Backend für disaggregierte Übertragungen, das zugleich als I/O-Backend für HiCache dient. Banghua Zhu, CTO und Mitgründer von RadixArk, sagte, TorchTPU habe die Arbeit des Unternehmens beschleunigt, während es die SGLang-Unterstützung auf verschiedenen Chiparchitekturen einführe.

Google veröffentlicht außerdem gemeinsam mit Red Hat, IBM sowie einer Community aus mehr als 500 Mitwirkenden und 25 Organisationen llm-d 1.0 als Sandbox-Projekt der Cloud Native Computing Foundation. Die Ankündigung beschreibt llm-d als Verbindung zwischen dem PyTorch-Inferenzökosystem und der produktiven Bereitstellung auf Kubernetes: Der Router nutzt ein präfix-Cache-bewusstes Routing, um jede Anfrage an das Replikat weiterzuleiten, das den jeweiligen Kontext bereits enthält, und trennt rechenintensives Prefill von speicherintensivem Decode. Version 1.0 ergänzt mandantenübergreifende Ablaufsteuerung, hohe Verfügbarkeit des Routers, stabile v1-APIs und sitzungsbewusstes Routing für Agenten. Auf Google Kubernetes Engine kann ein gemeinsamer llm-d-Endpunkt sowohl auf GPUs als auch auf TPUs ausgeführt werden.

Prof. Sashikumaar Ganesan, Gründer von Zenteiq, sagte in der Ankündigung, das von llm-d unterstützte GKE Inference Gateway habe bei der synthetischen Datengenerierung des Unternehmens einen um mehr als das Vierfache höheren aggregierten Inferenzdurchsatz erzielt. Dadurch stieg die täglich generierbare Tokenzahl pro 1.000 TPU-v6e-Beschleuniger von 1,47 Milliarden auf 5,97 Milliarden.

Training und Orchestrierung

TorchTitan, die native PyTorch-Referenzimplementierung für verteiltes Training, umfasst nun eine von Google als produktionsreif beschriebene TorchTPU-Integration. Sie basiert auf torch.compile, TorchTitans SimpleFSDP, spezialisierten Pallas-Kernels und Optimierungen auf Graph-Ebene. TorchTitan stellt TorchTPU-Rezepte für das Vortraining dichter Modelle wie Llama 3 70B und 405B, Qwen 3 8B und 32B sowie MuseGlimmer 30B bereit. Hinzu kommen das Mixture-of-Experts-Modell Qwen 3 235B und der Diffusionstransformer FLUX.1 12B. Google zufolge wurde die Integration mit bis zu 8.000 Ironwood-TPUs (TPU v7x) validiert. Das TorchTPU-Training mit TorchTitan erreichte bei Qwen 3 8B eine Model Flops Utilization von bis zu 52 Prozent und skalierte über bis zu 8.192 Ironwood-TPUs hinweg nahezu linear.

Google hat außerdem ein TPU-Backend und ein durchgängiges Referenzrezept in VeRL integriert, ein Framework für Reinforcement Learning. Das GRPO-Rezept basiert auf einer disaggregierten Trainer-Sampler-Architektur und wurde anhand von Datensätzen für mathematisches Schlussfolgern demonstriert. Es soll Entwicklern ermöglichen, VeRL-Workloads auf TPUs auszuführen und dabei ihren bestehenden hardwareunabhängigen Modell- und Algorithmuscode beizubehalten.

Ray bietet native Unterstützung für TorchTPU, um die PyTorch-Datenverarbeitung, das Training, bestärkendes Lernen und das Bereitstellen von Modellen in einem einzigen Workflow über CPUs, GPUs und TPUs hinweg zu orchestrieren. Edward Oakes, Chefarchitekt bei Anyscale, sagte, die Unternehmen hätten daran gearbeitet, TPUs zu Beschleunigern erster Klasse in Ray zu machen, und fügte hinzu: „TorchTPU bindet Google-TPUs direkt in diesen branchenüblichen Stack ein.“

Bisherige Architektur und Verfügbarkeit

TorchTPU wurde am 7. April 2026 öffentlich in einem Blogbeitrag von Google Developers vorgestellt. Darin wurde ein „Eager First“-Design beschrieben, das auf PyTorchs PrivateUse1-Schnittstelle basiert und die Eager-Modi Debug, Strict und Fused mit einem gemeinsamen Kompilierungscache kombiniert. Google erklärte damals, Fused Eager biete gegenüber Strict Eager eine Leistungssteigerung von 50 % bis über 100 % und torch.compile erfasse mit TorchTPU FX-Graphen mithilfe von Torch Dynamo und überführe sie über XLA und StableHLO, wobei benutzerdefinierte Kernel in Pallas und JAX geschrieben würden. Dem Beitrag zufolge unterstützt der Stack Distributed Data Parallel, FSDPv2 und DTensor sofort und ist so konzipiert, dass er abweichende Ausführungen über verschiedene Ranks hinweg bewältigt. Als weiteren Punkt auf der TorchTPU-Roadmap für 2026 nannte der Beitrag die Veröffentlichung eines öffentlichen GitHub-Repositorys.

Das Repository torch_tpu ist jetzt öffentlich in der GitHub-Organisation google-pytorch verfügbar und unter Apache 2.0 lizenziert. In der README werden benutzerdefinierte ATen-Kernel, ein Kompilierungscache für XLA-Berechnungen, Unterstützung für verteiltes Training mit Daten- und Tensorparallelismus, die Integration von torch.compile, Hilfsprogramme für Debugging und Benchmarking sowie Beispiele für Llama, Qwen, ResNet, DLRM, minGPT und UNet aufgeführt. Das Projekt unterstützt Python 3.11 und höher. Das Paket torch-tpu 0.2.0 wurde am 19. Oktober 2026 auf PyPI veröffentlicht und umfasst Linux-x86-64-Wheels für CPython 3.11 bis 3.14. Ein Benutzerhandbuch ist unter torchtpu.readthedocs.io verfügbar. Laut README müssen die interaktiven Notebooks des Projekts auf einer TPU-VM ausgeführt werden; am einfachsten geht das mit einer GCE-Instanz vom Typ v6e.

In derselben Ankündigung erklärte Google, dass LiteRT, früher TensorFlow Lite, Teil des PyTorch-Ökosystems wird: Die Bibliothek LiteRT-Torch konvertiert ein PyTorch-Modell mit einem einzigen litert-torch.convert() Aufruf, und konvertierte Modelle laufen auf Android, iOS, macOS, Windows, Linux, im Web und auf IoT-Geräten. Eine TPU-Agentensuite, die das Onboarding, die Diagnose und die Optimierung der Inferenzleistung für PyTorch-Modelle automatisieren soll, befindet sich auf GitHub in einer frühen Vorschau.

Die Ankündigung verweist Entwickler auf die TPU-Dokumentation von Google Cloud, um mit der Ausführung von PyTorch auf TPUs zu beginnen.