Google gjør TorchTPU åpen kildekode og gjør dermed PyTorch tilgjengelig direkte på sine TPU-er

Google kunngjorde 20. oktober 2026 på PyTorch Conference 2026 at TorchTPU, Googles opprinnelige PyTorch-stakk for Tensor Processing Units (TPU-er), nå er tilgjengelig som åpen kildekode på GitHub, opplyste selskapet på Google Cloud-bloggen. Programvaren er utviklet i samarbeid med PyTorch-teamet hos Meta og er laget for å kjøre eksisterende PyTorch-arbeidsbelastninger på TPU-er med minimale kodeendringer.

Med denne lanseringen blir TPU-er et opprinnelig alternativ for PyTorch på linje med GPU-er og CPU-er, opplyste Google. Løsningen dekker trening, modellservering og utrulling gjennom verktøy som vLLM, SGLang, llm-d, TorchTitan, Ray, TorchRec, Hugging Face og LiteRT. Utviklere kan feilsøke modeller i eager-modus og deretter oppnå ytelse på produksjonsnivå med torch.compile for å optimalisere utnyttelsen av TPU-ene og redusere minnebelastningen.

Jana van Greunen, direktør for PyTorch-utvikling hos Meta, sa i kunngjøringen at TorchTPU gjør det mulig for Meta å utvikle maskinvare fleksibelt i samarbeid med selskapets sentrale team for maskinlæringssystemer, samtidig som løsningen støtter arbeidsbelastninger fra store LLM-er, annonsering og anbefalingssystemer. «Det gjør det mulig for oss å kjøre PyTorch-arbeidsbelastningene våre på Googles TPU-er, gi direkte tilbakemeldinger til utviklingsteamene og bygge den fleksible økosystemløsningen alle trenger», sa hun.

Integrasjoner for Hugging og modellservering

Google inngikk et samarbeid med Hugging Face for at modeller med åpne vekter på Hugging Face Hub skal kjøre direkte på TorchTPU. I Transformers v5 gjøres utrulling av en modell til TPU-er ved å oppgi device_map="tpu", og Diffusers-biblioteket kjører direkte på TPU-er med støtte for eager-modus, torch.compile og tensorparallellisering på tvers av flere akseleratorer. Google opplyste at selskapet også har bygget egne CI/CD-pipelines for kontinuerlig nattlig testing av Hugging Face Transformers-pakken på TPU-infrastruktur. Jeff Boudier, produktsjef hos Hugging Face, sa at samarbeidet omsetter plattformens forpliktelse til å gi brukerne valgfrihet når det gjelder maskinvare, i praksis.

For modellservering ble den opprinnelige PyTorch-vLLM-bakenden på TorchTPU utviklet i samarbeid med Inferact. Google opplyste at løsningen støtter kontinuerlig batching, kvantisering og parallellisering på tvers av flere brikker på TPU-maskinvare ved hjelp av egendefinerte Pallas-kjerner, samtidig som den bevarer de opprinnelige arbeidsprosessmodellene, planleggerne og API-serverne, slik at eksisterende inferensstakker ikke trenger å endres. Simon Mo, administrerende direktør og medgründer av Inferact, sa at integrasjonen gir TPU-er førsteklasses støtte for vLLM.

En opprinnelig PyTorch-backend for SGLang, utviklet sammen med RadixArk, er rettet mot strukturerte arbeidsbelastninger og agentbaserte arbeidsbelastninger. Ifølge kunngjøringen bruker SGLang RadixAttention til å gjenbruke KV-hurtigbufferen på tvers av forespørsler, slik at gjentatte promptprefikser ikke må beregnes på nytt. TorchTPU-versjonen bruker en backend for overføring med disaggregert arkitektur, som også fungerer som I/O-backend for HiCache. Banghua Zhu, teknologidirektør og medgründer av RadixArk, sa at TorchTPU har satt fart på selskapets arbeid med å innføre støtte for SGLang på ulike typer silisium.

Google lanserer også llm-d 1.0 sammen med Red Hat, IBM og et fellesskap med over 500 bidragsytere og 25 organisasjoner som et prosjekt i Cloud Native Computing Foundation Sandbox. Kunngjøringen beskriver llm-d som en løsning som kobler PyTorch-økosystemet for modellservering til produksjonsutrulling basert på Kubernetes: Ruteren bruker ruting som tar hensyn til prefikshurtigbufferen, slik at hver forespørsel sendes til replikaen som allerede har konteksten, og skiller beregningstung prefylling fra minnekrevende dekoding. Versjon 1.0 inkluderer flytkontroll for flere leietakere, høy tilgjengelighet for ruteren, stabile v1-API-er og øktbevisst ruting for agenter. På Google Kubernetes Engine kan ett felles llm-d-endepunkt kjøre enten på GPU-er eller TPU-er.

Prof. Sashikumaar Ganesan, grunnlegger av Zenteiq, sa i kunngjøringen at GKE Inference Gateway, drevet av llm-d, leverte over 4× høyere samlet inferensgjennomstrømning for selskapets generering av syntetiske data. Dette økte den daglige kapasiteten for genererte tokener fra 1,47 milliarder til 5,97 milliarder tokener per 1 000 TPU v6e-akseleratorer.

Trening og orkestrering

TorchTitan, PyTorchs opprinnelige referanseimplementasjon for distribuert trening, inkluderer nå det Google beskriver som en integrasjon av TorchTPU på produksjonsnivå, bygget på torch.compile, TorchTitans SimpleFSDP, spesialiserte Pallas-kjerner og optimaliseringer på grafnivå. TorchTitan tilbyr TorchTPU-oppskrifter for forhåndstrening av tette modeller som Llama 3 70B og 405B, Qwen 3 8B og 32B og MuseGlimmer 30B, samt blandingsmodellen med eksperter Qwen 3 235B og diffusjonstransformeren FLUX.1 12B. Google opplyste at integrasjonen er validert på opptil 8 000 Ironwood-TPU-er (TPU v7x), og at TorchTPU-trening gjennom TorchTitan oppnådde opptil 52 % utnyttelse av modellens FLOPS på Qwen 3 8B, med tilnærmet lineær skalering på opptil 8 192 Ironwood-TPU-er.

Google har også bidratt med en TPU-backend og en komplett referanseoppskrift til VeRL, et rammeverk for forsterkende læring. GRPO-oppskriften, som bygger på en disaggregert arkitektur for trener og sampler og er demonstrert på datasett for matematisk resonnering, skal gjøre det mulig for utviklere å kjøre VeRL-arbeidsbelastninger på TPU-er samtidig som de beholder den eksisterende maskinvareuavhengige koden for modeller og algoritmer.

Ray legger til innebygd støtte for TorchTPU, slik at PyTorch-databehandling, trening, forsterkningslæring og modellservering kan orkestreres på tvers av CPU-er, GPU-er og TPU-er i én og samme arbeidsflyt. Edward Oakes, sjefarkitekt hos Anyscale, sa at selskapene samarbeidet om å gjøre TPU-er til en førsteklasses akselerator i Ray, og la til: «TorchTPU integrerer Google TPU-er direkte i denne bransjestandardiserte stakken.»

Tidligere arkitektur og tilgjengelighet

TorchTPU ble offentlig introdusert 7. april 2026 i et innlegg på Google Developers Blog som beskrev en «Eager First»-design basert på PyTorchs PrivateUse1-grensesnitt, med eager-modusene Debug, Strict og Fused, støttet av en felles kompileringsbuffer. Google opplyste den gangen at Fused Eager gir en ytelsesøkning på 50 % til over 100 % sammenlignet med Strict Eager, og at torch.compile på TorchTPU fanger opp FX-grafer med Torch Dynamo og konverterer dem videre via XLA og StableHLO, med egendefinerte kjerner skrevet i Pallas og JAX. Innlegget opplyste at stakken som standard støtter Distributed Data Parallel, FSDPv2 og DTensor, og er utformet for å håndtere divergerende kjøring på tvers av ranker. Det sto også på veikartet for TorchTPU i 2026 at et offentlig GitHub-arkiv skulle lanseres.

torch_tpu-arkivet er nå offentlig tilgjengelig under GitHub-organisasjonen google-pytorch og er lisensiert under Apache 2.0. README-filen lister opp egendefinerte ATen-kjerner, en kompileringsbuffer for XLA-beregninger, støtte for distribuert trening med data- og tensorparallellisme, integrasjon med torch.compile, verktøy for feilsøking og ytelsesmåling samt eksempler for Llama, Qwen, ResNet, DLRM, minGPT og UNet. Prosjektet støtter Python 3.11 og nyere, og pakken torch-tpu 0.2.0 ble publisert på PyPI 19. oktober 2026, med wheel-pakker for Linux x86-64 for CPython 3.11 til og med 3.14. En brukerveiledning er publisert på torchtpu.readthedocs.io, og README-filen opplyser at prosjektets interaktive notatbøker må kjøres fra en TPU-VM, der en v6e GCE-instans er det enkleste alternativet.

I den samme kunngjøringen sa Google at LiteRT, tidligere TensorFlow Lite, blir en del av PyTorch-økosystemet: LiteRT-Torch-biblioteket konverterer en PyTorch-modell med ett enkelt litert-torch.convert() kall, og konverterte modeller kjører på Android, iOS, macOS, Windows, Linux, nettet og IoT-enheter. En samling TPU-agenter som skal automatisere innføringsprosessen, diagnostikk og justering av inferensytelsen for PyTorch-modeller, er i en tidlig forhåndsversjon på GitHub.

Kunngjøringen viser utviklere til TPU-dokumentasjonen til Google Cloud for å komme i gang med å kjøre PyTorch på TPU-er.