Google avaa TorchTPU:n lähdekoodin ja tuo natiivin PyTorch-tuen TPU-laitteilleen

Google ilmoitti 20. lokakuuta 2026 PyTorch Conference 2026 -tapahtumassa, että TorchTPU, sen Tensor Processing Unit -yksiköille (TPU) tarkoitettu natiivi PyTorch-ohjelmistopino, on nyt saatavilla avoimen lähdekoodin ohjelmistona GitHubissa, yhtiö kertoi Google Cloud -blogissa. Ohjelmisto kehitettiin yhteistyössä Metan PyTorch-tiimin kanssa, ja se on suunniteltu ajamaan olemassa olevia PyTorch-työkuormia TPU-laitteilla vähäisin koodimuutoksin.

Julkaisun myötä TPU-laitteet ovat Googlen mukaan nyt PyTorchin natiivi vaihtoehto GPU- ja CPU-suorittimien rinnalla. Tuki kattaa koulutuksen, mallien tarjoilun ja käyttöönoton esimerkiksi vLLM:n, SGLangin, llm-d:n, TorchTitanin, Rayn, TorchRecin, Hugging Facen ja LiteRT:n avulla. Kehittäjät voivat etsiä malleista virheitä eager-tilassa ja siirtyä sitten tuotantotason suorituskykyyn torch.compile-toiminnon avulla, joka tehostaa TPU-resurssien käyttöä ja vähentää muistikuormaa.

Metan PyTorch Engineering -johtaja Jana van Greunen sanoi ilmoituksessa, että TorchTPU antaa Metalle mahdollisuuden kehittää laitteistotukea joustavasti yhdessä koneoppimisjärjestelmien ydintiiminsä kanssa ja tukea samalla keskeisiä LLM-, mainos- ja suosittelujärjestelmätyökuormia. ”Sen avulla voimme ottaa PyTorch-työkuormamme käyttöön Googlen TPU-laitteilla, antaa suoraan palautetta suunnittelutiimeille ja rakentaa kaikkien tarvitsemaa joustavuutta ekosysteemiin”, hän sanoi.

Hugging Face- ja tarjoiluintegraatiot

Google teki yhteistyötä Hugging Facen kanssa, jotta Hugging Face Hubissa olevat avointen painojen mallit toimisivat natiivisti TorchTPU:lla. Transformers v5:ssä malli otetaan käyttöön TPU-laitteilla välittämällä device_map="tpu", ja Diffusers-kirjasto toimii natiivisti TPU-laitteilla tukien eager-tilaa, torch.compile-toimintoa sekä tensorien rinnakkaislaskentaa useilla kiihdyttimillä. Google kertoi rakentaneensa myös omat CI/CD-putket Hugging Face Transformers -kokonaisuuden jatkuvaan yöaikaiseen testaukseen TPU-infrastruktuurissa. Hugging Facen tuotepäällikkö Jeff Boudier sanoi yhteistyön toteuttavan käytännössä alustan sitoutumisen laitteistovaihtoehtojen tarjoamiseen.

Mallien tarjoilua varten TorchTPU:n natiivi PyTorch-pohjainen vLLM-taustajärjestelmä kehitettiin yhteistyössä Inferactin kanssa. Google kertoi sen tukevan TPU-laitteilla jatkuvaa eräajoa, kvantisointia ja usean sirun rinnakkaislaskentaa mukautettujen Pallas-ydinten avulla. Samalla se säilyttää upstreamin työntekijämallit, ajastimet ja API-palvelimet, joten olemassa oleviin päättelyjärjestelmiin ei tarvitse tehdä muutoksia. Inferactin toimitusjohtaja ja toinen perustaja Simon Mo sanoi integraation tuovan TPU-laitteille ensiluokkaisen vLLM-tuen.

RadixArkin kanssa kehitetty SGLangin natiivi PyTorch-taustajärjestelmä on suunnattu rakenteisille ja agenttipohjaisille työkuormille. Ilmoituksen mukaan SGLang käyttää RadixAttentionia KV-välimuistin uudelleenkäyttöön pyyntöjen välillä, jolloin toistuvia kehotteiden etuliitteitä ei tarvitse laskea uudelleen. TorchTPU-versiossa käytetään eriytettyä siirtotaustajärjestelmää, joka toimii myös HiCachen I/O-taustajärjestelmänä. RadixArkin teknologiajohtaja ja toinen perustaja Banghua Zhu sanoi TorchTPU:n vauhdittaneen yhtiön työtä sen ottaessa käyttöön SGLang-tukea eri piireillä.

Google julkaisee myös llm-d 1.0:n yhteistyössä Red Hatin, IBM:n sekä yli 500 avustajan ja 25 organisaation muodostaman yhteisön kanssa Cloud Native Computing Foundationin Sandbox-projektina. Ilmoituksessa llm-d:n kuvataan yhdistävän PyTorchin mallien tarjoiluekosysteemin Kubernetes-pohjaiseen tuotantokäyttöönottoon: sen reititin ohjaa pyynnöt etuliitevälimuistin huomioivan reitityksen avulla replika-instanssille, jolla pyynnön konteksti on jo valmiina, ja erottaa laskentatehoa vaativan esitäytön muistia vaativasta dekoodauksesta. Versio 1.0 tuo mukanaan usean vuokralaisen virtauksenhallinnan, reitittimen korkean käytettävyyden, vakaat v1-rajapinnat sekä agenttien istunnot huomioivan reitityksen. Google Kubernetes Enginessä yhteinen llm-d-päätepiste voi toimia joko GPU- tai TPU-laitteilla.

Zenteiqin perustaja, professori Sashikumaar Ganesan, kertoi ilmoituksessa, että llm-d:llä toimiva GKE Inference Gateway tuotti yhtiön synteettisen datan luontiin yli 4× suuremman kokonaispäättelyläpimenon. Päivittäin tuotettavien tokenien määrä kasvoi 1,47 miljardista 5,97 miljardiin tokeniin tuhatta TPU v6e -kiihdytintä kohden.

Koulutus ja työnkulkujen orkestrointi

Hajautetun koulutuksen PyTorch-natiivi viitetoteutus TorchTitan sisältää nyt Googlen mukaan tuotantokäyttöön tarkoitetun TorchTPU-integraation, joka perustuu torch.compile-toimintoon, TorchTitanin SimpleFSDP:hen, erikoistuneisiin Pallas-ytimiin ja graafitason optimointeihin. TorchTitan tarjoaa TorchTPU-reseptit tiheiden mallien esikoulutukseen. Niitä ovat esimerkiksi Llama 3 70B ja 405B, Qwen 3 8B ja 32B sekä MuseGlimmer 30B. Lisäksi tuettuihin malleihin kuuluvat Qwen 3 235B:n asiantuntijaseosmalli ja FLUX.1 12B -diffuusiomuuntaja. Google kertoi integraation olevan validoitu jopa 8 000 Ironwood TPU -yksiköllä (TPU v7x). TorchTitanin kautta toteutettu TorchTPU-koulutus saavutti Qwen 3 8B -mallilla jopa 52 prosentin mallin liukulukuoperaatioiden käyttöasteen, ja skaalautuminen oli lähes lineaarista jopa 8 192 Ironwood TPU -yksikköön asti.

Google lisäsi VeRL-vahvistusoppimiskehykseen myös TPU-taustajärjestelmän ja päästä päähän ulottuvan viitereseptin. GRPO-resepti perustuu eriytettyyn kouluttaja- ja näytteenottoarkkitehtuuriin, ja sitä esiteltiin matemaattisen päättelyn aineistoilla. Sen tarkoituksena on mahdollistaa VeRL-työkuormien ajaminen TPU-laitteilla niin, että kehittäjät voivat säilyttää nykyisen laitteistoriippumattoman malli- ja algoritmikoodinsa.

Ray lisää natiivin TorchTPU-tuen PyTorchin datankäsittelyn, koulutuksen, vahvistusoppimisen ja palvelun orkestrointiin prosessoreilla, näytönohjaimilla ja TPU-kiihdyttimillä yhdessä työnkulussa. Anyscalen pääarkkitehti Edward Oakes kertoi, että yritykset työskentelivät yhdessä tehdäkseen TPU-kiihdyttimistä Rayn ensiluokkaisen kiihdytinvaihtoehdon. Hän lisäsi: ”TorchTPU tuo Googlen TPU-kiihdyttimet suoraan tähän alan standardiksi muodostuneeseen ohjelmistopinoon.”

Aiempi arkkitehtuuri ja saatavuus

TorchTPU esiteltiin julkisesti 7. huhtikuuta 2026 Google Developersin blogikirjoituksessa, jossa kuvattiin PyTorchin PrivateUse1-rajapintaan perustuvaa ”Eager First” -suunnittelua. Siinä Debug-, Strict- ja Fused-eager-tilat käyttävät yhteistä käännösvälimuistia. Google kertoi tuolloin, että Fused Eager parantaa suorituskykyä 50–yli 100 % Strict Eageriin verrattuna ja että TorchTPU:n torch.compile tallentaa FX-graafeja Torch Dynamon avulla ja muuntaa ne XLA:n ja StableHLO:n kautta. Mukautetut ytimet kirjoitetaan Pallasilla ja JAXilla. Kirjoituksen mukaan ohjelmistopino tukee Distributed Data Parallel-, FSDPv2- ja DTensor-toimintoja heti käyttövalmiina, ja sen arkkitehtuuri on suunniteltu käsittelemään eriävää suoritusta rinnakkaisissa prosesseissa. TorchTPU:n vuoden 2026 etenemissuunnitelman kohtiin kuului myös julkisen GitHub-repositorion julkaiseminen.

torch_tpu-repositorio on nyt julkinen google-pytorch-organisaation GitHubissa, ja se on lisensoitu Apache 2.0 -lisenssillä. README-tiedostossa luetellaan mukautetut ATen-ytimet, XLA-laskentojen käännösvälimuisti, hajautetun koulutuksen tuki data- ja tensoririnnakkaisuudelle, torch.compile-integraatio, virheenjäljitys- ja vertailutyökalut sekä esimerkit Llamasta, Qwenistä, ResNetistä, DLRM:stä, minGPT:stä ja UNetistä. Projekti tukee Python 3.11:tä ja sitä uudempia versioita. torch-tpu 0.2.0 -paketti julkaistiin PyPI:ssä 19. lokakuuta 2026, ja se sisältää Linuxin x86-64-pyörät CPython-versioille 3.11–3.14. Käyttöopas on julkaistu osoitteessa torchtpu.readthedocs.io. README-tiedoston mukaan projektin vuorovaikutteiset muistikirjat on suoritettava TPU-virtuaalikoneessa, ja v6e GCE -instanssi on siihen helpoin vaihtoehto.

Samassa tiedotteessa Google kertoi, että aiemmin TensorFlow Litena tunnettu LiteRT liittyy PyTorch-ekosysteemiin: LiteRT-Torch-kirjasto muuntaa PyTorch-mallin yhdellä litert-torch.convert() kutsulla, ja muunnetut mallit toimivat Android-, iOS-, macOS-, Windows- ja Linux-laitteissa sekä verkossa ja esineiden internetin laitteissa. PyTorch-mallien käyttöönoton, diagnostiikan ja päättelyn suorituskyvyn optimoinnin automatisointiin tarkoitettu TPU-agenttien työkalupaketti on GitHubissa varhaisessa esikatseluvaiheessa.

Tiedotteessa ohjataan kehittäjiä tutustumaan Google Cloudin TPU-dokumentaatioon, jotta he pääsevät käyttämään PyTorchia TPU-kiihdyttimillä.