Google Membuka TorchTPU sebagai Sumber Terbuka, Menghadirkan PyTorch Native di TPU-nya

Google mengumumkan pada 20 Oktober 2026, di PyTorch Conference 2026, bahwa TorchTPU, tumpukan PyTorch native untuk Tensor Processing Unit (TPU), kini tersedia sebagai sumber terbuka di GitHub, menurut perusahaan dalam blog Google Cloud. Perangkat lunak ini dikembangkan bersama tim PyTorch di Meta dan dirancang untuk menjalankan beban kerja PyTorch yang sudah ada di TPU dengan sedikit perubahan kode.

Dengan peluncuran ini, TPU bergabung dengan GPU dan CPU sebagai opsi native untuk PyTorch, demikian menurut Google, yang mencakup pelatihan, penyajian, dan penerapan melalui berbagai alat, termasuk vLLM, SGLang, llm-d, TorchTitan, Ray, TorchRec, Hugging Face, dan LiteRT. Pengembang dapat menelusuri kesalahan model dalam mode eager, lalu beralih ke kinerja tingkat produksi melalui torch.compile untuk mengoptimalkan pemanfaatan TPU dan mengurangi beban memori.

Jana van Greunen, Direktur Rekayasa PyTorch di Meta, mengatakan dalam pengumuman tersebut bahwa TorchTPU memungkinkan Meta mengembangkan perangkat keras secara fleksibel bersama tim sistem pembelajaran mesin intinya, sekaligus mendukung beban kerja sistem LLM, periklanan, dan rekomendasi berskala besar. “Teknologi ini memungkinkan kami menerapkan beban kerja PyTorch di TPU Google, memberikan masukan langsung kepada tim rekayasa, dan membangun fleksibilitas ekosistem yang dibutuhkan semua orang,” ujarnya.

Integrasi Hugging dan Penyajian

Google bermitra dengan Hugging Face agar model berbobot terbuka di Hugging Face Hub dapat berjalan secara native di TorchTPU. Di Transformers v5, model diterapkan ke TPU dengan meneruskan device_map="tpu", dan pustaka Diffusers berjalan secara native di TPU dengan dukungan untuk mode eager, torch.compile, dan paralelisme tensor di beberapa akselerator. Google mengatakan pihaknya juga membangun pipeline CI/CD khusus untuk pengujian berkelanjutan setiap malam terhadap rangkaian Hugging Face Transformers di infrastruktur TPU. Jeff Boudier, VP Produk di Hugging Face, mengatakan kolaborasi ini mewujudkan komitmen platform tersebut terhadap pilihan perangkat keras.

Untuk penyajian, backend vLLM native PyTorch di TorchTPU dikembangkan melalui kemitraan dengan Inferact. Google mengatakan backend ini mendukung batching berkelanjutan, kuantisasi, dan paralelisme multi-chip pada perangkat keras TPU menggunakan kernel Pallas khusus, sekaligus mempertahankan model pekerja, penjadwal, dan server API upstream sehingga tumpukan inferensi yang sudah ada tidak memerlukan perubahan. Simon Mo, CEO sekaligus salah satu pendiri Inferact, mengatakan integrasi ini menghadirkan dukungan vLLM kelas utama untuk TPU.

Backend native PyTorch untuk SGLang, yang dikembangkan bersama RadixArk, ditujukan untuk beban kerja terstruktur dan berbasis agen. Menurut pengumuman tersebut, SGLang menggunakan RadixAttention untuk menggunakan kembali cache KV di berbagai permintaan sehingga prefiks prompt yang berulang tidak perlu dihitung ulang, sementara versi TorchTPU menggunakan backend transfer disaggregated yang juga berfungsi sebagai backend I/O untuk HiCache. Banghua Zhu, CTO sekaligus salah satu pendiri RadixArk, mengatakan TorchTPU telah mempercepat pekerjaan perusahaan tersebut saat meluncurkan dukungan SGLang untuk berbagai jenis silikon.

Google juga merilis llm-d 1.0 bersama Red Hat, IBM, serta komunitas yang terdiri atas lebih dari 500 kontributor dan 25 organisasi sebagai proyek Sandbox Cloud Native Computing Foundation. Pengumuman tersebut menjelaskan bahwa llm-d menghubungkan ekosistem penyajian PyTorch dengan penerapan produksi berbasis Kubernetes: router-nya menggunakan perutean yang mempertimbangkan cache prefiks untuk mengirim setiap permintaan ke replika yang sudah menyimpan konteksnya, serta memisahkan tahap prefill yang intensif komputasi dari tahap decode yang intensif memori. Versi 1.0 menambahkan kontrol alur multi-penyewa, ketersediaan tinggi untuk router, API v1 yang stabil, dan perutean yang peka terhadap sesi bagi agen; di Google Kubernetes Engine, satu endpoint llm-d dapat dijalankan di GPU maupun TPU.

Prof. Sashikumaar Ganesan, pendiri Zenteiq, mengatakan dalam pengumuman tersebut bahwa GKE Inference Gateway yang didukung llm-d menghasilkan throughput inferensi agregat lebih dari 4× lipat untuk pembuatan data sintetis perusahaan itu, sehingga kapasitas token harian yang dihasilkan meningkat dari 1,47 miliar menjadi 5,97 miliar token per 1.000 akselerator TPU v6e.

Pelatihan dan Orkestrasi

TorchTitan, implementasi referensi native PyTorch untuk pelatihan terdistribusi, kini mencakup integrasi TorchTPU yang, menurut Google, siap untuk produksi dan dibangun menggunakan torch.compile, SimpleFSDP dari TorchTitan, kernel Pallas khusus, serta optimisasi tingkat graf. TorchTitan menyediakan resep TorchTPU untuk prapelatihan model padat seperti Llama 3 70B dan 405B, Qwen 3 8B dan 32B, serta MuseGlimmer 30B, berikut model campuran pakar Qwen 3 235B dan transformer difusi FLUX.1 12B. Google mengatakan integrasi tersebut telah divalidasi pada hingga 8.000 TPU Ironwood (TPU v7x), dan pelatihan TorchTPU melalui TorchTitan mencapai utilisasi FLOP model hingga 52% pada Qwen 3 8B, dengan penskalaan yang nyaris linear pada hingga 8.192 TPU Ironwood.

Google juga menyumbangkan backend TPU dan resep referensi menyeluruh ke VeRL, sebuah kerangka kerja pembelajaran penguatan. Resep GRPO, yang dibangun berdasarkan arsitektur pelatih-pengambil sampel terpisah dan didemonstrasikan pada kumpulan data penalaran matematika, dirancang agar pengembang dapat menjalankan beban kerja VeRL di TPU tanpa mengubah kode model dan algoritme mereka yang sudah ada dan tidak bergantung pada perangkat keras tertentu.

Ray menambahkan dukungan TorchTPU native untuk mengoordinasikan pemrosesan data, pelatihan, pembelajaran penguatan, dan penyajian PyTorch di CPU, GPU, dan TPU dalam satu alur kerja. Edward Oakes, arsitek utama di Anyscale, mengatakan bahwa kedua perusahaan bekerja sama agar TPU menjadi akselerator kelas satu di Ray, seraya menambahkan: “TorchTPU menyematkan TPU Google secara langsung ke dalam tumpukan standar industri tersebut.”

Arsitektur dan Ketersediaan Sebelumnya

TorchTPU diperkenalkan ke publik pada 7 April 2026, melalui unggahan blog Google Developers yang menjelaskan desain “Eager First” berdasarkan antarmuka PrivateUse1 PyTorch, dengan mode eager Debug, Strict, dan Fused yang menggunakan cache kompilasi bersama. Saat itu, Google menyatakan bahwa Fused Eager memberikan peningkatan kinerja sebesar 50% hingga 100+% dibandingkan Strict Eager, dan bahwa torch.compile di TorchTPU menangkap grafik FX dengan Torch Dynamo lalu menurunkannya melalui XLA dan StableHLO, menggunakan kernel khusus yang ditulis dengan Pallas dan JAX. Unggahan tersebut menyebutkan bahwa tumpukan ini mendukung Distributed Data Parallel, FSDPv2, dan DTensor secara langsung, serta dirancang untuk menangani eksekusi yang berbeda-beda di antara rank. Unggahan itu juga mencantumkan peluncuran repositori GitHub publik sebagai salah satu item peta jalan TorchTPU untuk 2026.

Repositori torch_tpu kini tersedia untuk publik di organisasi GitHub google-pytorch dan dilisensikan berdasarkan Apache 2.0. README-nya mencantumkan kernel ATen khusus, cache kompilasi untuk komputasi XLA, dukungan pelatihan terdistribusi untuk paralelisme data dan tensor, integrasi torch.compile, utilitas penelusuran kesalahan dan tolok ukur, serta contoh untuk Llama, Qwen, ResNet, DLRM, minGPT, dan UNet. Proyek ini mendukung Python 3.11 dan versi yang lebih baru, sedangkan paket torch-tpu 0.2.0 dirilis di PyPI pada 19 Oktober 2026, dengan berkas roda Linux x86-64 untuk CPython 3.11 hingga 3.14. Panduan pengguna tersedia di torchtpu.readthedocs.io, dan README menyebutkan bahwa notebook interaktif proyek ini harus dijalankan dari VM TPU; instance v6e GCE merupakan pilihan termudah.

Dalam pengumuman yang sama, Google menyatakan bahwa LiteRT, yang sebelumnya bernama TensorFlow Lite, bergabung dengan ekosistem PyTorch: pustaka LiteRT-Torch mengonversi model PyTorch hanya dengan satu litert-torch.convert() panggilan, dan model yang telah dikonversi dapat dijalankan di perangkat Android, iOS, macOS, Windows, Linux, web, dan IoT. Rangkaian agen TPU yang dirancang untuk mengotomatiskan orientasi awal, diagnostik, dan penyetelan kinerja inferensi untuk model PyTorch masih dalam tahap pratinjau awal di GitHub.

Pengumuman tersebut mengarahkan pengembang ke dokumentasi TPU Google Cloud untuk mulai menjalankan PyTorch di TPU.