Google, TorchTPU’yu Açık Kaynaklı Hale Getirerek TPUs’larında Yerel PyTorch Desteği Sunuyor

Google, Tensor Processing Unit’ler (TPU’lar) için geliştirdiği yerel PyTorch yığını TorchTPU’nun artık GitHub’da açık kaynaklı olarak sunulduğunu 20 Ekim 2026’da PyTorch Conference 2026’da duyurdu; şirket, Google Cloud blogunda bunu belirtti. PyTorch yazılımı, Meta’daki PyTorch ekibiyle birlikte geliştirildi ve mevcut PyTorch iş yüklerini kodda çok az değişiklik yaparak TPU’larda çalıştırmak üzere tasarlandı.

Google’ın açıklamasına göre bu sürümle birlikte TPU’lar da GPU’lar ve CPU’lar gibi PyTorch için yerel bir seçenek haline geliyor; eğitim, model sunumu ve dağıtım süreçleri vLLM, SGLang, llm-d, TorchTitan, Ray, TorchRec, Hugging Face ve LiteRT gibi araçları kapsıyor. Geliştiriciler modellerde hata ayıklamak için istekli yürütme modunu kullanıp ardından TPU kullanımını iyileştirmek ve bellek yükünü azaltmak üzere torch.compile aracılığıyla üretim düzeyinde performansa geçebiliyor.

Meta’da PyTorch Mühendisliği Direktörü olan Jana van Greunen, duyuruda TorchTPU’nun Meta’nın temel makine öğrenimi sistemleri ekibiyle donanımı esnek biçimde birlikte geliştirmesine olanak tanırken büyük LLM, reklam ve öneri sistemleri iş yüklerini de desteklediğini söyledi. “PyTorch iş yüklerimizi Google TPU’larına dağıtmamızı, mühendislik ekiplerine doğrudan geri bildirim vermemizi ve herkesin ihtiyaç duyduğu ekosistem esnekliğini oluşturmamızı sağlıyor,” dedi.

Hugging ve Model Sunumu Entegrasyonları

Google, Hugging Face Hub’daki açık ağırlıklı modellerin TorchTPU üzerinde yerel olarak çalışmasını sağlamak için Hugging Face ile ortaklık kurdu. Transformers v5’te bir modeli TPU’lara dağıtmak için şu parametreyi iletmek device_map="tpu", ayrıca Diffusers kitaplığı TPU’larda yerel olarak çalışıyor ve istekli yürütme modu, torch.compile ve birden fazla hızlandırıcıda tensör paralelliği desteği sunuyor. Google, Hugging Face Transformers paketinin TPU altyapısında sürekli olarak her gece test edilmesi için özel CI/CD işlem hatları da oluşturduğunu söyledi. Hugging Face Ürün Başkan Yardımcısı Jeff Boudier, bu iş birliğinin platformun donanım seçimi taahhüdünü uygulamaya geçirdiğini belirtti.

Model sunumu için TorchTPU üzerindeki yerel PyTorch vLLM arka ucu, Inferact ile ortaklaşa geliştirildi. Google, özel Pallas çekirdekleri kullanarak TPU donanımında sürekli gruplama, niceleme ve çok çipli paralelliği desteklediğini; mevcut çıkarım yığınlarında değişiklik gerekmemesi için yukarı akıştaki çalışan modellerini, zamanlayıcıları ve API sunucularını da koruduğunu söyledi. Inferact CEO’su ve kurucu ortağı Simon Mo, entegrasyonun TPU’lara birinci sınıf vLLM desteği getirdiğini belirtti.

RadixArk ile geliştirilen SGLang için yerel bir PyTorch arka ucu, yapılandırılmış ve ajan tabanlı iş yüklerini hedefliyor. Duyuruya göre SGLang, yinelenen istem öneklerinin yeniden hesaplanmasını önlemek amacıyla istekler arasında KV önbelleğini yeniden kullanmak için RadixAttention’dan yararlanıyor; TorchTPU sürümünde ise HiCache için G/Ç arka ucu işlevi de gören ayrıştırılmış bir aktarım arka ucu kullanılıyor. RadixArk’ın Teknolojiden Sorumlu Başkanı ve kurucu ortağı Banghua Zhu, şirket farklı silikonlarda SGLang desteğini kullanıma sunarken TorchTPU’nun çalışmalarını hızlandırdığını söyledi.

Google ayrıca Red Hat, IBM ve 500’den fazla katkı sağlayıcı ile 25 kuruluşun oluşturduğu toplulukla birlikte, Cloud Native Computing Foundation Sandbox projesi olarak llm-d 1.0’ı yayımlıyor. Duyuruda llm-d, PyTorch model sunumu ekosistemini Kubernetes tabanlı üretim dağıtımıyla buluşturan bir çözüm olarak tanımlanıyor: yönlendiricisi, her isteği bağlamını zaten barındıran kopyaya göndermek için önek önbelleğini dikkate alan yönlendirme kullanıyor ve işlem yoğun ön doldurma aşamasını bellek yoğun çözümleme aşamasından ayırıyor. 1.0 sürümü, çok kiracılı akış denetimi, yüksek erişilebilirliğe sahip yönlendirici, kararlı v1 API’leri ve ajanlar için oturum farkındalıklı yönlendirme özellikleri ekliyor; Google Kubernetes Engine’de ortak bir llm-d uç noktası GPU’larda veya TPU’larda çalışabiliyor.

Zenteiq’in kurucusu Prof. Sashikumaar Ganesan, duyuruda llm-d destekli GKE Inference Gateway’in şirketin sentetik veri üretimi için toplam çıkarım kapasitesini 4 kattan fazla artırdığını ve 1.000 TPU v6e hızlandırıcısı başına günlük üretilebilen belirteç kapasitesini 1,47 milyardan 5,97 milyara çıkardığını söyledi.

Eğitim ve Orkestrasyon

Dağıtık eğitim için PyTorch’a özgü referans uygulaması TorchTitan, Google’ın üretim kullanıma hazır olarak tanımladığı ve torch.compile, TorchTitan’ın SimpleFSDP’si, özel Pallas çekirdekleri ve grafik düzeyinde optimizasyonlar üzerine kurulu TorchTPU entegrasyonunu artık içeriyor. TorchTitan; Llama 3 70B ve 405B, Qwen 3 8B ve 32B ile MuseGlimmer 30B gibi yoğun modellerin ön eğitimi için TorchTPU tariflerinin yanı sıra Qwen 3 235B karma uzmanlı modelini ve FLUX.1 12B difüzyon dönüştürücüsünü de sunuyor. Google, entegrasyonun 8.000’e kadar Ironwood TPU’da (TPU v7x) doğrulandığını ve TorchTitan üzerinden TorchTPU ile yapılan eğitimin Qwen 3 8B’de %52’ye kadar Model FLOP Kullanım oranına ulaştığını, ayrıca 8.192’ye kadar Ironwood TPU’da neredeyse doğrusal ölçeklendirme sağladığını söyledi.

Google ayrıca pekiştirmeli öğrenme çerçevesi VeRL’ye bir TPU arka ucu ve uçtan uca referans tarifi ekledi. Ayrıştırılmış bir eğitici-örnekleyici mimarisi üzerine kurulan ve matematiksel akıl yürütme veri kümelerinde gösterilen GRPO tarifi, geliştiricilerin mevcut donanımdan bağımsız model ve algoritma kodlarını korurken VeRL iş yüklerini TPU’larda çalıştırabilmesini amaçlıyor.

Ray, PyTorch veri işleme, eğitim, pekiştirmeli öğrenme ve sunum süreçlerinin CPU’lar, GPU’lar ve TPU’lar arasında tek bir iş akışı içinde düzenlenmesi için yerel TorchTPU desteği sunuyor. Anyscale’ın baş mimarı Edward Oakes, şirketlerin TPU’ları Ray’de birinci sınıf hızlandırıcılar hâline getirmek için çalıştığını belirterek şöyle dedi: “TorchTPU, Google TPU’larını doğrudan sektör standardı olan bu teknoloji yığınına entegre ediyor.”

Önceki Mimari ve Kullanılabilirlik

TorchTPU, 7 Nisan 2026’da yayımlanan bir Google Developers Blog yazısında kamuoyuna tanıtıldı. Yazıda, PyTorch’un PrivateUse1 arayüzü üzerine kurulu ve ortak bir derleme önbelleğiyle desteklenen Debug, Strict ve Fused eager modlarını içeren “Önce Eager” tasarımı anlatılıyordu. Google o dönemde, Fused Eager’ın Strict Eager’a kıyasla performansı %50 ila %100’ün üzerinde artırdığını ve TorchTPU’da torch.compile’ın Torch Dynamo ile FX grafikleri yakalayıp bunları XLA ve StableHLO üzerinden daha düşük seviyeli gösterimlere dönüştürdüğünü; özel çekirdeklerin ise Pallas ve JAX ile yazıldığını belirtti. Yazıda, bu teknoloji yığınının Distributed Data Parallel, FSDPv2 ve DTensor’ı kutudan çıktığı hâliyle desteklediği ve farklı sıralardaki işlemlerin birbirinden ayrışmasını yönetecek şekilde tasarlandığı ifade edildi. Ayrıca, herkese açık bir GitHub deposunun kullanıma sunulması TorchTPU’nun 2026 yol haritasındaki maddeler arasında yer aldı.

torch_tpu deposu artık google-pytorch GitHub kuruluşu altında herkese açık ve Apache 2.0 lisansına sahip. README’de özel ATen çekirdekleri, XLA hesaplamaları için derleme önbelleği, veri ve tensör paralelliği için dağıtık eğitim desteği, torch.compile entegrasyonu, hata ayıklama ve performans ölçümü araçları ile Llama, Qwen, ResNet, DLRM, minGPT ve UNet örnekleri listeleniyor. Proje Python 3.11 ve sonraki sürümleri destekliyor; torch-tpu 0.2.0 paketi ise CPython 3.11’den 3.14’e kadar olan sürümler için Linux x86-64 paketleriyle 19 Ekim 2026’da PyPI’da yayımlandı. Kullanıcı kılavuzu torchtpu.readthedocs.io adresinde yayımlanıyor. README’de, projedeki etkileşimli not defterlerinin bir TPU VM üzerinden çalıştırılması gerektiği ve bunun için en kolay seçeneğin v6e GCE örneği olduğu belirtiliyor.

Aynı duyuruda Google, daha önce TensorFlow Lite olarak bilinen LiteRT’nin PyTorch ekosistemine katıldığını ve LiteRT-Torch kütüphanesinin bir PyTorch modelini tek bir litert-torch.convert() çağrıyla dönüştürdüğünü; dönüştürülen modellerin Android, iOS, macOS, Windows, Linux, web ve IoT cihazlarında çalıştığını belirtti. PyTorch modelleri için ilk kurulum, tanılama ve çıkarım performansını ayarlama süreçlerini otomatikleştirmeyi amaçlayan bir TPU ajan paketi, GitHub’da erken önizleme aşamasında sunuluyor.

Duyuruda, PyTorch’u TPU’larda çalıştırmaya başlamak isteyen geliştiriciler Google Cloud’un TPU belgelerine yönlendiriliyor.