Google Cloud Menyediakan Pathways Runtime secara Umum untuk Beban Kerja TPU Skala Besar

Pada 9 November 2026, Google Cloud mengumumkan bahwa Cloud Pathways kini tersedia secara umum di Google Kubernetes Engine (GKE), menghadirkan runtime dengan satu pengontrol untuk pelatihan dan inferensi skala besar bagi pelanggan. Google mengatakan bahwa selama 90 hari sebelumnya, pengguna memproses lebih dari 130 juta jam-chip Cloud TPU dengan Pathways di GKE.

Runtime ini, yang juga disebut Pathways on Cloud, merupakan pilar inti runtime Google Cloud AI Hypercomputer. Awalnya direkayasa oleh Google DeepMind untuk melatih dan menjalankan model terdepan Google, termasuk Gemini, runtime ini dirancang untuk armada akselerator heterogen berskala masif. Peluncuran ini menghadirkan teknologi yang digunakan untuk beban kerja AI terbesar Google kepada pelanggan Cloud.

Satu Pengontrol untuk Berbagai TPU Slice

Perangkat lunak ini mengatasi beban koordinasi yang timbul dari JAX multi-pengontrol bawaan. Dalam konfigurasi tersebut, setiap host TPU menjalankan interpreter Python terpisah yang hanya memiliki tampilan lokal atas perangkat yang terhubung dengannya, sementara semua host menjalankan program single-program, multiple-data yang sama secara serempak. Menurut Google, hal ini membuat beban kerja multi-program heterogen dan pengelolaan sumber daya di berbagai slice menjadi rumit dan rentan saat skala pekerjaan bertambah.

Menyiapkan JAX_PLATFORMS=proxy dengan pathwaysutils memungkinkan satu klien JAX melihat dan mengorkestrasi beberapa TPU slice besar yang mencakup ribuan chip seolah-olah perangkatnya terhubung secara lokal. Pengontrol ini mengelola evaluasi graf, penyimpanan cache kompilasi persisten di Cloud Storage, serta pengiriman tugas XLA secara asinkron ke berbagai slice.

Kontainer sidecar Python yang ditempatkan berdampingan, dengan dukungan memori bersama, menjalankan tugas komputasi intensif seperti pemuatan data terdistribusi dan pembuatan checkpoint langsung di host TPU. Pelatihan elastis menggunakan snapshot memori host untuk membagi ulang pekerjaan ke satu slice lebih sedikit setelah terjadi gangguan perangkat keras, tanpa membuat klien mengalami crash. Mode interaktif mendukung notebook dan terminal, sedangkan Shared Pathways Service memungkinkan beberapa pengguna dan pekerjaan memanfaatkan kumpulan TPU slice yang berjalan dalam jangka panjang.

Penggunaan Produksi dan Pemulihan Elastis

Google Cloud melaporkan bahwa sebuah perusahaan teknologi konsumen besar menjalankan inferensi produksi untuk pemrosesan batch dan pembelajaran penguatan pada puluhan ribu chip TPU v5p, Trillium v6e, dan Ironwood TPU7x. Penerapan tersebut menggunakan lebih dari 100 juta jam-chip per kuartal, dan pelanggan itu merancang bersama Google primitif elastisitas seiring perluasan ke prapelatihan.

ZenteiQ menerapkan tumpukan teknologi yang sama untuk model fondasi ilmiah. Perusahaan ini menggunakan Cloud Pathways di GKE bersama Cluster Toolkit, sidecar yang ditempatkan berdampingan, dan pembuatan snapshot host untuk prapelatihan MaxText yang elastis serta pembelajaran penguatan dengan satu pengontrol menggunakan MaxText dan Tunix di berbagai klaster Trillium multi-slice.

Pendiri Sashikumaar Ganesan mengatakan bahwa pengontrol memantau topologi TPU dan secara dinamis menyusun ulang mesh serta mengubah ukuran beban kerja ketika sebuah chip atau slice menjadi luring. “Menggabungkan Pathways dengan pembuatan snapshot host di lingkungan produksi mempersingkat waktu pemulihan semaksimal mungkin saat terjadi gangguan, sehingga kapasitas TPU yang tersedia tetap dimanfaatkan sepenuhnya dengan waktu jeda yang sangat singkat,” katanya.

Ketersediaan di GKE dan Pratinjau Slurm

Cloud Pathways tersedia secara umum di GKE di semua region Google Cloud yang mendukung Cloud TPU v5e, TPU v5p, Trillium TPU v6e, dan Ironwood TPU 7x. Google menyediakan image kontainer berversi yang mendukung JAX 0.10.1 dan versi setelahnya.

Integrasi terpisah dengan Cluster Director memperluas Cloud Pathways ke klaster TPU Slurm, dengan dukungan untuk eksekusi JAX multi-slice terpadu, pelatihan elastis, dan notebook interaktif. Integrasi tersebut berstatus Pratinjau, berbeda dari runtime GKE yang telah tersedia secara umum.

Bagi operator yang menjalankan pekerjaan selama beberapa hari pada akselerator berbiaya tinggi, peluncuran ini mengaitkan orkestrasi langsung dengan pemanfaatan: satu pengontrol mengoordinasikan TPU slice, sementara pemulihan berbasis snapshot dirancang agar pekerjaan klien tetap berjalan ketika satu slice mengalami kegagalan.