Google Cloud gør Pathways-kørselsmiljøet generelt tilgængeligt til TPU-arbejdsbelastninger i stor skala

Google Cloud meddelte den 9. november 2026, at Cloud Pathways er blevet generelt tilgængelig på Google Kubernetes Engine (GKE), så kunderne får adgang til et kørselsmiljø med én controller til træning og inferens i stor skala. Google oplyste, at brugerne havde behandlet mere end 130 millioner Cloud TPU-chip-timer med Pathways på GKE i løbet af de foregående 90 dage.

Kørselsmiljøet, der også kaldes Pathways on Cloud, er en central del af kørselsmiljøet i Google Cloud AI Hypercomputer. Det blev oprindeligt udviklet af Google DeepMind til at træne og køre Googles mest avancerede modeller, herunder Gemini, og er designet til store, heterogene acceleratorflåder. Med lanceringen får Cloud-kunder adgang til teknologi, der bruges til Googles største AI-arbejdsbelastninger.

Én controller på tværs af TPU-slices

Softwaren skal afhjælpe den koordinering, der kræves ved JAX’ standardopsætning med flere controllere. I denne opsætning kører hver TPU-vært sin egen Python-fortolker, som kun har et lokalt overblik over de tilsluttede enheder, mens alle værter synkront udfører det samme program på forskellige data. Ifølge Google gør det håndteringen af heterogene arbejdsbelastninger med flere programmer og ressourcefordelingen på tværs af slices kompleks og skrøbelig, efterhånden som jobbene vokser.

Cloud Pathways erstatter denne opsætning med en samlet controller, der bygger på open source Interim Framework Runtime. Opsætning JAX_PLATFORMS=proxy med pathwaysutils giver én JAX-klient mulighed for at se og styre flere store TPU-slices med tusindvis af chips, som om deres enheder var tilsluttet lokalt. Controlleren håndterer graf-evaluering, vedvarende compilering i Cloud Storage og asynkron afsendelse af XLA-arbejde på tværs af slices.

Sideløbende Python-sidecar-containere med understøttelse af delt hukommelse kører beregningstunge opgaver, såsom distribueret datalæsning og lagring af kontrolpunkter, direkte på TPU-værterne. Elastisk træning bruger snapshots af værthukommelsen til at omfordele et job til én slice færre efter en hardwareafbrydelse, uden at klienten går ned. Interaktiv tilstand understøtter notesbøger og terminaler, mens Shared Pathways Service giver flere brugere og job adgang til en langvarigt kørende pulje af TPU-slices.

Produktionsbrug og elastisk gendannelse

Google Cloud oplyser, at en stor forbrugerteknologivirksomhed kører inferens til produktionsbatcher og forstærkningslæring på titusindvis af TPU v5p-, Trillium v6e- og Ironwood TPU7x-chips. Denne installation bruger mere end 100 millioner chip-timer pr. kvartal, og kunden har i fællesskab udviklet elasticitetsfunktioner med Google, mens virksomheden udvider brugen til fortræning.

ZenteiQ anvender den samme teknologistak til videnskabelige grundmodeller. Virksomheden bruger Cloud Pathways på GKE med Cluster Toolkit, sidecar-containere placeret samme sted som værterne og snapshots af værthukommelsen til elastisk fortræning med MaxText samt forstærkningslæring med én controller ved hjælp af MaxText og Tunix på Trillium-klynger med flere slices.

Grundlæggeren Sashikumaar Ganesan sagde, at controlleren overvåger TPU-topologien og dynamisk omorganiserer mesh-strukturen og ændrer størrelsen på arbejdsbelastninger, når en chip eller slice går offline. »Ved at kombinere Pathways med snapshots af værthukommelsen i produktion minimerer vi gendannelsestiden, når der opstår afbrydelser. Det sikrer, at vores tilgængelige TPU-kapacitet udnyttes fuldt ud med meget kort stilstandstid,« sagde han.

Tilgængelighed på GKE og forhåndsvisning til Slurm

Cloud Pathways er generelt tilgængelig på GKE i alle Google Cloud-regioner, der understøtter Cloud TPU v5e, TPU v5p, Trillium TPU v6e og Ironwood TPU 7x. Google leverer versionsopdelte containeraftryk med understøttelse af JAX 0.10.1 og nyere versioner.

En separat integration med Cluster Director udvider Cloud Pathways til Slurm TPU-klynger og understøtter samlet JAX-kørsel på tværs af flere slices, elastisk træning og interaktive notesbøger. Integrationen er i forhåndsvisning, hvilket er en anden status end den generelle tilgængelighed af GKE-kørselsmiljøet.

For operatører, der kører job over flere dage på dyre acceleratorer, knytter lanceringen orkestreringen direkte til udnyttelsen: Én controller koordinerer TPU-slices, og gendannelse baseret på snapshots er designet til at holde klientjobbet kørende, hvis en enkelt slice svigter.