Google Cloud gjør Pathways Runtime allment tilgjengelig for TPU-arbeidsbelastninger i stor skala

Google Cloud kunngjorde 9. november 2026 at Cloud Pathways er allment tilgjengelig på Google Kubernetes Engine (GKE). Dermed får kundene tilgang til en kjøretidsløsning med én kontroller for trening og inferens i stor skala. Google opplyste at brukerne behandlet mer enn 130 millioner Cloud TPU-brikketimer med Pathways på GKE i løpet av de foregående 90 dagene.

Kjøretidsløsningen, også kalt Pathways on Cloud, er en sentral del av kjøretidslaget i Google Cloud AI Hypercomputer. Den ble opprinnelig utviklet av Google DeepMind for å trene og kjøre Googles mest avanserte modeller, blant annet Gemini, og er utformet for store, heterogene akseleratorparker. Med lanseringen gjøres teknologi som brukes til Googles største AI-arbeidsbelastninger, tilgjengelig for Cloud-kunder.

Én kontroller på tvers av TPU-segmenter

Programvaren skal redusere koordineringsarbeidet som følger med standardoppsettet for JAX med flere kontrollere. I dette oppsettet kjører hver TPU-vert en separat Python-tolk som bare har oversikt over de tilkoblede enhetene lokalt, mens alle vertene utfører det samme programmet med ett program og flere datasett, synkronisert. Ifølge Google gjør dette arbeidsbelastninger med flere programmer på heterogene ressurser og ressursstyring på tvers av segmenter komplekse og sårbare etter hvert som jobbene vokser.

Cloud Pathways erstatter denne løsningen med én samlet kontroller bygget på åpen kildekodebaserte Interim Framework Runtime. Konfigurering JAX_PLATFORMS=proxy med pathwaysutils lar én JAX-klient se og styre flere store TPU-segmenter med til sammen tusenvis av brikker, som om enhetene var koblet til lokalt. Kontrolleren håndterer evaluering av beregningsgrafer, vedvarende hurtigbufring av kompilering i Cloud Storage og asynkron utsending av XLA-arbeid på tvers av segmentene.

Samlokaliserte Python-sidecar-containere med støtte for delt minne kjører beregningsintensive oppgaver, som distribuert datalasting og lagring av kontrollpunkter, direkte på TPU-verter. Elastisk trening bruker øyeblikksbilder av vertsminnet til å omfordele en jobb til ett TPU-segment mindre etter et maskinvareavbrudd, uten at klienten krasjer. Interaktiv modus støtter notatbøker og terminaler, mens Shared Pathways Service lar flere brukere og jobber bruke en langvarig ressursgruppe med TPU-segmenter.

Bruk i produksjon og elastisk gjenoppretting

Google Cloud opplyser at et stort teknologiselskap innen forbrukermarkedet kjører inferens for batchjobber og forsterkningslæring i produksjon på titusenvis av TPU-brikker av typene v5p, Trillium v6e og Ironwood TPU7x. Denne utrullingen bruker mer enn 100 millioner brikketimer per kvartal, og kunden har utviklet elastisitetsfunksjoner sammen med Google etter hvert som selskapet utvider bruken til forhåndstrening.

ZenteiQ bruker den samme teknologistakken til vitenskapelige grunnmodeller. Selskapet bruker Cloud Pathways på GKE med Cluster Toolkit, samlokaliserte sidecar-containere og øyeblikksbilder av vertsminnet til elastisk forhåndstrening med MaxText og forsterkningslæring med én kontroller, med MaxText og Tunix på Trillium-klynger med flere segmenter.

Grunnlegger Sashikumaar Ganesan sa at kontrolleren overvåker TPU-topologien og dynamisk bygger opp nettstrukturen på nytt og endrer størrelsen på arbeidsbelastningene når en brikke eller et segment kobles fra. «Ved å kombinere Pathways med øyeblikksbilder av vertsminnet i produksjon reduserer vi gjenopprettingstiden til et minimum når avbrudd oppstår. Dermed utnyttes all tilgjengelig TPU-kapasitet fullt ut, med svært lite nedetid», sa han.

Tilgjengelighet på GKE og forhåndsvisning for Slurm

Cloud Pathways er allment tilgjengelig på GKE i alle Google Cloud-regioner som støtter Cloud TPU v5e, TPU v5p, Trillium TPU v6e og Ironwood TPU 7x. Google tilbyr versjonerte containeravbilder med støtte for JAX 0.10.1 og nyere versjoner.

En separat integrasjon med Cluster Director utvider Cloud Pathways til Slurm TPU-klynger og støtter samlet JAX-kjøring på tvers av flere segmenter, elastisk trening og interaktive notatbøker. Integrasjonen er i forhåndsvisningsfasen, en annen status enn den allmenne tilgjengeligheten til GKE-kjøretidsløsningen.

For operatører som kjører jobber over flere dager på kostbare akseleratorer, knytter lanseringen orkestreringen direkte til utnyttelsesgraden: Én kontroller koordinerer TPU-segmentene, og gjenoppretting basert på øyeblikksbilder er utformet for å holde klientjobben i gang hvis et enkelt segment svikter.