AI-modeller och plattformar
Google Cloud gör Pathways Runtime allmänt tillgängligt för storskaliga TPU-arbetslaster
Lägg till Unite.AI bland dina föredragna källor på Google
Den 9 november 2026 meddelade Google Cloud att Cloud Pathways nu är allmänt tillgängligt på Google Kubernetes Engine (GKE), vilket ger kunderna en runtime med en enda styrenhet för storskalig träning och inferens. Google uppgav att användarna hade förbrukat mer än 130 miljoner Cloud TPU-chiptimmar med Pathways på GKE under de föregående 90 dagarna.
Runtimen, som också kallas Pathways on Cloud, är en central runtime-komponent i Google Cloud AI Hypercomputer. Den utvecklades ursprungligen av Google DeepMind för att träna och köra Googles mest avancerade modeller, däribland Gemini, och är utformad för storskaliga, heterogena acceleratorflottor. Lanseringen ger Google Clouds kunder tillgång till teknik som används för Googles största AI-arbetslaster.
En styrenhet för flera TPU-segment
Programvaran är utformad för att minska samordningsarbetet som krävs av JAX standardkonfiguration med flera styrenheter. I den konfigurationen kör varje TPU-värd en separat Python-tolkare som bara har en lokal vy över de enheter som är anslutna till den, samtidigt som alla värdar synkroniserat kör samma program med ett program och flera data. Enligt Google gör detta heterogena arbetslaster med flera program och resurshantering över flera segment komplicerade och instabila när jobben växer.
Cloud Pathways ersätter den konfigurationen med en enhetlig styrenhet som bygger på Interim Framework Runtime med öppen källkod. Konfiguration JAX_PLATFORMS=proxy med pathwaysutils gör det möjligt för en JAX-klient att visa och styra flera stora TPU-segment med tusentals chip som om enheterna vore lokalt anslutna. Styrenheten hanterar grafutvärdering, beständig kompileringscache i Cloud Storage och asynkron schemaläggning av XLA-arbete mellan segmenten.
Python-bikontainrar som körs tillsammans med TPU-värdarna och har stöd för delat minne utför beräkningsintensiva uppgifter, som distribuerad dataladdning och skapande av kontrollpunkter, direkt på TPU-värdarna. Elastisk träning använder ögonblicksbilder av värdminnet för att omfördela ett jobb till ett segment mindre efter ett hårdvaruavbrott, utan att klienten kraschar. Interaktivt läge stöder notebook-miljöer och terminaler, medan Shared Pathways Service låter flera användare och jobb använda en långvarigt tillgänglig pool av TPU-segment.
Produktionsanvändning och elastisk återhämtning
Google Cloud uppger att ett stort konsumentteknikföretag kör batchinferens och inferens för förstärkningsinlärning i produktion på tiotusentals TPU v5p-, Trillium v6e- och Ironwood TPU7x-chip. Driftsättningen förbrukar mer än 100 miljoner chiptimmar per kvartal, och kunden har tillsammans med Google utformat funktioner för elasticitet i takt med att företaget utökar användningen till förträning.
ZenteiQ använder samma teknikstack för vetenskapliga grundmodeller. Företaget använder Cloud Pathways på GKE med Cluster Toolkit, samlokaliserade bikontainrar och ögonblicksbilder av värdminnet för elastisk förträning med MaxText och förstärkningsinlärning med en enda styrenhet, med MaxText och Tunix i Trillium-kluster med flera segment.
Grundaren Sashikumaar Ganesan uppgav att styrenheten övervakar TPU-topologin och dynamiskt omkonfigurerar och ändrar storlek på arbetslaster när ett chip eller segment kopplas från. ”Genom att kombinera Pathways med ögonblicksbilder av värdminnet i produktion minimerar vi återhämtningstiden vid avbrott, så att vår tillgängliga TPU-kapacitet utnyttjas fullt ut med mycket korta driftstopp”, sade han.
Tillgänglighet på GKE och förhandsversion för Slurm
Cloud Pathways är allmänt tillgängligt på GKE i alla Google Cloud-regioner som stöder Cloud TPU v5e, TPU v5p, Trillium TPU v6e och Ironwood TPU 7x. Google tillhandahåller versionshanterade containeravbilder med stöd för JAX 0.10.1 och senare versioner.
En separat integration med Cluster Director utökar Cloud Pathways till Slurm TPU-kluster och stöder enhetlig JAX-körning över flera segment, elastisk träning och interaktiva notebook-miljöer. Integrationen är i förhandsversion, vilket är en annan status än runtimens allmänna tillgänglighet på GKE.
För operatörer som kör flerdagarsjobb på dyra acceleratorer kopplar lanseringen orkestreringen direkt till resursutnyttjandet: en styrenhet samordnar TPU-segmenten, och återställning med ögonblicksbilder är utformad för att hålla klientjobbet igång om ett enskilt segment slutar fungera.
