Google Cloud zpřístupňuje Pathways Runtime pro rozsáhlé úlohy na TPU

Google Cloud 9. listopadu 2026 oznámil, že Cloud Pathways je nyní všeobecně dostupný v prostředí Google Kubernetes Engine (GKE) a zákazníkům přináší běhové prostředí s jediným řadičem pro rozsáhlé trénování a inferenci. Podle Googlu uživatelé během předchozích 90 dní zpracovali s Pathways v GKE více než 130 milionů hodin výpočtů na čipech Cloud TPU.

Toto běhové prostředí, označované také jako Pathways on Cloud, je jedním ze základních pilířů běhového prostředí Google Cloud AI Hypercomputer. Původně ho navrhla společnost Google DeepMind pro trénování a provoz nejmodernějších modelů Googlu včetně Gemini. Je určeno pro rozsáhlé, heterogenní flotily akcelerátorů. Toto vydání zpřístupňuje zákazníkům cloudu technologii, která se používá pro největší úlohy Googlu v oblasti AI.

Jeden řadič napříč segmenty TPU

Tento software řeší režijní náklady na koordinaci ve výchozím víceřadičovém uspořádání JAX. V takovém nastavení běží na každém hostiteli TPU samostatný interpret Pythonu, který má přehled pouze o připojených zařízeních, zatímco všechny hostitele synchronizovaně spouštějí tentýž program typu „jeden program, více dat“. Podle Googlu tak s rostoucím rozsahem úloh narůstá složitost a křehkost heterogenních úloh s více programy i správy prostředků napříč segmenty.

Cloud Pathways nahrazuje toto uspořádání jednotným řadičem postaveným na open-source běhovém prostředí Interim Framework Runtime. Nastavení JAX_PLATFORMS=proxy pomocí pathwaysutils umožňuje jednomu klientovi JAX zobrazit a řídit několik rozsáhlých segmentů TPU, které dohromady zahrnují tisíce čipů, jako by jejich zařízení byla připojena lokálně. Řadič spravuje vyhodnocování grafů, trvalou mezipaměť kompilací v Cloud Storage a asynchronní odesílání úloh XLA napříč segmenty.

Kontejnery Pythonu fungující souběžně jako pomocné procesy a podporující sdílenou paměť spouštějí přímo na hostitelích TPU výpočetně náročné úlohy, například distribuované načítání dat a vytváření kontrolních bodů. Elastické trénování využívá snímky obsahu paměti hostitele, aby po hardwarovém přerušení znovu rozdělilo úlohu na o jeden segment méně, aniž by došlo k pádu klienta. Interaktivní režim podporuje notebooky a terminály, zatímco Shared Pathways Service umožňuje více uživatelům a úlohám využívat dlouhodobě běžící fond segmentů TPU.

Produkční nasazení a elastické zotavení

Google Cloud uvádí, že velká společnost zaměřená na spotřebitelské technologie provozuje v produkčním prostředí dávkovou inferenci a inferenci pro posilované učení na desítkách tisíc čipů TPU v5p, Trillium v6e a Ironwood TPU7x. Toto nasazení spotřebuje více než 100 milionů hodin výpočtů na čipech za čtvrtletí a zákazník se při rozšiřování na předtrénování podílel s Googlem na společném návrhu mechanismů elasticity.

Společnost ZenteiQ používá stejnou technologickou sestavu pro základní vědecké modely. V prostředí GKE využívá Cloud Pathways spolu s Cluster Toolkit, souběžně běžícími pomocnými procesy a vytvářením snímků obsahu paměti hostitele k elastickému předtrénování pomocí MaxText a k posilovanému učení s jediným řadičem pomocí MaxText a Tunix napříč vícesegmentovými klastry Trillium.

Zakladatel Sashikumaar Ganesan uvedl, že řadič sleduje topologii TPU a dynamicky mění propojení i velikost úloh, když některý čip nebo segment přestane být dostupný. „Kombinace Pathways a vytváření snímků obsahu paměti hostitele v produkčním prostředí zkracuje dobu zotavení při výpadcích na minimum a pomáhá plně využívat dostupnou kapacitu TPU při jen velmi krátkých prodlevách,“ řekl.

Dostupnost v GKE a verze Preview pro Slurm

Cloud Pathways je všeobecně dostupný v GKE ve všech regionech Google Cloud, které podporují Cloud TPU v5e, TPU v5p, Trillium TPU v6e a Ironwood TPU 7x. Google poskytuje verzované obrazy kontejnerů s podporou JAX 0.10.1 a novějších verzí.

Samostatná integrace s Cluster Director rozšiřuje Cloud Pathways na klastry TPU se Slurm a podporuje jednotné spouštění JAX napříč více segmenty, elastické trénování i interaktivní notebooky. Tato integrace je ve verzi Preview, což je odlišný stav než všeobecná dostupnost běhového prostředí v GKE.

Pro provozovatele, kteří spouštějí vícedenní úlohy na nákladných akcelerátorech, toto vydání přímo propojuje orchestraci s využitím prostředků: jeden řadič koordinuje segmenty TPU a zotavení na základě snímků je navrženo tak, aby klientská úloha pokračovala i při selhání jednotlivého segmentu.