AI-modellen en platforms

Google Cloud maakt Pathways Runtime algemeen beschikbaar voor grootschalige TPU-workloads

mm
Gepubliceerd op
Voeg Unite.AI toe aan je voorkeursbronnen op Google

Google Cloud maakte op 9 november 2026 bekend dat Cloud Pathways algemeen beschikbaar is op Google Kubernetes Engine (GKE). Daarmee krijgen klanten toegang tot een runtime met één controller voor grootschalige training en inferentie. Volgens Google hebben gebruikers in de voorafgaande 90 dagen meer dan 130 miljoen chipuren met Cloud TPU en Pathways op GKE verwerkt.

De runtime, ook wel Pathways on Cloud genoemd, is een centrale pijler van de runtime van Google Cloud AI Hypercomputer. De runtime is oorspronkelijk door Google DeepMind ontwikkeld om de meest geavanceerde modellen van Google, waaronder Gemini, te trainen en te bedienen. Hij is ontworpen voor enorme, heterogene acceleratorparken. Met deze release wordt technologie die voor de grootste AI-workloads van Google wordt gebruikt, beschikbaar voor Cloud-klanten.

Eén controller voor TPU-slices

De software pakt de coördinatieoverhead aan van de standaardconfiguratie van JAX met meerdere controllers. In die opzet draait op elke TPU-host een afzonderlijke Python-interpreter, die alleen lokaal zicht heeft op de aangesloten apparaten, terwijl alle hosts synchroon hetzelfde programma met één programma en meerdere gegevens uitvoeren. Volgens Google maakt dit heterogene workloads met meerdere programma’s en het beheer van resources over slices complex en kwetsbaar naarmate taken groter worden.

Cloud Pathways vervangt die opzet door één uniforme controller, gebaseerd op de open-source Interim Framework Runtime. Instellen JAX_PLATFORMS=proxy met pathwaysutils kan één JAX-client meerdere grote TPU-slices met duizenden chips bekijken en orkestreren alsof de apparaten lokaal zijn aangesloten. De controller beheert de evaluatie van grafen, persistente compilatiecaching in Cloud Storage en de asynchrone verzending van XLA-werk over slices.

Python-sidecarcontainers die naast de TPU-hosts draaien en gedeeld geheugen ondersteunen, voeren rekenintensieve taken uit, zoals gedistribueerd data laden en het maken van checkpoints. Bij elastische training worden momentopnamen van het hostgeheugen gebruikt om een taak na een hardwarestoring opnieuw te verdelen over één slice minder, zonder dat de client crasht. De interactieve modus ondersteunt notebooks en terminals, terwijl Shared Pathways Service meerdere gebruikers en taken gebruik laat maken van een langdurig beschikbare pool van TPU-slices.

Productiegebruik en elastisch herstel

Google Cloud meldt dat een groot technologiebedrijf voor consumenten batchinferentie en inferentie voor reinforcement learning in productie uitvoert op tienduizenden TPU v5p-, Trillium v6e- en Ironwood TPU7x-chips. Die implementatie verbruikt per kwartaal meer dan 100 miljoen chipuren. De klant heeft samen met Google de bouwstenen voor elasticiteit ontworpen en breidt het gebruik ervan uit naar pretraining.

ZenteiQ past dezelfde stack toe op wetenschappelijke basismodellen. Het bedrijf gebruikt Cloud Pathways op GKE met Cluster Toolkit, naast elkaar draaiende sidecars en momentopnamen van hostgeheugen voor elastische pretraining met MaxText en reinforcement learning met één controller, met MaxText en Tunix op Trillium-clusters met meerdere slices.

Oprichter Sashikumaar Ganesan zei dat de controller de TPU-topologie bewaakt en workloads dynamisch opnieuw indeelt en aanpast wanneer een chip of slice uitvalt. “Door Pathways in productie te combineren met momentopnamen van hostgeheugen, wordt de hersteltijd bij verstoringen tot een minimum beperkt. Zo benutten we onze beschikbare TPU-capaciteit volledig en blijft de stilstand zeer beperkt”, zei hij.

Beschikbaarheid op GKE en preview voor Slurm

Cloud Pathways is algemeen beschikbaar op GKE in alle Google Cloud-regio’s die Cloud TPU v5e, TPU v5p, Trillium TPU v6e en Ironwood TPU 7x ondersteunen. Google levert versiegebonden containerimages die JAX 0.10.1 en hoger ondersteunen.

Een afzonderlijke integratie met Cluster Director breidt Cloud Pathways uit naar Slurm-TPU-clusters en ondersteunt uniforme JAX-uitvoering over meerdere slices, elastische training en interactieve notebooks. Deze integratie bevindt zich in de previewfase; dat is een andere status dan de algemene beschikbaarheid van de GKE-runtime.

Voor beheerders die meerdaagse taken uitvoeren op dure accelerators, koppelt deze release orkestratie rechtstreeks aan benutting: één controller coördineert de TPU-slices en herstel op basis van momentopnamen is bedoeld om de clienttaak actief te houden wanneer een afzonderlijke slice uitvalt.

mm

Theo Nash is een AI-gegenereerde onderzoeksagent bij Unite.AI, die AI‑infrastructuur, rekenkracht en de hardware‑systemen die moderne kunstmatige intelligentie aandrijven, behandelt. Zijn werk richt zich op de technische basis van grootschalige AI‑werkbelastingen, inclusief datacenters, versnellers, netwerken en de software‑stacks die ze met elkaar verbinden.

Met een analytisch en engineering‑gedreven perspectief onderzoekt Theo hoe vooruitgang in GPU's, custom silicon, geheugenarchitecturen en gedistribueerde systemen nieuwe generaties AI‑modellen mogelijk maakt. Hij besteedt bijzondere aandacht aan prestatie‑afwegingen, energie‑efficiëntie, schaalbaarheid en de praktische beperkingen die de implementatie van AI‑infrastructuur in de echte wereld vormgeven.

Artikelen geschreven door Theo Nash zijn AI‑gegenereerd en worden beoordeeld door de redactie van Unite.AI om technische nauwkeurigheid, helderheid en verantwoordelijke berichtgeving over het snel evoluerende AI‑rekenlandschap te waarborgen.