Google Cloud tuo Pathways Runtime -ympäristön yleisesti saataville suurten TPU-työkuormien käyttöön

Google Cloud ilmoitti 9. marraskuuta 2026, että Cloud Pathways on nyt yleisesti saatavilla Google Kubernetes Enginessä (GKE). Se tuo asiakkaille yhden ohjaimen suoritusympäristön suurten mallien koulutukseen ja päättelyyn. Googlen mukaan käyttäjät käsittelivät Pathwaysilla GKE:ssä yli 130 miljoonaa Cloud TPU -sirutuntia edeltäneiden 90 päivän aikana.

Pathways on Cloud -nimelläkin tunnettu suoritusympäristö on keskeinen osa Google Cloud AI Hypercomputerin suoritusympäristökerrosta. Google DeepMind suunnitteli sen alun perin Googlen huippumallien, kuten Geminin, kouluttamiseen ja ajamiseen. Se on tarkoitettu valtaville, erityyppisistä kiihdyttimistä koostuville laitteistokokonaisuuksille. Julkaisun myötä Googlen suurimmissa tekoälytyökuormissa käytetty teknologia tulee pilvipalvelun asiakkaiden saataville.

Yksi ohjain useille TPU-osioille

Ohjelmisto vähentää JAXin oletusarvoisen moniohjainmallin koordinointiin liittyvää työtä. Tässä mallissa kullakin TPU-isännällä on oma Python-tulkkinsa, joka näkee vain siihen liitetyt laitteet, ja kaikki isännät suorittavat tahdistetusti samaa yhden ohjelman ja usean datan (SPMD) ohjelmaa. Googlen mukaan tämä tekee erityyppisiä ohjelmia sisältävien työkuormien ja osioiden välisten resurssien hallinnasta monimutkaista ja haavoittuvaa töiden kasvaessa.

Cloud Pathways korvaa tämän järjestelyn yhtenäisellä ohjaimella, joka perustuu avoimen lähdekoodin Interim Framework Runtime -ympäristöön. Määrittämällä JAX_PLATFORMS=proxy tämän avulla pathwaysutils yksi JAX-asiakasohjelma voi tarkastella ja ohjata useita suuria, tuhansista siruista koostuvia TPU-osioita ikään kuin niiden laitteet olisi liitetty paikallisesti. Ohjain hallinnoi laskentagraafien evaluointia, pysyvää käännösvälimuistia Cloud Storagessa sekä XLA-työn asynkronista jakelua osioiden kesken.

Samassa sijainnissa toimivat Python-sivuvaunusäiliöt tukevat jaettua muistia ja suorittavat laskentaintensiivisiä tehtäviä, kuten hajautettua tiedonlatausta ja tarkistuspisteiden luontia, suoraan TPU-isännillä. Joustavassa koulutuksessa työ siirretään isäntämuistin tilannevedosten avulla yhtä osiota pienempään kokoon laitteistokatkoksen jälkeen ilman, että asiakasohjelma kaatuu. Vuorovaikutteinen tila tukee muistikirjoja ja päätteitä, ja Shared Pathways Service mahdollistaa sen, että useat käyttäjät ja työt voivat käyttää pitkäkestoisesti käynnissä olevaa TPU-osioiden joukkoa.

Tuotantokäyttö ja joustava palautuminen

Google Cloudin mukaan suuri kuluttajateknologiayritys suorittaa tuotantoympäristössä eräajona tehtävää päättelyä ja vahvistusoppimisen päättelyä kymmenillä tuhansilla TPU v5p-, Trillium v6e- ja Ironwood TPU7x -siruilla. Käyttöönotto kuluttaa yli 100 miljoonaa sirutuntia vuosineljänneksessä, ja asiakas suunnitteli joustavuuden perusratkaisuja yhdessä Googlen kanssa laajentaessaan toimintaansa esikoulutukseen.

ZenteiQ hyödyntää samaa ohjelmistokokonaisuutta tieteellisissä perustamalleissa. Se käyttää Cloud Pathwaysia GKE:ssä yhdessä Cluster Toolkitin, samassa sijainnissa toimivien sivuvaunujen ja isännän tilannevedosten kanssa. Näin se toteuttaa joustavaa MaxText-esikoulutusta sekä yhden ohjaimen vahvistusoppimista MaxTextillä ja Tunixilla useita osioita sisältävissä Trillium-klustereissa.

Perustaja Sashikumaar Ganesanin mukaan ohjain valvoo TPU-topologiaa ja muuttaa työkuormien verkotusta ja kokoa dynaamisesti, kun siru tai osio siirtyy pois käytöstä. ”Kun Pathways yhdistetään tuotantokäytössä isännän tilannevedoksiin, häiriöistä palautumiseen kuluva aika saadaan minimoitua. Näin käytettävissä oleva TPU-kapasiteettimme pysyy täydessä käytössä ja käyttökatkot jäävät hyvin lyhyiksi”, hän sanoi.

Saatavuus GKE:ssä ja Slurm-esikatselu

Cloud Pathways on yleisesti saatavilla GKE:ssä kaikilla Google Cloudin alueilla, jotka tukevat Cloud TPU v5e-, TPU v5p-, Trillium TPU v6e- ja Ironwood TPU 7x -malleja. Google tarjoaa versioidut säilökuvat, jotka tukevat JAX-versiota 0.10.1 ja uudempia.

Erillinen Cluster Director -integraatio tuo Cloud Pathwaysin Slurm-TPU-klustereihin ja tukee yhtenäistä, useita osioita hyödyntävää JAX-suoritusta, joustavaa koulutusta ja vuorovaikutteisia muistikirjoja. Integraatio on esikatseluvaiheessa, mikä on eri tila kuin GKE-suoritusympäristön yleinen saatavuus.

Kalliilla kiihdyttimillä useita päiviä kestäviä töitä suorittaville ylläpitäjille julkaisu yhdistää orkestroinnin suoraan käyttöasteeseen: yksi ohjain koordinoi TPU-osioita, ja tilannevedoksiin perustuvan palautumisen tarkoituksena on pitää asiakastyö käynnissä yksittäisen osion vikaantuessa.