Google Cloud udostępnia środowisko uruchomieniowe Pathways w wersji ogólnodostępnej dla obciążeń TPU na dużą skalę

9 listopada 2026 r. Google Cloud ogłosił, że Cloud Pathways jest ogólnodostępny w Google Kubernetes Engine (GKE), zapewniając klientom środowisko uruchomieniowe z jednym kontrolerem do trenowania i wnioskowania na dużą skalę. Google poinformował, że w ciągu poprzednich 90 dni użytkownicy przetworzyli za pomocą Pathways w GKE ponad 130 milionów godzin pracy układów Cloud TPU.

To środowisko uruchomieniowe, nazywane również Pathways on Cloud, jest jednym z podstawowych filarów środowiska uruchomieniowego Google Cloud AI Hypercomputer. Zostało pierwotnie opracowane przez Google DeepMind do trenowania i obsługi zaawansowanych modeli Google, w tym Gemini, i zaprojektowano je z myślą o ogromnych, heterogenicznych flotach akceleratorów. Dzięki tej wersji technologia wykorzystywana przy największych obciążeniach AI Google trafia do klientów usług chmurowych.

Jeden kontroler dla wielu wycinków TPU

Oprogramowanie ma ograniczyć narzut związany z koordynacją w domyślnej konfiguracji JAX z wieloma kontrolerami. W takim układzie każdy host TPU uruchamia osobny interpreter Pythona, który ma dostęp jedynie do lokalnego widoku podłączonych do niego urządzeń, a wszystkie hosty równolegle wykonują ten sam program typu „jeden program, wiele danych”. Według Google sprawia to, że obsługa heterogenicznych obciążeń obejmujących wiele programów oraz zarządzanie zasobami w różnych wycinkach stają się złożone i podatne na awarie w miarę zwiększania skali zadań.

Cloud Pathways zastępuje ten układ zunifikowanym kontrolerem opartym na otwartoźródłowym Interim Framework Runtime. Konfigurowanie JAX_PLATFORMS=proxy z pathwaysutils pozwala jednemu klientowi JAX wyświetlać wiele dużych wycinków TPU obejmujących tysiące układów i nimi zarządzać tak, jakby ich urządzenia były podłączone lokalnie. Kontroler zarządza ewaluacją grafu, trwałym buforowaniem kompilacji w Cloud Storage oraz asynchronicznym przekazywaniem zadań XLA między wycinkami.

Umieszczone obok siebie kontenery pomocnicze Pythona, obsługujące pamięć współdzieloną, wykonują bezpośrednio na hostach TPU zadania wymagające dużej mocy obliczeniowej, takie jak rozproszone wczytywanie danych i tworzenie punktów kontrolnych. Trenowanie elastyczne wykorzystuje migawki pamięci hosta, aby po awarii sprzętu przenieść zadanie na o jeden wycinek mniej bez awarii klienta. Tryb interaktywny obsługuje notatniki i terminale, a Shared Pathways Service pozwala wielu użytkownikom i zadaniom korzystać ze stale działającej puli wycinków TPU.

Wykorzystanie produkcyjne i elastyczne odzyskiwanie sprawności

Google Cloud informuje, że duża firma technologiczna z sektora konsumenckiego prowadzi produkcyjne wnioskowanie wsadowe i wnioskowanie na potrzeby uczenia przez wzmacnianie na dziesiątkach tysięcy układów TPU v5p, Trillium v6e i Ironwood TPU7x. Wdrożenie zużywa ponad 100 milionów godzin pracy układów na kwartał, a klient wspólnie z Google opracował mechanizmy elastycznego skalowania, przygotowując się do rozszerzenia zastosowania na etap trenowania wstępnego.

ZenteiQ wykorzystuje ten sam stos technologiczny do tworzenia naukowych modeli bazowych. Firma korzysta z Cloud Pathways w GKE wraz z Cluster Toolkit, umieszczonymi obok siebie kontenerami pomocniczymi i tworzeniem migawek hosta, aby elastycznie prowadzić trenowanie wstępne MaxText oraz uczenie przez wzmacnianie z jednym kontrolerem, wykorzystując MaxText i Tunix w klastrach Trillium obejmujących wiele wycinków.

Założyciel Sashikumaar Ganesan powiedział, że kontroler monitoruje topologię TPU i dynamicznie zmienia siatkę oraz rozmiar obciążeń, gdy układ lub wycinek przestaje działać. „Połączenie Pathways z tworzeniem migawek hosta w środowisku produkcyjnym skraca czas odzyskiwania sprawności do minimum w razie zakłóceń, dzięki czemu dostępna nam moc obliczeniowa TPU jest w pełni wykorzystywana, a przestoje są bardzo krótkie” — powiedział.

Dostępność w GKE i wersja zapoznawcza dla Slurm

Cloud Pathways jest ogólnodostępny w GKE we wszystkich regionach Google Cloud obsługujących Cloud TPU v5e, TPU v5p, Trillium TPU v6e i Ironwood TPU 7x. Google udostępnia wersjonowane obrazy kontenerów obsługujące JAX 0.10.1 i nowsze.

Osobna integracja z Cluster Director rozszerza Cloud Pathways na klastry TPU zarządzane przez Slurm, zapewniając zunifikowane wykonywanie zadań JAX na wielu wycinkach, elastyczne trenowanie i interaktywne notatniki. Integracja ta jest dostępna w wersji Preview, co oznacza inny status niż ogólna dostępność środowiska uruchomieniowego w GKE.

W przypadku operatorów uruchamiających wielodniowe zadania na kosztownych akceleratorach ta wersja bezpośrednio łączy orkiestrację z wykorzystaniem zasobów: jeden kontroler koordynuje wycinki TPU, a odzyskiwanie sprawności na podstawie migawek ma utrzymać działanie zadania klienta w razie awarii pojedynczego wycinka.