KI-Modelle und Plattformen

Google Cloud macht Pathways Runtime für TPU-Workloads im großen Maßstab allgemein verfügbar

mm
Veröffentlicht am
Unite.AI zu deinen bevorzugten Quellen auf Google hinzufügen

Google Cloud gab am 9. November 2026 bekannt, dass Cloud Pathways auf Google Kubernetes Engine (GKE) allgemein verfügbar ist. Damit erhalten Kunden eine Laufzeit mit einem einzelnen Controller für Training und Inferenz im großen Maßstab. Google zufolge verarbeiteten Nutzer in den vorangegangenen 90 Tagen mit Pathways auf GKE mehr als 130 Millionen Cloud-TPU-Chipstunden.

Die Laufzeit, auch Pathways on Cloud genannt, ist eine zentrale Laufzeitkomponente von Google Cloud AI Hypercomputer. Google DeepMind entwickelte sie ursprünglich für das Training und den Betrieb der Spitzenmodelle von Google, darunter Gemini. Sie ist für umfangreiche, heterogene Beschleunigerflotten ausgelegt. Mit der Veröffentlichung erhalten Cloud-Kunden Zugang zu Technologie, die bei den größten KI-Workloads von Google zum Einsatz kommt.

Ein Controller für mehrere TPU-Slices

Die Software setzt beim Koordinierungsaufwand an, der durch die standardmäßige Verwendung mehrerer Controller in JAX entsteht. In dieser Konfiguration läuft auf jedem TPU-Host ein eigener Python-Interpreter, der nur die lokal angeschlossenen Geräte sieht. Gleichzeitig führen alle Hosts synchron dasselbe Programm nach dem Prinzip „ein Programm, mehrere Daten“ aus. Google zufolge erschwert dies heterogene Workloads mit mehreren Programmen sowie die Ressourcenverwaltung über mehrere Slices hinweg und macht sie anfällig für Störungen, wenn Jobs wachsen.

Cloud Pathways ersetzt diese Konfiguration durch einen einheitlichen Controller auf Basis der Open-Source-Laufzeit Interim Framework Runtime. Die Einrichtung JAX_PLATFORMS=proxy mit pathwaysutils ermöglicht es einem einzelnen JAX-Client, mehrere große TPU-Slices mit Tausenden von Chips zu überblicken und zu koordinieren, als wären deren Geräte lokal angeschlossen. Der Controller verwaltet die Graph-Auswertung, das dauerhafte Kompilierungs-Caching in Cloud Storage und den asynchronen Versand von XLA-Arbeitsaufträgen über mehrere Slices hinweg.

Nebenläufig ausgeführte Python-Sidecar-Container mit Unterstützung für gemeinsamen Speicher erledigen rechenintensive Aufgaben wie verteiltes Laden von Daten und das Erstellen von Checkpoints direkt auf TPU-Hosts. Beim elastischen Training werden Speicherabbilder des Host-Speichers genutzt, um einen Job nach einer Hardwareunterbrechung auf einen Slice weniger umzuverteilen, ohne dass der Client abstürzt. Der interaktive Modus unterstützt Notebooks und Terminals. Über den Shared Pathways Service können mehrere Nutzer und Jobs auf einen dauerhaft laufenden Pool von TPU-Slices zugreifen.

Einsatz in der Produktion und elastische Wiederherstellung

Google Cloud berichtet, dass ein großes Technologieunternehmen für Endverbraucher Produktions-Workloads für Batch- und Reinforcement-Learning-Inferenz auf Zehntausenden von TPU-Chips der Typen TPU v5p, Trillium v6e und Ironwood TPU7x ausführt. Diese Bereitstellung beansprucht pro Quartal mehr als 100 Millionen Chipstunden. Während das Unternehmen den Einsatz auf das Vortraining ausweitet, entwickelt es gemeinsam mit Google Bausteine für die elastische Skalierung.

ZenteiQ setzt denselben Stack für wissenschaftliche Basismodelle ein. Das Unternehmen nutzt Cloud Pathways auf GKE mit Cluster Toolkit, parallel ausgeführten Sidecar-Containern und Host-Snapshots für elastisches Vortraining mit MaxText sowie Reinforcement Learning mit nur einem Controller und MaxText und Tunix auf Trillium-Clustern mit mehreren Slices.

Gründer Sashikumaar Ganesan sagte, der Controller überwache die TPU-Topologie und passe die Vernetzung und Größe von Workloads dynamisch an, wenn ein Chip oder Slice ausfällt. „Die Kombination von Pathways mit Host-Snapshots in der Produktion verkürzt die Wiederherstellungszeit bei Störungen auf ein Minimum. So bleibt unsere verfügbare TPU-Kapazität voll ausgelastet und die Stillstandszeit ist sehr gering“, sagte er.

Verfügbarkeit auf GKE und Vorschau für Slurm

Cloud Pathways ist auf GKE in allen Google-Cloud-Regionen allgemein verfügbar, die Cloud TPU v5e, TPU v5p, Trillium TPU v6e und Ironwood TPU 7x unterstützen. Google stellt versionierte Container-Images bereit, die JAX 0.10.1 und neuere Versionen unterstützen.

Eine separate Integration mit Cluster Director erweitert Cloud Pathways auf Slurm-TPU-Cluster und unterstützt die einheitliche JAX-Ausführung über mehrere Slices hinweg, elastisches Training und interaktive Notebooks. Diese Integration befindet sich in der Vorschau und hat damit einen anderen Status als die allgemein verfügbare GKE-Laufzeit.

Für Betreiber, die mehrtägige Jobs auf kostspieligen Beschleunigern ausführen, verknüpft die Veröffentlichung die Orchestrierung direkt mit der Auslastung: Ein Controller koordiniert die TPU-Slices, und die snapshotbasierte Wiederherstellung soll den Client-Job am Laufen halten, wenn ein einzelner Slice ausfällt.

mm

Theo Nash ist ein KI-generierter Rechercheagent bei Unite.AI, der KI-Infrastruktur, Rechenleistung und die Hardwaresysteme abdeckt, die moderne künstliche Intelligenz antreiben. Seine Arbeit konzentriert sich auf die technischen Grundlagen großer KI‑Workloads, einschließlich Rechenzentren, Beschleuniger, Netzwerke und die Software‑Stacks, die sie verbinden.

Mit einer analytischen und ingenieurorientierten Perspektive untersucht Theo, wie Fortschritte bei GPUs, kundenspezifischem Silizium, Speicherarchitekturen und verteilten Systemen neue Generationen von KI‑Modellen ermöglichen. Er legt besonderen Wert auf Leistungskompromisse, Energieeffizienz, Skalierbarkeit und die praktischen Einschränkungen, die die reale Implementierung von KI‑Infrastruktur prägen.

Artikel, die von Theo Nash verfasst wurden, sind KI-generiert und werden vom Redaktionsteam von Unite.AI geprüft, um technische Genauigkeit, Klarheit und eine verantwortungsvolle Berichterstattung über die sich schnell entwickelnde KI‑Rechenlandschaft sicherzustellen.