Google Cloud rend Pathways Runtime disponible de manière générale pour les charges de travail TPU à grande échelle

Le 9 novembre 2026, Google Cloud a annoncé que Cloud Pathways était désormais disponible de manière générale sur Google Kubernetes Engine (GKE), offrant aux clients un environnement d’exécution à contrôleur unique pour l’entraînement et l’inférence à grande échelle. Google a indiqué que, au cours des 90 jours précédents, les utilisateurs avaient traité plus de 130 millions d’heures-puce avec Cloud TPU et Pathways sur GKE.

Cet environnement d’exécution, également appelé Pathways on Cloud, constitue un pilier central de l’environnement d’exécution de Google Cloud AI Hypercomputer. Initialement conçu par Google DeepMind pour entraîner et servir les modèles de pointe de Google, notamment Gemini, il est destiné à d’immenses flottes hétérogènes d’accélérateurs. Cette version étend aux clients du Cloud une technologie utilisée pour les plus grandes charges de travail d’IA de Google.

Un contrôleur pour plusieurs tranches de TPU

Ce logiciel vise à réduire la surcharge de coordination associée à l’architecture multi-contrôleurs par défaut de JAX. Dans cette configuration, chaque hôte TPU exécute un interpréteur Python distinct, qui ne dispose que d’une vue locale des appareils qui lui sont connectés, tandis que tous les hôtes exécutent en synchronisation le même programme à programme unique et données multiples. Selon Google, cette organisation complique la gestion des charges de travail hétérogènes comportant plusieurs programmes et la gestion des ressources entre les tranches, et la rend fragile à mesure que les tâches prennent de l’ampleur.

Cloud Pathways remplace cette architecture par un contrôleur unifié reposant sur Interim Framework Runtime, un environnement d’exécution open source. Le fait de configurer JAX_PLATFORMS=proxy avec pathwaysutils permet à un client JAX de voir et d’orchestrer plusieurs grandes tranches de TPU couvrant des milliers de puces, comme si leurs appareils étaient connectés localement. Le contrôleur gère l’évaluation des graphes, la mise en cache persistante des compilations dans Cloud Storage et la distribution asynchrone des tâches XLA entre les tranches.

Des conteneurs Python annexes colocalisés, dotés d’une mémoire partagée, exécutent directement sur les hôtes TPU des tâches gourmandes en calcul, comme le chargement distribué des données et la création de points de contrôle. L’entraînement élastique s’appuie sur des instantanés de la mémoire de l’hôte pour redistribuer une tâche sur une tranche de moins après une interruption matérielle, sans faire planter le client. Le mode interactif prend en charge les environnements de notebooks et les terminaux, tandis que Shared Pathways Service permet à plusieurs utilisateurs et tâches de puiser dans un pool de tranches de TPU disponible sur la durée.

Utilisation en production et reprise élastique

Google Cloud indique qu’une grande entreprise du secteur des technologies grand public exécute en production des tâches d’inférence par lots et d’inférence par apprentissage par renforcement sur des dizaines de milliers de puces TPU v5p, Trillium v6e et Ironwood TPU7x. Ce déploiement consomme plus de 100 millions d’heures-puce par trimestre, et le client a conçu conjointement avec Google des primitives d’élasticité alors qu’il étend ses activités au préentraînement.

ZenteiQ applique la même pile technologique aux modèles fondamentaux scientifiques. L’entreprise utilise Cloud Pathways sur GKE avec Cluster Toolkit, des conteneurs annexes colocalisés et la création d’instantanés de l’hôte pour l’entraînement élastique de modèles avec MaxText et l’apprentissage par renforcement à contrôleur unique avec MaxText et Tunix, sur des clusters Trillium répartis sur plusieurs tranches.

Le fondateur Sashikumaar Ganesan a déclaré que le contrôleur surveille la topologie des TPU et remaille et redimensionne dynamiquement les charges de travail lorsqu’une puce ou une tranche est hors ligne. « En combinant Pathways et la création d’instantanés de l’hôte en production, nous réduisons au minimum le temps de reprise en cas d’interruption, ce qui nous permet d’utiliser pleinement notre capacité TPU disponible tout en limitant fortement les temps d’arrêt », a-t-il déclaré.

Disponibilité sur GKE et préversion de Slurm

Cloud Pathways est disponible de manière générale sur GKE dans toutes les régions de Google Cloud prenant en charge Cloud TPU v5e, TPU v5p, Trillium TPU v6e et Ironwood TPU 7x. Google fournit des images de conteneur versionnées compatibles avec JAX 0.10.1 et les versions ultérieures.

Une intégration distincte avec Cluster Director étend Cloud Pathways aux clusters TPU sous Slurm, où elle prend en charge l’exécution unifiée de JAX sur plusieurs tranches, l’entraînement élastique et les notebooks interactifs. Cette intégration est en préversion, un statut distinct de la disponibilité générale de l’environnement d’exécution sur GKE.

Pour les opérateurs qui exécutent des tâches sur plusieurs jours avec des accélérateurs coûteux, cette version relie directement l’orchestration à l’utilisation des ressources : un contrôleur coordonne les tranches de TPU, et la reprise à partir d’instantanés est conçue pour maintenir la tâche du client en cours lorsqu’une tranche particulière tombe en panne.