Modelli e piattaforme di IA
Google Cloud rende Pathways Runtime disponibile a tutti per i carichi di lavoro TPU su larga scala
Aggiungi Unite.AI alle tue fonti preferite su Google
Il 9 novembre 2026, Google Cloud ha annunciato che Cloud Pathways è disponibile a tutti su Google Kubernetes Engine (GKE), offrendo ai clienti un runtime a controller singolo per l’addestramento e l’inferenza su larga scala. Google ha dichiarato che, nei 90 giorni precedenti, gli utenti hanno elaborato oltre 130 milioni di ore-chip Cloud TPU con Pathways su GKE.
Il runtime, chiamato anche Pathways on Cloud, è un elemento fondamentale del runtime di Google Cloud AI Hypercomputer. Progettato inizialmente da Google DeepMind per addestrare ed eseguire i modelli più avanzati di Google, tra cui Gemini, è pensato per grandi flotte eterogenee di acceleratori. Questa versione porta ai clienti Cloud una tecnologia già utilizzata per i maggiori carichi di lavoro di IA di Google.
Un unico controller per più segmenti TPU
Il software affronta il sovraccarico di coordinamento tipico della configurazione predefinita di JAX con più controller. In questa configurazione, ogni host TPU esegue un interprete Python distinto, con una visione limitata ai dispositivi a esso collegati, mentre tutti gli host eseguono in sincronia lo stesso programma a istruzione singola e dati multipli. Secondo Google, con l’aumentare delle dimensioni dei processi, questo rende complessi e fragili i carichi di lavoro eterogenei con più programmi e la gestione delle risorse tra i segmenti.
Configurando JAX_PLATFORMS=proxy con pathwaysutils si consente a un client JAX di visualizzare e orchestrare più segmenti TPU di grandi dimensioni, composti da migliaia di chip, come se i relativi dispositivi fossero collegati localmente. Il controller gestisce la valutazione dei grafi, la memorizzazione persistente nella cache delle compilazioni in Cloud Storage e l’invio asincrono dei carichi di lavoro XLA tra i segmenti.
I container sidecar Python affiancati agli host, con supporto per la memoria condivisa, eseguono direttamente sugli host TPU attività ad alta intensità di calcolo, come il caricamento distribuito dei dati e la creazione di checkpoint. L’addestramento elastico utilizza istantanee della memoria degli host per ridistribuire un processo su un segmento in meno dopo un’interruzione hardware, senza arrestare il client. La modalità interattiva supporta notebook e terminali, mentre Shared Pathways Service permette a più utenti e processi di attingere a un pool di segmenti TPU attivo a lungo termine.
Uso in produzione e ripristino elastico
Google Cloud riferisce che una grande azienda tecnologica di consumo esegue in produzione attività di inferenza batch e di apprendimento per rinforzo su decine di migliaia di chip TPU v5p, Trillium v6e e Ironwood TPU7x. Questa implementazione consuma oltre 100 milioni di ore-chip per trimestre e, durante l’espansione verso il pre-addestramento, il cliente ha co-progettato con Google le primitive di elasticità.
ZenteiQ applica lo stesso stack ai modelli scientifici di base. Utilizza Cloud Pathways su GKE con Cluster Toolkit, sidecar affiancati agli host e acquisizione di istantanee degli host per l’addestramento elastico di MaxText e l’apprendimento per rinforzo con un unico controller, usando MaxText e Tunix su cluster Trillium composti da più segmenti.
Il fondatore Sashikumaar Ganesan ha dichiarato che il controller monitora la topologia TPU e rimappa e ridimensiona dinamicamente i carichi di lavoro quando un chip o un segmento va offline. «Combinare Pathways con l’acquisizione di istantanee degli host in produzione riduce al minimo i tempi di ripristino in caso di interruzioni, mantenendo pienamente utilizzata la capacità TPU disponibile e limitando al minimo i tempi di inattività», ha affermato.
Disponibilità su GKE e anteprima di Slurm
Cloud Pathways è disponibile a tutti su GKE in tutte le regioni di Google Cloud che supportano Cloud TPU v5e, TPU v5p, Trillium TPU v6e e Ironwood TPU 7x. Google fornisce immagini container versionate che supportano JAX 0.10.1 e versioni successive.
Un’integrazione separata con Cluster Director estende Cloud Pathways ai cluster TPU Slurm e supporta l’esecuzione unificata di JAX su più segmenti, l’addestramento elastico e i notebook interattivi. Questa integrazione è in anteprima, uno stato distinto dalla disponibilità generale del runtime su GKE.
Per gli operatori che eseguono processi di più giorni su acceleratori costosi, questa versione lega direttamente l’orchestrazione all’utilizzo: un unico controller coordina i segmenti TPU e il ripristino basato su istantanee è progettato per mantenere attivo il processo client in caso di guasto di un singolo segmento.
