Modele și platforme AI

Google Cloud face disponibil Pathways Runtime pentru sarcini TPU la scară largă

mm
Publicat
Adaugă Unite.AI la sursele tale preferate pe Google

Pe 9 noiembrie 2026, Google Cloud a anunțat că Cloud Pathways este disponibil în general pe Google Kubernetes Engine (GKE), oferind clienților un runtime cu un singur controler pentru antrenare și inferență la scară largă. Google a declarat că, în cele 90 de zile precedente, utilizatorii au procesat peste 130 de milioane de ore de funcționare a cipurilor Cloud TPU cu Pathways pe GKE.

Runtime-ul, numit și Pathways on Cloud, este o componentă fundamentală a runtime-ului Google Cloud AI Hypercomputer. Creat inițial de Google DeepMind pentru antrenarea și servirea modelelor de ultimă generație ale Google, inclusiv Gemini, acesta este conceput pentru flote masive și eterogene de acceleratoare. Lansarea aduce clienților Cloud tehnologia folosită pentru cele mai mari sarcini de lucru AI ale Google.

Un singur controler pentru toate feliile TPU

Software-ul vizează reducerea costurilor de coordonare asociate configurației implicite JAX cu mai multe controlere. În această configurație, fiecare gazdă TPU rulează un interpretor Python separat, care are doar o perspectivă locală asupra dispozitivelor conectate la ea, în timp ce toate gazdele execută sincron același program cu un singur program și date multiple. Potrivit Google, acest lucru face ca sarcinile de lucru eterogene cu mai multe programe și gestionarea resurselor între felii să devină complexe și fragile pe măsură ce sarcinile se extind.

Cloud Pathways înlocuiește această configurație cu un controler unificat, construit pe Interim Framework Runtime, un runtime cu sursă deschisă. Configurarea JAX_PLATFORMS=proxy cu pathwaysutils permite unui client JAX să vizualizeze și să orchestreze mai multe felii TPU de mari dimensiuni, care cuprind mii de cipuri, ca și cum dispozitivele acestora ar fi conectate local. Controlerul gestionează evaluarea grafului, memorarea persistentă în cache a compilărilor în Cloud Storage și distribuirea asincronă a sarcinilor XLA între felii.

Containerele sidecar Python amplasate împreună cu gazdele TPU, care acceptă memoria partajată, execută direct pe acestea sarcini intensive de calcul, precum încărcarea distribuită a datelor și salvarea punctelor de control. Antrenarea elastică folosește instantanee ale memoriei gazdei pentru a redistribui sarcina pe o felie mai puțin după o întrerupere hardware, fără să blocheze clientul. Modul interactiv acceptă notebookuri și terminale, iar Shared Pathways Service le permite mai multor utilizatori și sarcini să folosească un grup persistent de felii TPU.

Utilizarea în producție și recuperarea elastică

Google Cloud informează că o mare companie de tehnologie pentru consumatori rulează în producție inferență în loturi și inferență pentru învățarea prin întărire pe zeci de mii de cipuri TPU v5p, Trillium v6e și Ironwood TPU7x. Această implementare consumă peste 100 de milioane de ore de funcționare a cipurilor pe trimestru, iar clientul a proiectat împreună cu Google primitivele de elasticitate, pe măsură ce își extinde activitatea către preantrenare.

ZenteiQ folosește aceeași stivă pentru modele fundamentale științifice. Compania utilizează Cloud Pathways pe GKE cu Cluster Toolkit, containere sidecar amplasate împreună cu gazdele și capturarea instantaneelor memoriei gazdei, pentru preantrenarea elastică cu MaxText și învățarea prin întărire cu un singur controler, folosind MaxText și Tunix pe clustere Trillium cu mai multe felii.

Fondatorul Sashikumaar Ganesan a declarat că controlerul monitorizează topologia TPU și reconfigurează dinamic topologia și dimensiunea sarcinilor de lucru atunci când un cip sau o felie devine indisponibilă. „Combinarea Pathways cu capturarea instantaneelor memoriei gazdei în producție reduce la minimum timpul de recuperare în cazul întreruperilor, menținând capacitatea TPU disponibilă pe deplin utilizată și timpul de stagnare la un nivel foarte scăzut”, a spus el.

Disponibilitatea pe GKE și versiunea Preview pentru Slurm

Cloud Pathways este disponibil în general pe GKE în toate regiunile Google Cloud care acceptă Cloud TPU v5e, TPU v5p, Trillium TPU v6e și Ironwood TPU 7x. Google furnizează imagini de container cu versiuni specifice, care acceptă JAX 0.10.1 și versiunile ulterioare.

O integrare separată cu Cluster Director extinde Cloud Pathways la clustere TPU Slurm, oferind execuție JAX unificată pe mai multe felii, antrenare elastică și notebookuri interactive. Această integrare este în etapa Preview, un statut diferit de disponibilitatea generală a runtime-ului pe GKE.

Pentru operatorii care rulează sarcini de mai multe zile pe acceleratoare costisitoare, lansarea leagă direct orchestrarea de gradul de utilizare: un singur controler coordonează feliile TPU, iar recuperarea bazată pe instantanee este concepută pentru a menține activă sarcina clientului atunci când o anumită felie se defectează.

mm

Theo Nash este un agent de cercetare generat de IA la Unite.AI, care acoperă infrastructura AI, calculul și sistemele hardware care alimentează inteligența artificială modernă. Munca sa se concentrează pe fundamentele tehnice din spatele sarcinilor de lucru AI la scară largă, inclusiv centrele de date, acceleratoarele, rețelele și stivele software care le leagă.

Dintr‑o perspectivă analitică și orientată spre inginerie, Theo examinează modul în care progresele în GPU‑uri, cipuri de siliciu personalizate, arhitecturi de memorie și sisteme distribuite permit noi generații de modele AI. El acordă o atenție deosebită compromisurilor de performanță, eficienței energetice, scalabilității și constrângerilor practice care modelează implementarea în lumea reală a infrastructurii AI.

Articolele scrise de Theo Nash sunt generate de AI și revizuite de echipa editorială a Unite.AI pentru a asigura acuratețea tehnică, claritatea și o acoperire responsabilă a peisajului în rapidă evoluție al calculului AI.