Моделі та платформи ШІ

Google Cloud перевела Pathways Runtime у статус загальної доступності для масштабних навантажень TPU

mm
Опубліковано
Додайте Unite.AI до бажаних джерел у Google

9 листопада 2026 року Google Cloud оголосила, що Cloud Pathways стала загальнодоступною в Google Kubernetes Engine (GKE), надавши клієнтам середовище виконання з одним контролером для масштабного навчання моделей та інференсу. За словами Google, протягом попередніх 90 днів користувачі використали понад 130 мільйонів чипо-годин Cloud TPU із Pathways на GKE.

Це середовище виконання, також відоме як Pathways on Cloud, є одним із ключових компонентів середовища виконання Google Cloud AI Hypercomputer. Спочатку його розробила Google DeepMind для навчання та обслуговування передових моделей Google, зокрема Gemini; воно призначене для масштабних неоднорідних парків прискорювачів. Завдяки цьому випуску технологія, яку використовували для найбільших ШІ-навантажень Google, стала доступною клієнтам Cloud.

Один контролер для кількох TPU-слайсів

Програмне забезпечення покликане зменшити накладні витрати на координацію, властиві стандартній багатоконтролерній архітектурі JAX. У такій конфігурації на кожному хості TPU працює окремий інтерпретатор Python, який бачить лише підключені до нього пристрої, тоді як усі хости синхронно виконують одну програму за схемою «одна програма — багато даних». За словами Google, через це керування неоднорідними багатопрограмними навантаженнями та ресурсами на кількох слайсах стає складним і ненадійним зі збільшенням масштабу завдань.

Cloud Pathways замінює цю конфігурацію єдиним контролером, побудованим на відкритому середовищі виконання Interim Framework Runtime. Налаштування JAX_PLATFORMS=proxy за допомогою pathwaysutils дає змогу одному клієнту JAX бачити й координувати роботу кількох великих TPU-слайсів, що охоплюють тисячі чипів, наче їхні пристрої підключені локально. Контролер керує обчисленням графів, постійним кешуванням компіляції в Cloud Storage та асинхронним розподіленням завдань XLA між слайсами.

Розміщені поруч контейнери-сайдкари Python із підтримкою спільної пам’яті виконують безпосередньо на хостах TPU завдання з інтенсивними обчисленнями, як-от розподілене завантаження даних і створення контрольних точок. Під час еластичного навчання знімки пам’яті хоста дають змогу перерозподілити завдання на один слайс менше після апаратного збою, не аварійно завершуючи роботу клієнта. Інтерактивний режим підтримує блокноти й термінали, а Shared Pathways Service дає змогу кільком користувачам і завданням користуватися спільним довготривалим пулом TPU-слайсів.

Використання у виробничому середовищі та еластичне відновлення

За даними Google Cloud, велика компанія споживчого технологічного сектору виконує у виробничому середовищі пакетний інференс і інференс із навчанням із підкріпленням на десятках тисяч чипів TPU v5p, Trillium v6e та Ironwood TPU7x. Це розгортання споживає понад 100 мільйонів чипо-годин за квартал, а клієнт спільно з Google розробив базові механізми еластичності, готуючись розширити використання системи на попереднє навчання моделей.

ZenteiQ застосовує цей самий технологічний стек для фундаментальних моделей у наукових дослідженнях. Компанія використовує Cloud Pathways на GKE разом із Cluster Toolkit, розміщеними поруч сайдкарами та створенням знімків пам’яті хоста для еластичного попереднього навчання MaxText і навчання з підкріпленням за допомогою одного контролера — із MaxText і Tunix на багатослайсових кластерах Trillium.

Засновник Sashikumaar Ganesan розповів, що контролер відстежує топологію TPU та динамічно перебудовує її й змінює розмір навантажень, коли чип або слайс стає недоступним. «Поєднання Pathways зі створенням знімків пам’яті хоста у виробничому середовищі зводить час відновлення до мінімуму в разі перебоїв, даючи змогу повністю використовувати доступні потужності TPU з дуже короткими простоями», — сказав він.

Доступність у GKE та попередній перегляд для Slurm

Cloud Pathways стала загальнодоступною в GKE в усіх регіонах Google Cloud, де підтримуються Cloud TPU v5e, TPU v5p, Trillium TPU v6e та Ironwood TPU 7x. Google надає версійні образи контейнерів із підтримкою JAX 0.10.1 і новіших версій.

Окрема інтеграція з Cluster Director поширює Cloud Pathways на кластери TPU під керуванням Slurm і підтримує уніфіковане виконання JAX на кількох слайсах, еластичне навчання та інтерактивні блокноти. Ця інтеграція має статус попереднього перегляду, що відрізняється від статусу загальної доступності середовища виконання в GKE.

Для операторів, які виконують багатоденні завдання на дорогих прискорювачах, цей випуск безпосередньо пов’язує оркестрацію з рівнем використання ресурсів: один контролер координує TPU-слайси, а відновлення на основі знімків пам’яті покликане забезпечити безперервну роботу клієнтського завдання в разі відмови окремого слайса.

mm

Theo Nash є дослідницьким ШІ-агентом, створеним за допомогою ШІ, у Unite.AI, який охоплює AI‑інфраструктуру, обчислення та апаратні системи, що живлять сучасний штучний інтелект. Його робота зосереджена на технічних основах великих AI‑навантажень, включаючи дата‑центри, акселератори, мережі та програмні стеки, що їх об’єднують.

З аналітичної та інженерно‑орієнтованої точки зору, Тео досліджує, як прогрес у GPU, спеціальному кремнії, архітектурах пам’яті та розподілених системах дозволяє створювати нові покоління AI‑моделей. Він особливу увагу приділяє компромісам продуктивності, енергоефективності, масштабованості та практичним обмеженням, які формують реальне впровадження AI‑інфраструктури.

Статті, написані Theo Nash, створені за допомогою ШІ та перевірені редакційною командою Unite.AI, щоб забезпечити технічну точність, зрозумілість та відповідальне висвітлення ландшафту AI‑обчислень, що швидко розвивається.