Google Cloud переводит среду выполнения Pathways в статус общедоступной для масштабных нагрузок TPU

9 ноября 2026 года Google Cloud объявила, что Cloud Pathways стала общедоступной в Google Kubernetes Engine (GKE), предоставив клиентам среду выполнения с единым контроллером для масштабного обучения и инференса. По данным Google, за предшествующие 90 дней пользователи обработали более 130 млн чипо-часов Cloud TPU с помощью Pathways в GKE.

Эта среда выполнения, также известная как Pathways on Cloud, — один из основных компонентов среды выполнения Google Cloud AI Hypercomputer. Изначально Google DeepMind разработала её для обучения и обслуживания передовых моделей Google, в том числе Gemini; она предназначена для масштабных неоднородных парков ускорителей. Этот выпуск делает технологию, применяемую в крупнейших задачах Google в области ИИ, доступной клиентам Cloud.

Единый контроллер для нескольких срезов TPU

Программное обеспечение призвано снизить накладные расходы на координацию, возникающие при использовании стандартной многоконтроллерной архитектуры JAX. В такой конфигурации на каждом хосте TPU работает отдельный интерпретатор Python, который видит только подключённые к нему устройства, а все хосты синхронно выполняют одну и ту же программу типа «одна программа — множество данных». По словам Google, по мере масштабирования заданий это усложняет работу с неоднородными многопрограммными нагрузками и управление ресурсами между срезами, делая их менее надёжными.

Cloud Pathways заменяет эту схему единым контроллером на базе среды выполнения Interim Framework Runtime с открытым исходным кодом. Настройка JAX_PLATFORMS=proxy с pathwaysutils позволяет одному клиенту JAX видеть несколько крупных срезов TPU общей ёмкостью в тысячи чипов и управлять ими так, словно их устройства подключены локально. Контроллер управляет вычислением графов, постоянным кэшированием компиляций в Cloud Storage и асинхронной отправкой задач XLA на разные срезы.

Совместно размещённые вспомогательные контейнеры Python с поддержкой общей памяти выполняют непосредственно на хостах TPU ресурсоёмкие задачи, например распределённую загрузку данных и создание контрольных точек. При эластичном обучении снимки памяти хоста позволяют перераспределить задание на один срез меньше после аппаратного сбоя, не приводя к аварийному завершению клиента. Интерактивный режим поддерживает блокноты и терминалы, а Shared Pathways Service позволяет нескольким пользователям и заданиям обращаться к постоянно работающему пулу срезов TPU.

Использование в производственной среде и эластичное восстановление

По данным Google Cloud, крупная компания в сфере потребительских технологий выполняет в производственной среде пакетный инференс и инференс с обучением с подкреплением на десятках тысяч чипов TPU v5p, Trillium v6e и Ironwood TPU7x. Эта система потребляет более 100 млн чипо-часов за квартал, а по мере перехода к предварительному обучению заказчик совместно с Google разработал примитивы эластичности.

ZenteiQ применяет тот же технологический стек для фундаментальных научных моделей. Компания использует Cloud Pathways в GKE с Cluster Toolkit, совместно размещёнными вспомогательными контейнерами и созданием снимков памяти хоста для эластичного предварительного обучения на MaxText и обучения с подкреплением с единым контроллером на MaxText и Tunix в кластерах Trillium, состоящих из нескольких срезов.

Основатель компании Сашикумаар Ганесан сообщил, что контроллер отслеживает топологию TPU и динамически перестраивает сетку и меняет размер рабочих нагрузок, если чип или срез выходит из строя. «Сочетание Pathways со снимками памяти хоста в производственной среде сводит время восстановления при сбоях к минимуму, позволяя полностью использовать доступные мощности TPU и практически исключая простои», — сказал он.

Доступность в GKE и предварительная версия для Slurm

Cloud Pathways стала общедоступной в GKE во всех регионах Google Cloud, где поддерживаются Cloud TPU v5e, TPU v5p, Trillium TPU v6e и Ironwood TPU 7x. Google предоставляет версии образов контейнеров с поддержкой JAX 0.10.1 и более поздних версий.

Отдельная интеграция с Cluster Director распространяет Cloud Pathways на кластеры TPU под управлением Slurm и обеспечивает единое выполнение JAX на нескольких срезах, эластичное обучение и интерактивные блокноты. Эта интеграция доступна в предварительной версии — это отдельный статус, не совпадающий со статусом общедоступной среды выполнения в GKE.

Для операторов, запускающих многодневные задания на дорогостоящих ускорителях, этот выпуск напрямую связывает оркестрацию с эффективностью использования ресурсов: один контроллер координирует срезы TPU, а восстановление на основе снимков призвано сохранить работу клиентского задания при отказе отдельного среза.