Modelos e plataformas de IA
O Google Cloud disponibiliza o Pathways Runtime para cargas de trabalho de TPU em grande escala
Adicione Unite.AI às suas fontes preferidas no Google
Em 9 de novembro de 2026, o Google Cloud anunciou que o Cloud Pathways está disponível de forma geral no Google Kubernetes Engine (GKE), levando aos clientes um ambiente de execução com controlador único para treinamento e inferência em grande escala. Segundo o Google, nos 90 dias anteriores, os usuários processaram mais de 130 milhões de horas de uso de chips Cloud TPU com o Pathways no GKE.
O ambiente de execução, também chamado Pathways on Cloud, é um dos pilares centrais de execução do Google Cloud AI Hypercomputer. Desenvolvido originalmente pelo Google DeepMind para treinar e disponibilizar os modelos de ponta do Google, incluindo o Gemini, ele foi projetado para grandes frotas heterogêneas de aceleradores. Com esse lançamento, a tecnologia usada nas maiores cargas de trabalho de IA do Google chega aos clientes do Cloud.
Um controlador para várias partições de TPU
O software busca reduzir a sobrecarga de coordenação do JAX com vários controladores, que é a configuração padrão. Nesse modelo, cada host de TPU executa um interpretador Python separado, com acesso apenas a uma visão local dos dispositivos conectados, enquanto todos os hosts executam em sincronia o mesmo programa de instrução única e dados múltiplos. Segundo o Google, isso torna complexas e frágeis as cargas de trabalho heterogêneas com vários programas e o gerenciamento de recursos entre partições, à medida que os trabalhos aumentam de escala.
O Cloud Pathways substitui essa configuração por um controlador unificado baseado no Interim Framework Runtime, de código aberto. Configurar JAX_PLATFORMS=proxy com pathwaysutils permite que um único cliente JAX visualize e orquestre várias partições grandes de TPU, que abrangem milhares de chips, como se os dispositivos estivessem conectados localmente. O controlador gerencia a avaliação de grafos, o armazenamento em cache persistente de compilações no Cloud Storage e o envio assíncrono de tarefas XLA entre partições.
Contêineres Python auxiliares (sidecars) em colocação conjunta, com suporte à memória compartilhada, executam tarefas com uso intensivo de computação, como carregamento distribuído de dados e criação de pontos de verificação, diretamente nos hosts de TPU. O treinamento elástico usa capturas instantâneas da memória do host para redistribuir um trabalho em uma partição a menos após uma interrupção de hardware, sem encerrar o cliente. O modo interativo oferece suporte a notebooks e terminais, enquanto o Shared Pathways Service permite que vários usuários e trabalhos utilizem um conjunto de longa duração de partições de TPU.
Uso em produção e recuperação elástica
O Google Cloud informa que uma grande empresa de tecnologia voltada ao consumidor está executando em produção tarefas em lote e inferência para aprendizado por reforço em dezenas de milhares de chips TPU v5p, Trillium v6e e Ironwood TPU7x. Essa implantação consome mais de 100 milhões de horas de uso de chips por trimestre, e o cliente cocriou com o Google primitivas de elasticidade enquanto expande suas operações para o pré-treinamento.
A ZenteiQ está aplicando a mesma pilha tecnológica a modelos fundamentais científicos. Ela usa o Cloud Pathways no GKE com o Cluster Toolkit, sidecars em colocação conjunta e captura de instantâneos dos hosts para o pré-treinamento elástico do MaxText e o aprendizado por reforço com controlador único usando MaxText e Tunix em clusters Trillium com várias partições.
O fundador Sashikumaar Ganesan afirmou que o controlador monitora a topologia das TPUs e remapeia e redimensiona dinamicamente as cargas de trabalho quando um chip ou uma partição fica indisponível. “Combinar o Pathways com a captura de instantâneos dos hosts em produção reduz ao mínimo o tempo de recuperação quando ocorrem interrupções, mantendo plenamente utilizada nossa capacidade de TPU disponível e com pouquíssimo tempo de inatividade”, afirmou.
Disponibilidade no GKE e prévia para Slurm
O Cloud Pathways está disponível de forma geral no GKE em todas as regiões do Google Cloud que oferecem suporte ao Cloud TPU v5e, TPU v5p, Trillium TPU v6e e Ironwood TPU 7x. O Google fornece imagens de contêiner com controle de versão compatíveis com JAX 0.10.1 e versões posteriores.
Uma integração separada com o Cluster Director estende o Cloud Pathways aos clusters Slurm TPU, oferecendo suporte à execução unificada do JAX em várias partições, ao treinamento elástico e a notebooks interativos. Essa integração está em prévia, um status diferente da disponibilidade geral do ambiente de execução no GKE.
Para operadores que executam trabalhos de vários dias em aceleradores de alto custo, o lançamento vincula diretamente a orquestração à utilização: um controlador coordena as partições de TPU, e a recuperação baseada em capturas instantâneas foi projetada para manter o trabalho do cliente em execução quando uma partição individual falha.
