AI 모델 및 플랫폼
Google Cloud, 대규모 TPU 워크로드용 Pathways Runtime 정식 출시
Unite.AI를 Google의 선호 소스에 추가
Google Cloud는 2026년 11월 9일, Cloud Pathways를 Google Kubernetes Engine (GKE)에서 정식 제공한다고 발표했습니다. 이를 통해 고객은 대규모 학습과 추론을 위한 단일 컨트롤러 런타임을 사용할 수 있게 됩니다. Google에 따르면, 사용자는 직전 90일 동안 GKE의 Pathways를 통해 Cloud TPU 칩·시간을 1억 3천만 시간 넘게 사용했습니다.
Pathways on Cloud라고도 불리는 이 런타임은 Google Cloud AI Hypercomputer의 핵심 런타임 구성 요소입니다. Google DeepMind가 Gemini를 비롯한 Google의 최첨단 모델을 학습시키고 서비스하기 위해 처음 설계했으며, 대규모의 이기종 가속기 플릿을 지원하도록 만들어졌습니다. 이번 출시는 Google의 가장 큰 AI 워크로드에 사용되던 기술을 Cloud 고객에게 제공하는 것입니다.
TPU 슬라이스 전반을 아우르는 단일 컨트롤러
이 소프트웨어는 기본 JAX의 멀티 컨트롤러 구성에서 발생하는 조정 오버헤드를 해결합니다. 이 구성에서는 각 TPU 호스트가 별도의 Python 인터프리터를 실행하고 연결된 장치를 로컬에서만 파악하는 반면, 모든 호스트는 동일한 단일 프로그램·다중 데이터 프로그램을 동기화해 실행합니다. Google은 작업 규모가 커질수록 이로 인해 이기종 멀티 프로그램 워크로드와 슬라이스 전반의 리소스 관리가 복잡하고 불안정해진다고 설명합니다.
Cloud Pathways는 오픈소스 Interim Framework Runtime을 기반으로 구축한 통합 컨트롤러로 이러한 구성을 대체합니다. 설정하는 JAX_PLATFORMS=proxy 와 함께 pathwaysutils 하나의 JAX 클라이언트가 수천 개의 칩에 걸친 여러 대규모 TPU 슬라이스를 확인하고 오케스트레이션할 수 있게 합니다. 마치 각 슬라이스의 장치가 로컬로 연결된 것처럼 다룰 수 있습니다. 컨트롤러는 그래프 평가, Cloud Storage의 영구 컴파일 캐시, 슬라이스 전반에 걸친 XLA 작업의 비동기 디스패치를 관리합니다.
공유 메모리를 지원하는 Python 사이드카 컨테이너를 TPU 호스트에 함께 배치해 분산 데이터 로딩과 체크포인팅 같은 연산 집약적 작업을 직접 실행합니다. 탄력적 학습은 호스트 메모리 스냅샷을 사용해 하드웨어가 중단되더라도 클라이언트를 중단시키지 않고 작업을 슬라이스 하나가 줄어든 구성으로 재분할합니다. 대화형 모드는 노트북과 터미널을 지원하며, Shared Pathways Service를 사용하면 여러 사용자와 작업이 장시간 실행되는 TPU 슬라이스 풀을 함께 이용할 수 있습니다.
프로덕션 사용과 탄력적 복구
Google Cloud에 따르면, 한 대형 소비자 기술 기업은 TPU v5p, Trillium v6e, Ironwood TPU7x 칩 수만 개에서 프로덕션 배치 추론과 강화 학습 추론을 실행하고 있습니다. 이 배포 환경은 분기당 칩·시간을 1억 시간 넘게 사용하며, 고객사는 사전 학습으로 확장하는 과정에서 Google과 함께 탄력성 기본 기능을 공동 설계했습니다.
ZenteiQ는 동일한 스택을 과학 기반 모델에 적용하고 있습니다. Cluster Toolkit, 함께 배치한 사이드카, 호스트 스냅샷을 활용해 GKE에서 Cloud Pathways를 실행하며, 멀티 슬라이스 Trillium 클러스터 전반에서 MaxText를 사용한 탄력적 사전 학습과 MaxText 및 Tunix를 사용한 단일 컨트롤러 강화 학습을 수행합니다.
창립자 Sashikumaar Ganesan은 컨트롤러가 TPU 토폴로지를 모니터링하고 칩이나 슬라이스가 오프라인 상태가 되면 워크로드의 메시 구성과 크기를 동적으로 조정한다고 말했습니다. 그는 “Pathways와 호스트 스냅샷을 결합해 프로덕션 환경에 적용하면 장애 발생 시 복구 시간을 최소화하고, 중단 시간을 거의 없애 가용한 TPU 용량을 최대한 활용할 수 있습니다”라고 말했습니다.
GKE 정식 제공 및 Slurm 프리뷰
Cloud Pathways는 Cloud TPU v5e, TPU v5p, Trillium TPU v6e, Ironwood TPU 7x를 지원하는 모든 Google Cloud 리전의 GKE에서 정식 제공됩니다. Google은 JAX 0.10.1 이상을 지원하는 버전별 컨테이너 이미지를 제공합니다.
Cluster Director와 별도로 통합하면 Cloud Pathways를 Slurm TPU 클러스터로 확장해 통합 멀티 슬라이스 JAX 실행, 탄력적 학습, 대화형 노트북을 지원합니다. 이 통합 기능은 프리뷰 상태이며, GKE 런타임의 정식 제공 상태와는 다릅니다.
비용이 높은 가속기에서 며칠간 실행되는 작업을 운영하는 경우, 이번 출시는 오케스트레이션을 사용률과 직접 연결합니다. 단일 컨트롤러가 TPU 슬라이스를 조정하고, 스냅샷 기반 복구는 개별 슬라이스에 장애가 발생해도 클라이언트 작업이 계속 실행되도록 설계되었습니다.
