Google Cloud đưa Pathways Runtime lên trạng thái sẵn sàng phổ cập (GA) cho các khối lượng công việc TPU quy mô lớn

Ngày 9 tháng 11 năm 2026, Google Cloud thông báo Cloud Pathways đã sẵn sàng phổ cập trên Google Kubernetes Engine (GKE), mang đến cho khách hàng một môi trường thực thi dùng bộ điều khiển đơn cho các tác vụ huấn luyện và suy luận quy mô lớn. Google cho biết trong 90 ngày trước đó, người dùng đã xử lý hơn 130 triệu giờ chip Cloud TPU với Pathways trên GKE.

Môi trường thực thi này, còn được gọi là Pathways on Cloud, là một trụ cột cốt lõi trong môi trường thực thi của Google Cloud AI Hypercomputer. Ban đầu được Google DeepMind phát triển để huấn luyện và vận hành các mô hình tiên tiến nhất của Google, trong đó có Gemini, công nghệ này được thiết kế cho các cụm bộ tăng tốc quy mô lớn, không đồng nhất. Bản phát hành đưa công nghệ vốn được sử dụng cho các khối lượng công việc AI lớn nhất của Google đến với khách hàng Cloud.

Một bộ điều khiển duy nhất cho các phân vùng TPU

Phần mềm này giải quyết gánh nặng điều phối của cấu hình JAX đa bộ điều khiển mặc định. Trong cấu hình đó, mỗi máy chủ TPU chạy một trình thông dịch Python riêng, chỉ có thể xem các thiết bị được kết nối cục bộ, trong khi tất cả máy chủ cùng thực thi một chương trình đơn, nhiều dữ liệu theo cách đồng bộ. Google cho biết điều này khiến việc xử lý các khối lượng công việc đa chương trình không đồng nhất và quản lý tài nguyên trên nhiều phân vùng trở nên phức tạp, thiếu ổn định khi quy mô tác vụ tăng lên.

Cloud Pathways thay thế cấu hình đó bằng một bộ điều khiển thống nhất được xây dựng trên Interim Framework Runtime mã nguồn mở. Việc thiết lập JAX_PLATFORMS=proxy với pathwaysutils cho phép một ứng dụng khách JAX quan sát và điều phối nhiều phân vùng TPU lớn trải rộng trên hàng nghìn chip, như thể các thiết bị của chúng được kết nối cục bộ. Bộ điều khiển quản lý việc đánh giá đồ thị, bộ nhớ đệm biên dịch liên tục trong Cloud Storage và điều phối bất đồng bộ các tác vụ XLA trên nhiều phân vùng.

Các vùng chứa Python sidecar đặt cùng máy chủ, có hỗ trợ bộ nhớ dùng chung, chạy trực tiếp trên máy chủ TPU những tác vụ đòi hỏi nhiều năng lực tính toán như nạp dữ liệu phân tán và tạo điểm kiểm tra. Cơ chế huấn luyện đàn hồi sử dụng ảnh chụp bộ nhớ máy chủ để phân bổ lại tác vụ trên ít hơn một phân vùng sau khi xảy ra gián đoạn phần cứng, mà không làm ứng dụng khách gặp sự cố. Chế độ tương tác hỗ trợ sổ tay và thiết bị đầu cuối, trong khi Shared Pathways Service cho phép nhiều người dùng và tác vụ sử dụng chung một nhóm phân vùng TPU hoạt động trong thời gian dài.

Ứng dụng trong môi trường sản xuất và khôi phục linh hoạt

Google Cloud cho biết một công ty công nghệ tiêu dùng lớn đang chạy các tác vụ suy luận theo lô và suy luận học tăng cường trong môi trường sản xuất trên hàng chục nghìn chip TPU v5p, Trillium v6e và Ironwood TPU7x. Triển khai này tiêu thụ hơn 100 triệu giờ chip mỗi quý, và khách hàng đã cùng Google thiết kế các nguyên hàm về khả năng co giãn khi mở rộng sang giai đoạn tiền huấn luyện.

ZenteiQ đang áp dụng cùng bộ công nghệ này cho các mô hình nền tảng khoa học. Công ty sử dụng Cloud Pathways trên GKE cùng Cluster Toolkit, các sidecar đặt cùng máy chủ và chức năng chụp ảnh bộ nhớ máy chủ để thực hiện huấn luyện tiền kỳ đàn hồi bằng MaxText và học tăng cường với bộ điều khiển đơn bằng MaxText và Tunix trên các cụm Trillium đa phân vùng.

Nhà sáng lập Sashikumaar Ganesan cho biết bộ điều khiển theo dõi cấu trúc liên kết TPU, đồng thời tự động tái cấu trúc lưới và thay đổi kích thước khối lượng công việc khi một chip hoặc phân vùng ngừng hoạt động. Ông nói: “Kết hợp Pathways với chức năng chụp ảnh bộ nhớ máy chủ trong môi trường sản xuất giúp giảm thời gian khôi phục xuống mức tối thiểu khi xảy ra gián đoạn, nhờ đó tận dụng tối đa năng lực TPU hiện có với thời gian đình trệ rất ngắn.”

Khả năng cung cấp trên GKE và bản xem trước Slurm

Cloud Pathways đã sẵn sàng phổ cập trên GKE tại tất cả các khu vực Google Cloud hỗ trợ Cloud TPU v5e, TPU v5p, Trillium TPU v6e và Ironwood TPU 7x. Google cung cấp các ảnh vùng chứa theo phiên bản, hỗ trợ JAX 0.10.1 trở lên.

Một tích hợp riêng với Cluster Director mở rộng Cloud Pathways sang các cụm Slurm TPU, hỗ trợ thực thi JAX đa phân vùng thống nhất, huấn luyện đàn hồi và sổ tay tương tác. Tích hợp này đang ở giai đoạn xem trước, một trạng thái riêng biệt với trạng thái sẵn sàng phổ cập của môi trường thực thi trên GKE.

Đối với các đơn vị vận hành chạy tác vụ nhiều ngày trên bộ tăng tốc có chi phí cao, bản phát hành này gắn kết trực tiếp hoạt động điều phối với mức độ sử dụng: một bộ điều khiển điều phối các phân vùng TPU, còn cơ chế khôi phục dựa trên ảnh chụp được thiết kế để duy trì tác vụ của ứng dụng khách khi một phân vùng riêng lẻ gặp sự cố.