Google Cloud เปิดให้ใช้งาน Pathways Runtime อย่างเป็นทางการสำหรับเวิร์กโหลด TPU ขนาดใหญ่

เมื่อวันที่ 9 พฤศจิกายน 2026 Google Cloud ประกาศว่า Cloud Pathways เปิดให้ใช้งานทั่วไปบน Google Kubernetes Engine (GKE) แล้ว โดยนำรันไทม์แบบตัวควบคุมเดียวสำหรับการฝึกและการอนุมานขนาดใหญ่มาให้ลูกค้าใช้งาน Google ระบุว่าในช่วง 90 วันที่ผ่านมา ผู้ใช้ประมวลผลข้อมูลด้วย Cloud TPU รวมกันมากกว่า 130 ล้านชั่วโมงชิปผ่าน Pathways บน GKE

รันไทม์นี้มีอีกชื่อหนึ่งว่า Pathways on Cloud และเป็นองค์ประกอบหลักด้านรันไทม์ของ Google Cloud AI Hypercomputer เดิมที Google DeepMind พัฒนาระบบนี้ขึ้นเพื่อฝึกและให้บริการโมเดลแนวหน้าของ Google รวมถึง Gemini โดยออกแบบมาสำหรับกลุ่มตัวเร่งประมวลผลขนาดใหญ่ที่มีความหลากหลาย การเปิดตัวครั้งนี้นำเทคโนโลยีที่ใช้กับเวิร์กโหลด AI ขนาดใหญ่ที่สุดของ Google มาให้ลูกค้า Cloud ใช้งาน

ตัวควบคุมเดียวสำหรับ TPU หลายส่วน

ซอฟต์แวร์นี้มุ่งแก้ปัญหาภาระการประสานงานที่เกิดจากการตั้งค่า JAX แบบหลายตัวควบคุมตามค่าเริ่มต้น ในการตั้งค่าดังกล่าว โฮสต์ TPU แต่ละเครื่องจะเรียกใช้ตัวแปลภาษา Python แยกกัน โดยมองเห็นเฉพาะอุปกรณ์ที่เชื่อมต่ออยู่กับเครื่องนั้น ขณะที่โฮสต์ทุกเครื่องเรียกใช้โปรแกรมเดียวกันแบบโปรแกรมเดียวหลายข้อมูลพร้อมกัน Google ระบุว่าเมื่อขยายขนาดงาน เวิร์กโหลดหลายโปรแกรมที่ใช้ระบบต่างชนิดกันและการจัดการทรัพยากรข้ามส่วนต่าง ๆ จะซับซ้อนและเปราะบาง

Cloud Pathways เข้ามาแทนที่รูปแบบดังกล่าวด้วยตัวควบคุมแบบรวมศูนย์ที่สร้างขึ้นบน Interim Framework Runtime แบบโอเพนซอร์ส การตั้งค่า JAX_PLATFORMS=proxy ด้วย pathwaysutils ช่วยให้ไคลเอ็นต์ JAX เพียงตัวเดียวมองเห็นและจัดการ TPU หลายส่วนขนาดใหญ่ ซึ่งมีชิปนับพันตัว ได้เสมือนว่าอุปกรณ์เหล่านั้นเชื่อมต่ออยู่ในเครื่องเดียวกัน ตัวควบคุมจะจัดการการประเมินกราฟ การแคชการคอมไพล์แบบถาวรใน Cloud Storage และการส่งงาน XLA แบบไม่พร้อมกันข้ามส่วนต่าง ๆ

คอนเทนเนอร์ Python sidecar ที่ทำงานร่วมตำแหน่งเดียวกันและรองรับหน่วยความจำที่ใช้ร่วมกัน จะทำงานที่ใช้การประมวลผลสูง เช่น การโหลดข้อมูลแบบกระจายและการบันทึกจุดตรวจสอบ บนโฮสต์ TPU โดยตรง การฝึกแบบยืดหยุ่นใช้ภาพบันทึกหน่วยความจำของโฮสต์เพื่อปรับการแบ่งงานใหม่ให้ทำงานบนส่วนที่น้อยลงหนึ่งส่วน หลังเกิดเหตุขัดข้องของฮาร์ดแวร์ โดยไม่ทำให้ไคลเอ็นต์หยุดทำงาน โหมดโต้ตอบรองรับโน้ตบุ๊กและเทอร์มินัล ส่วน Shared Pathways Service ช่วยให้ผู้ใช้และงานหลายรายการใช้ทรัพยากรจากกลุ่ม TPU หลายส่วนที่ทำงานต่อเนื่องเป็นเวลานานร่วมกันได้

การใช้งานจริงและการกู้คืนแบบยืดหยุ่น

Google Cloud รายงานว่า บริษัทเทคโนโลยีสำหรับผู้บริโภครายใหญ่แห่งหนึ่งกำลังใช้ชิป TPU v5p, Trillium v6e และ Ironwood TPU7x หลายหมื่นชิปในการอนุมานแบบแบตช์และการเรียนรู้แบบเสริมกำลังในระบบใช้งานจริง การติดตั้งดังกล่าวใช้ชิป-ชั่วโมงมากกว่า 100 ล้านชั่วโมงต่อไตรมาส และลูกค้ารายนี้ร่วมออกแบบกลไกพื้นฐานสำหรับการปรับขนาดแบบยืดหยุ่นกับ Google ขณะที่ขยายไปสู่การฝึกก่อนการฝึก (pre-training)

ZenteiQ นำชุดเทคโนโลยีเดียวกันนี้ไปใช้กับโมเดลพื้นฐานทางวิทยาศาสตร์ โดยใช้ Cloud Pathways บน GKE ร่วมกับ Cluster Toolkit, sidecar ที่ทำงานร่วมตำแหน่งเดียวกัน และการบันทึกภาพสถานะของโฮสต์ เพื่อฝึก MaxText ล่วงหน้าแบบยืดหยุ่น และทำการเรียนรู้แบบเสริมกำลังด้วยตัวควบคุมเดียว โดยใช้ MaxText และ Tunix บนคลัสเตอร์ Trillium แบบหลายส่วน

Sashikumaar Ganesan ผู้ก่อตั้งกล่าวว่า ตัวควบคุมจะตรวจสอบโทโพโลยีของ TPU และจัดโครงข่ายใหม่พร้อมปรับขนาดเวิร์กโหลดแบบไดนามิกเมื่อชิปหรือส่วนใดส่วนหนึ่งหยุดทำงาน “การใช้ Pathways ร่วมกับการบันทึกภาพสถานะของโฮสต์ในระบบใช้งานจริงช่วยลดเวลาในการกู้คืนให้เหลือน้อยที่สุดเมื่อเกิดเหตุขัดข้อง ทำให้เราใช้ความจุ TPU ที่พร้อมใช้งานได้เต็มที่ โดยแทบไม่มีเวลาหยุดชะงัก” เขากล่าว

การให้บริการบน GKE และเวอร์ชันทดลองสำหรับ Slurm

Cloud Pathways เปิดให้ใช้งานทั่วไปบน GKE ในทุกภูมิภาคของ Google Cloud ที่รองรับ Cloud TPU v5e, TPU v5p, Trillium TPU v6e และ Ironwood TPU 7x โดย Google มีอิมเมจคอนเทนเนอร์ที่แยกตามเวอร์ชันและรองรับ JAX 0.10.1 ขึ้นไป

การผสานรวมอีกแบบหนึ่งกับ Cluster Director ขยาย Cloud Pathways ไปยังคลัสเตอร์ Slurm TPU โดยรองรับการเรียกใช้ JAX แบบรวมศูนย์ข้ามหลายส่วน การฝึกแบบยืดหยุ่น และโน้ตบุ๊กแบบโต้ตอบ การผสานรวมนี้อยู่ในสถานะ Preview ซึ่งแตกต่างจากสถานะเปิดให้ใช้งานทั่วไปของรันไทม์บน GKE

สำหรับผู้ดูแลระบบที่เรียกใช้งานหลายวันบนตัวเร่งประมวลผลราคาสูง การเปิดตัวครั้งนี้เชื่อมโยงการจัดการระบบเข้ากับการใช้ทรัพยากรโดยตรง กล่าวคือ ตัวควบคุมเดียวจะประสานงาน TPU แต่ละส่วน ขณะที่การกู้คืนโดยอาศัยภาพบันทึกสถานะได้รับการออกแบบมาเพื่อให้งานของไคลเอ็นต์ทำงานต่อไปได้เมื่อส่วนใดส่วนหนึ่งขัดข้อง