Google เปิดซอร์ส TorchTPU นำ PyTorch แบบเนทีฟมาใช้กับ TPU ของบริษัท

Google ประกาศเมื่อวันที่ 20 ตุลาคม 2026 ในงาน PyTorch Conference 2026 ว่า TorchTPU ซึ่งเป็นสแต็ก PyTorch แบบเนทีฟสำหรับ Tensor Processing Units (TPU) เปิดให้ใช้งานเป็นซอฟต์แวร์โอเพนซอร์สบน GitHub แล้ว บริษัทระบุไว้ในบล็อกของ Google Cloud ซอฟต์แวร์นี้พัฒนาร่วมกับทีม PyTorch ของ Meta และออกแบบมาให้รันเวิร์กโหลด PyTorch ที่มีอยู่บน TPU ได้โดยแทบไม่ต้องแก้ไขโค้ด

Google ระบุว่า การเปิดตัวครั้งนี้ทำให้ TPU เป็นตัวเลือกแบบเนทีฟสำหรับ PyTorch เช่นเดียวกับ GPU และ CPU โดยรองรับตั้งแต่การฝึกโมเดล การให้บริการ ไปจนถึงการนำไปใช้งานจริงผ่านเครื่องมือต่าง ๆ เช่น vLLM, SGLang, llm-d, TorchTitan, Ray, TorchRec, Hugging Face และ LiteRT นักพัฒนาสามารถดีบักโมเดลในโหมด eager ก่อน จากนั้นจึงเพิ่มประสิทธิภาพให้พร้อมใช้งานจริงผ่าน torch.compile เพื่อปรับการใช้ TPU ให้เหมาะสมและลดภาระหน่วยความจำ

Jana van Greunen ผู้อำนวยการฝ่ายวิศวกรรม PyTorch ที่ Meta กล่าวในประกาศว่า TorchTPU ช่วยให้ Meta พัฒนาฮาร์ดแวร์ร่วมกับทีมระบบแมชชีนเลิร์นนิงหลักได้อย่างยืดหยุ่น พร้อมรองรับเวิร์กโหลดสำคัญของระบบ LLM โฆษณา และระบบแนะนำ “เทคโนโลยีนี้ช่วยให้เรานำเวิร์กโหลด PyTorch ไปใช้งานบน TPU ของ Google ได้โดยตรง ให้ข้อเสนอแนะกับทีมวิศวกรได้โดยตรง และสร้างความยืดหยุ่นให้กับระบบนิเวศตามที่ทุกคนต้องการ” เธอกล่าว

การผสานรวมกับ Hugging และระบบให้บริการ

Google ร่วมมือกับ Hugging Face เพื่อให้โมเดลแบบเปิดน้ำหนักบน Hugging Face Hub ทำงานบน TorchTPU ได้โดยตรง ใน Transformers v5 การนำโมเดลไปใช้งานบน TPU ทำได้โดยส่ง device_map="tpu"และไลบรารี Diffusers ทำงานบน TPU ได้โดยตรง พร้อมรองรับโหมด eager, torch.compile และการทำ tensor parallelism ข้ามตัวเร่งความเร็วหลายตัว Google ระบุว่า บริษัทยังสร้างไปป์ไลน์ CI/CD โดยเฉพาะสำหรับทดสอบชุด Hugging Face Transformers บนโครงสร้างพื้นฐาน TPU อย่างต่อเนื่องทุกคืน Jeff Boudier รองประธานฝ่ายผลิตภัณฑ์ของ Hugging Face กล่าวว่า ความร่วมมือนี้ทำให้คำมั่นของแพลตฟอร์มเรื่องการให้ผู้ใช้เลือกฮาร์ดแวร์ได้กลายเป็นจริง

สำหรับการให้บริการ แบ็กเอนด์ vLLM แบบ PyTorch เนทีฟบน TorchTPU ได้รับการพัฒนาร่วมกับ Inferact Google ระบุว่าแบ็กเอนด์นี้รองรับการจัดชุดงานต่อเนื่อง การทำ quantization และการประมวลผลแบบขนานบนชิปหลายตัวบนฮาร์ดแวร์ TPU โดยใช้เคอร์เนล Pallas ที่ปรับแต่งเฉพาะ ขณะเดียวกันก็ยังคงใช้โมเดลเวิร์กเกอร์ ตัวจัดตารางเวลา และเซิร์ฟเวอร์ API จากโปรเจกต์ต้นทางไว้ ทำให้สแต็กการอนุมานที่มีอยู่ไม่ต้องปรับเปลี่ยน Simon Mo ซีอีโอและผู้ร่วมก่อตั้ง Inferact กล่าวว่า การผสานรวมนี้ทำให้ TPU รองรับ vLLM ได้อย่างเต็มรูปแบบ

แบ็กเอนด์ PyTorch แบบเนทีฟสำหรับ SGLang ซึ่งพัฒนาร่วมกับ RadixArk มุ่งรองรับเวิร์กโหลดแบบมีโครงสร้างและเวิร์กโหลดที่ใช้เอเจนต์ ตามประกาศ SGLang ใช้ RadixAttention เพื่อนำแคช KV กลับมาใช้ซ้ำระหว่างคำขอ จึงไม่ต้องคำนวณซ้ำเมื่อคำขอมีส่วนต้นของพรอมป์ต์เหมือนกัน ส่วนเวอร์ชัน TorchTPU ใช้แบ็กเอนด์ถ่ายโอนข้อมูลแบบแยกส่วน ซึ่งทำหน้าที่เป็นแบ็กเอนด์ I/O สำหรับ HiCache ด้วย Banghua Zhu ประธานเจ้าหน้าที่ฝ่ายเทคโนโลยีและผู้ร่วมก่อตั้ง RadixArk กล่าวว่า TorchTPU ช่วยเร่งงานของบริษัท ขณะที่บริษัททยอยเพิ่มการรองรับ SGLang บนชิปประมวลผลหลายประเภท

Google ยังเปิดตัว llm-d 1.0 ร่วมกับ Red Hat, IBM และชุมชนที่มีผู้ร่วมพัฒนามากกว่า 500 คนจาก 25 องค์กร ในฐานะโปรเจกต์ Sandbox ของ Cloud Native Computing Foundation ประกาศระบุว่า llm-d เชื่อมระบบนิเวศการให้บริการ PyTorch เข้ากับการนำไปใช้งานจริงบน Kubernetes โดยเราเตอร์ใช้การกำหนดเส้นทางที่คำนึงถึงแคชคำนำหน้า เพื่อส่งคำขอแต่ละรายการไปยังเรพลิกาที่มีบริบทของคำขอนั้นอยู่แล้ว และแยกขั้นตอน prefill ซึ่งใช้การคำนวณสูงออกจากขั้นตอน decode ซึ่งใช้หน่วยความจำสูง เวอร์ชัน 1.0 เพิ่มการควบคุมโฟลว์สำหรับผู้ใช้หลายราย ความพร้อมใช้งานสูงของเราเตอร์ API v1 ที่เสถียร และการกำหนดเส้นทางที่คำนึงถึงเซสชันสำหรับเอเจนต์ นอกจากนี้ บน Google Kubernetes Engine จุดเชื่อมต่อ llm-d แบบรวมยังทำงานได้ทั้งบน GPU และ TPU

ศ. Sashikumaar Ganesan ผู้ก่อตั้ง Zenteiq กล่าวในประกาศว่า GKE Inference Gateway ที่ขับเคลื่อนด้วย llm-d ทำให้ปริมาณงานอนุมานรวมสำหรับการสร้างข้อมูลสังเคราะห์ของบริษัทสูงขึ้นกว่า 4 เท่า โดยเพิ่มความสามารถในการสร้างโทเคนต่อวันจาก 1.47 พันล้านเป็น 5.97 พันล้านโทเคนต่อเครื่องเร่งความเร็ว TPU v6e จำนวน 1,000 ตัว

การฝึกและการจัดการเวิร์กโฟลว์

TorchTitan ซึ่งเป็นการติดตั้งใช้งานอ้างอิงสำหรับการฝึกแบบกระจายที่พัฒนามาเพื่อ PyTorch โดยเฉพาะ มาพร้อมการผสานรวม TorchTPU ระดับพร้อมใช้งานจริงตามที่ Google ระบุ โดยสร้างขึ้นบน torch.compile, SimpleFSDP ของ TorchTitan, เคอร์เนล Pallas เฉพาะทาง และการปรับแต่งระดับกราฟ TorchTitan มีสูตรการตั้งค่าสำหรับ TorchTPU เพื่อฝึกโมเดลแบบหนาแน่นล่วงหน้า เช่น Llama 3 70B และ 405B, Qwen 3 8B และ 32B รวมถึง MuseGlimmer 30B ตลอดจนโมเดล mixture-of-experts Qwen 3 235B และ diffusion transformer FLUX.1 12B Google ระบุว่าได้ตรวจสอบความถูกต้องของการผสานรวมนี้บน Ironwood TPU (TPU v7x) สูงสุด 8,000 ตัวแล้ว และการฝึก TorchTPU ผ่าน TorchTitan ทำค่า Model Flops Utilization ได้สูงสุด 52% บน Qwen 3 8B โดยขยายขนาดได้เกือบเป็นเส้นตรงเมื่อใช้ Ironwood TPU สูงสุด 8,192 ตัว

Google ยังส่งแบ็กเอนด์ TPU และสูตรอ้างอิงแบบครบวงจรให้ VeRL ซึ่งเป็นเฟรมเวิร์กสำหรับการเรียนรู้แบบเสริมแรง โดยสูตร GRPO นี้สร้างบนสถาปัตยกรรมที่แยกส่วนการฝึกออกจากการสุ่มตัวอย่าง และสาธิตการทำงานบนชุดข้อมูลการให้เหตุผลทางคณิตศาสตร์ ทั้งนี้ สูตรดังกล่าวมีจุดประสงค์เพื่อให้นักพัฒนารันเวิร์กโหลด VeRL บน TPU ได้ โดยยังคงใช้โค้ดโมเดลและอัลกอริทึมเดิมที่ไม่ผูกกับฮาร์ดแวร์ไว้ได้

Ray เพิ่มการรองรับ TorchTPU โดยตรง เพื่อจัดการการประมวลผลข้อมูล การฝึก การเรียนรู้แบบเสริมกำลัง และการให้บริการด้วย PyTorch บน CPU, GPU และ TPU ภายในเวิร์กโฟลว์เดียว Edward Oakes สถาปนิกหลักของ Anyscale กล่าวว่า ทั้งสองบริษัททำงานร่วมกันเพื่อให้ TPU เป็นตัวเร่งการประมวลผลชั้นหนึ่งใน Ray พร้อมเสริมว่า “TorchTPU ผสาน TPU ของ Google เข้ากับเทคโนโลยีมาตรฐานของอุตสาหกรรมนี้โดยตรง”

สถาปัตยกรรมเดิมและการเปิดให้ใช้งาน

TorchTPU เปิดตัวต่อสาธารณะเมื่อวันที่ 7 เมษายน 2026 ในบทความบนบล็อก Google Developers ซึ่งอธิบายการออกแบบแนวทาง “Eager First” ที่สร้างขึ้นบนอินเทอร์เฟซ PrivateUse1 ของ PyTorch โดยมีโหมด eager ได้แก่ Debug, Strict และ Fused ซึ่งใช้แคชการคอมไพล์ร่วมกัน ขณะนั้น Google ระบุว่า Fused Eager เพิ่มประสิทธิภาพได้ 50% ถึง 100% ขึ้นไปเมื่อเทียบกับ Strict Eager และ torch.compile บน TorchTPU จะบันทึกกราฟ FX ด้วย Torch Dynamo แล้วแปลงกราฟผ่าน XLA และ StableHLO โดยใช้เคอร์เนลที่กำหนดเองซึ่งเขียนด้วย Pallas และ JAX บทความระบุว่าสแต็กนี้รองรับ Distributed Data Parallel, FSDPv2 และ DTensor ได้ทันที และออกแบบมาเพื่อรองรับการทำงานที่แตกต่างกันระหว่างแต่ละอันดับ นอกจากนี้ ยังระบุการเปิดตัวคลังโค้ด GitHub สาธารณะไว้เป็นหนึ่งในรายการตามแผนงานของ TorchTPU ในปี 2026

ขณะนี้คลังโค้ด torch_tpuเปิดให้สาธารณชนเข้าถึงได้ภายใต้องค์กร google-pytorch บน GitHub และเผยแพร่ภายใต้สัญญาอนุญาต Apache 2.0 ในไฟล์ README ระบุว่ามีเคอร์เนล ATen ที่กำหนดเอง แคชการคอมไพล์สำหรับการประมวลผล XLA การรองรับการฝึกแบบกระจายด้วยการประมวลผลข้อมูลและเทนเซอร์แบบขนาน การผสานรวมกับ torch.compile เครื่องมือดีบักและทดสอบประสิทธิภาพ ตลอดจนตัวอย่างสำหรับ Llama, Qwen, ResNet, DLRM, minGPT และ UNet โปรเจ็กต์นี้รองรับ Python 3.11 ขึ้นไป และแพ็กเกจ torch-tpu เวอร์ชัน 0.2.0 เผยแพร่บน PyPIเมื่อวันที่ 19 ตุลาคม 2026 พร้อมไฟล์ไบนารีสำหรับ Linux x86-64 ที่รองรับ CPython ตั้งแต่เวอร์ชัน 3.11 ถึง 3.14 มีคู่มือผู้ใช้เผยแพร่ไว้ที่ torchtpu.readthedocs.io และ README ระบุว่าโน้ตบุ๊กแบบอินเทอร์แอกทีฟของโปรเจ็กต์ต้องเรียกใช้จาก TPU VM โดยอินสแตนซ์ v6e GCE เป็นตัวเลือกที่สะดวกที่สุด

ในการประกาศเดียวกัน Google ระบุว่า LiteRT ซึ่งเดิมชื่อ TensorFlow Lite กำลังเข้าร่วมระบบนิเวศ PyTorch โดยไลบรารี LiteRT-Torch สามารถแปลงโมเดล PyTorch ได้ด้วยการเรียกใช้เพียงครั้งเดียว litert-torch.convert() และโมเดลที่แปลงแล้วสามารถทำงานบนอุปกรณ์ Android, iOS, macOS, Windows, Linux, เว็บ และ IoT ได้ ชุดเอเจนต์ TPU ที่มีเป้าหมายเพื่อทำให้การเริ่มต้นใช้งาน การวินิจฉัยปัญหา และการปรับแต่งประสิทธิภาพการอนุมานสำหรับโมเดล PyTorch เป็นไปโดยอัตโนมัติ กำลังเปิดให้ทดลองใช้ในระยะแรกบน GitHub

ประกาศดังกล่าวแนะนำให้นักพัฒนาเริ่มใช้งาน PyTorch บน TPU โดยดูเอกสารประกอบ TPU ของ Google Cloud