PyTorch Foundation รวม Ray แพลตฟอร์มการคำนวณแบบกระจาย เพื่อสร้างโครงสร้างพื้นฐาน AI ที่เป็นเอกภาพ

โครงสร้างพื้นฐาน AI ที่เปิดให้ใช้งานได้ฟรีได้ทำการเปลี่ยนแปลงที่สำคัญในวันนี้ เมื่อมีการประกาศว่า PyTorch Foundation ได้รวม Ray ซึ่งเป็นแพลตฟอร์มการคำนวณแบบกระจายที่พัฒนาโดย Anyscale เข้ามาเป็นส่วนหนึ่งของโครงการนี้ การรวมตัวนี้ถือเป็นก้าวสำคัญในการสร้างโครงสร้างพื้นฐาน AI ที่เป็นเอกภาพและสามารถทำงานร่วมกันได้ ซึ่งเชื่อมโยงระหว่างการพัฒนาแบบจำลอง (PyTorch) การอนุมานแบบกระจาย (vLLM) และการทำงานแบบกระจายขนาดใหญ่ (Ray)

โครงสร้างพื้นฐาน AI ที่เป็นเอกภาพ

PyTorch Foundation ซึ่งจัดทำโดย Linux Foundation ทำหน้าที่เป็นศูนย์กลางสำหรับเทคโนโลยี AI ที่เปิดให้ใช้งานได้ฟรี ซึ่งมีเป้าหมายในการลดการกระจายและเพิ่มการทำงานร่วมกันระหว่างทุกขั้นตอนของการพัฒนา AI โดยการรวม Ray เข้ากับ PyTorch และ vLLM โครงการนี้ได้นำเสนอโครงสร้างพื้นฐาน AI ที่สมบูรณ์แบบสำหรับการสร้าง การฝึกอบรม และการนำ AI ไปใช้งานในระดับใหญ่

การรวม Ray นี้ยังเป็นผลมาจากหลายปีของการวิจัยและพัฒนาในด้านวิชาการและอุตสาหกรรม ซึ่งเริ่มต้นจาก UC Berkeley’s RISELab และได้รับการออกแบบมาเพื่อทำให้การคำนวณแบบกระจายสำหรับ AI และการเรียนรู้ของเครื่องจักรเป็นเรื่องที่ง่ายขึ้น Ray ช่วยให้นักพัฒนาสามารถขยายงานจากคอมพิวเตอร์เครื่องเดียวไปจนถึงหลายพันเครื่องโดยไม่ต้องเขียนโค้ดใหม่หรือจัดการระบบที่ซับซ้อน ในปัจจุบัน Ray มีมากกว่า 39,000 GitHub stars และมากกว่า 214 ล้านการดาวน์โหลด ทำให้กลายเป็นหนึ่งในแพลตฟอร์มการคำนวณแบบกระจายที่ได้รับการยอมรับมากที่สุดในโลก

วิธีการที่ Ray เสริมให้ PyTorch และ vLLM

Ray ตั้งอยู่ระหว่างเฟรมเวิร์กการฝึกอบรมและการอนุมาน (เช่น PyTorch, DeepSpeed และ vLLM) และชั้นการออร์เคสตรاسیونคอนเทนเนอร์ (เช่น Kubernetes หรือ Slurm) ตำแหน่งนี้ทำให้ Ray สามารถจัดการการทำงานแบบกระจายได้อย่างมีประสิทธิภาพและเชื่อมช่องว่างระหว่างการฝึกอบรมแบบจำลองและการนำไปใช้งานในระดับผลิต

ความสามารถหลักของ Ray ได้แก่:

• การประมวลผลข้อมูลหลายรูปแบบ: จัดการข้อมูลขนาดใหญ่และหลากหลาย (ข้อความ, รูปภาพ, เสียง, วิดีโอ) ในรูปแบบขนาน ซึ่งช่วยเพิ่มประสิทธิภาพและความเร็ว
• การฝึกอบรมก่อนและหลังการปรับแต่ง: ขยาย PyTorch และเฟรมเวิร์กอื่นๆ ไปยังหลายพัน GPU สำหรับการฝึกอบรมก่อนและหลังการปรับแต่ง
• การอนุมานแบบกระจาย: นำแบบจำลองไปใช้งานในระดับผลิตด้วยความเร็วสูงและความล่าช้าที่ต่ำ โดยจัดการการทำงานแบบกระจายได้อย่างมีประสิทธิภาพ

ทั้งหมดนี้ทำให้ Ray เป็น “กาว” ที่เชื่อมระหว่างการสร้างแบบจำลอง การปรับแต่ง และการให้บริการ โดยสร้างเป็นชั้นการคำนวณแบบกระจายของโครงสร้างพื้นฐาน AI ในยุคสมัยใหม่

สิ่งที่หมายถึงสำหรับนักพัฒนาและองค์กร

ในเศรษฐกิจที่ขับเคลื่อนด้วย AI ในปัจจุบัน องค์กรต่างๆ ต้องเผชิญกับความท้าทายมากมายเกี่ยวกับการขยายขนาด การล็อกของซัพพลายเออร์ และความไม่มีประสิทธิภาพในการคำนวณ ระบบที่เป็นกรรมสิทธิ์มักจะทำให้กระบวนการทำงานแตกกระจายและชะลอการนวัตกรรม ด้วยการรวม Ray เข้ากับ PyTorch Foundation นักพัฒนาจะได้รับโครงสร้างพื้นฐานการคำนวณ AI ที่เปิดให้ใช้งานได้ฟรีและสามารถทำงานร่วมกันได้ ซึ่งจะช่วยลดปัญหาด้านการทำงานและความไม่มีประสิทธิภาพ

ตามที่ Matt White GM ของ AI ที่ Linux Foundation อธิบาย การทำงานร่วมกันนี้ “รวมองค์ประกอบที่สำคัญที่จำเป็นสำหรับการสร้างระบบ AI รุ่นต่อไป” การรวมตัวนี้ทำให้ทีมสามารถพัฒนาระบบ AI ที่ซับซ้อนได้โดยไม่ต้องอาศัยโครงสร้างพื้นฐานที่ปิดและเป็นกรรมสิทธิ์ นักพัฒนาสามารถฝึกอบรมและนำแบบจำลอง AI ไปใช้งานโดยใช้ระบบที่มีความสามารถในการขยายขนาด มีความยืดหยุ่น และขับเคลื่อนด้วยชุมชน

ผลกระทบในวงกว้างต่อ AI ที่เปิดให้ใช้งานได้ฟรี

การทำงานร่วมกันระหว่าง PyTorch, vLLM และ Ray ส่งสัญญาณถึงยุคใหม่ของการทำงานร่วมกันระหว่างโครงสร้างพื้นฐานการคำนวณแบบเปิด โดยมี Linux Foundation เป็นผู้กำกับดูแลที่เป็นกลาง อุตสาหกรรม AI จะได้รับแบบจำลองที่ยั่งยืนสำหรับการพัฒนาระบบที่ใช้ร่วมกัน เช่นเดียวกับ Kubernetes ที่มาตรฐานการออร์เคสตรेशनบนคลาวด์

ผู้นำในอุตสาหกรรมได้แสดงความคิดเห็นในเรื่องนี้ Chris Aniszczyk ของ Cloud Native Computing Foundation ระบุว่า “Ray และ Kubernetes เป็นเพื่อนที่ดีต่อกัน” โดยรวมการออร์เคสตรेशनและการคำนวณแบบกระจายเพื่อขับเคลื่อนระบบ AI รุ่นต่อไป Zhitao Li ผู้อำนวยการฝ่ายวิศวกรรมของ Uber ระบุว่า Ray เป็น “ส่วนสำคัญ” ของแพลตฟอร์ม AI ของพวกเขา โดยให้พลังในการฝึกอบรมและประมวลผลข้อมูลขนาดใหญ่ Joe Spisak ของ Meta และเป็นสมาชิกของคณะกรรมการ PyTorch Foundation เรียกการเพิ่ม Ray ว่าเป็น “ 里程碑ที่สำคัญสำหรับ AI ที่เปิดให้ใช้งานได้ฟรี” โดยเน้นย้ำถึงการสร้างโครงสร้างพื้นฐานการคำนวณที่เป็นเอกภาพและขับเคลื่อนด้วยชุมชน

มองไปข้างหน้า

Robert Nishihara ผู้ร่วมก่อตั้ง Anyscale ได้สรุปถึงความสำเร็จนี้ว่า:

“เป้าหมายของเราคือการทำให้การคำนวณแบบกระจายเป็นเรื่องที่ง่ายเหมือนการเขียนโค้ด Python การเข้าร่วม PyTorch Foundation จะทำให้ Ray ยังคงเป็นโครงสร้างพื้นฐานที่เปิดให้ใช้งานได้ฟรีและขับเคลื่อนด้วยชุมชนสำหรับนักพัฒนา”

นักพัฒนาและผู้ร่วมให้ข้อมูลสามารถเข้าร่วมโครงการผ่านрепозиторี GitHub ของ Ray หรือเข้าร่วม Ray Summit 2025 ในซานฟรานซิสโกในเดือนพฤศจิกายนนี้ โดยที่ชุมชนจะสำรวจสิ่งที่การรวมตัวนี้หมายถึงสำหรับอนาคตของการขยายขนาด AI และความสามารถในการเข้าถึง

โดยสรุป การเพิ่ม Ray ทำให้โครงสร้างพื้นฐาน AI ที่เปิดให้ใช้งานได้ฟรีสมบูรณ์แบบโดยรวม การสร้างแบบจำลอง การอนุมาน และการทำงานแบบกระจาย ไว้ภายใต้โครงการเดียวกัน นี่เป็นก้าวสำคัญที่จะนำไปสู่อนาคตที่โครงสร้างพื้นฐาน AI ไม่เพียงแต่มีประสิทธิภาพมากขึ้น แต่ยังเปิดกว้าง มีประสิทธิภาพ และมีความสามารถในการเข้าถึงสำหรับนักพัฒนามากขึ้น