โมเดลและแพลตฟอร์ม AI
Meta และ NVIDIA ร่วมมือกันสร้าง AI ซูเปอร์คอมพิวเตอร์
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
Meta และ NVIDIA (NVDA ) ได้ประกาศว่าพวกเขากำลังทำงานร่วมกันเพื่อสร้าง AI ซูเปอร์คอมพิวเตอร์ที่มีขนาดใหญ่ AI Research SuperCluster (RSC) กำลังฝึกอบรมโมเดลใหม่ๆ เพื่อพัฒนาการทำงานของ AI
RSC คาดว่าจะเป็นการติดตั้งระบบ NVIDIA DGX A100 ที่ใหญ่ที่สุดสำหรับลูกค้า เมื่อถูกติดตั้งเต็มรูปแบบ คาดว่าจะเสร็จสิ้นภายในปลายปีนี้ และจะถูกใช้ในการฝึกอบรมโมเดล AI ที่มีพารามิเตอร์มากกว่า 1 ล้านล้าน ซูเปอร์คอมพิวเตอร์นี้จะมีประโยชน์สำหรับหลายๆ สาขา เช่น การประมวลผลภาษาธรรมชาติ (NLP)
ตามที่ Meta ระบุ บริษัทมุ่งเน้นในการเพิ่มประสิทธิภาพการทำงานในระดับใหญ่ และความน่าเชื่อถือ ความปลอดภัย ความเป็นส่วนตัว และความยืดหยุ่นในการจัดการโมเดล AI ที่หลากหลาย
รายละเอียดของ RSC
RSC ใช้ระบบ NVIDIA DGX A100 จำนวน 760 เครื่องเป็นโหนดการคำนวณ และมี GPU NVIDIA A100 จำนวน 6,080 เครื่องที่เชื่อมต่อกันผ่านเครือข่าย NVIDIA Quantum 200Gb/s InfiniBand ซึ่งช่วยให้สามารถส่งมอบประสิทธิภาพ TF32 ได้ถึง 1,895 petaflops
RSC ใช้เวลาเพียง 18 เดือนในการสร้าง AI ซูเปอร์คอมพิวเตอร์ที่ทำงานได้ ซึ่งเป็นผลลัพธ์ที่น่าประทับใจเมื่อพิจารณาถึงผลกระทบของการระบาดของ COVID-19 ต่อการพัฒนา
ผลการทดสอบเบนช์มาร์กเบื้องต้นใน RSC เมื่อเทียบกับโครงสร้างการผลิตและวิจัยของ Meta ในปัจจุบัน ได้แสดงให้เห็นว่าสามารถทำงานได้เร็วขึ้นสูงสุด 20 เท่าสำหรับเวิร์กโฟลว์ของการประมวลผลภาพ และเร็วขึ้นมากกว่า 9 เท่าสำหรับไลบรารี Collective Communication ของ NVIDIA (NCCL) และสามารถฝึกโมเดล NLP ขนาดใหญ่เร็วขึ้น 3 เท่า ในอีกคำหนึ่ง โมเดลที่มีพารามิเตอร์หลายหมื่นล้านจะเสร็จสิ้นการฝึกอบรมภายใน 3 สัปดาห์ เมื่อเทียบกับ 9 สัปดาห์ในเบนช์มาร์กก่อนหน้านี้
สิ่งที่ RSC จะช่วยให้ทำได้
RSC จะช่วยให้นักวิจัย AI ของ Meta สามารถสร้างโมเดล AI ใหม่ที่สามารถเรียนรู้จากตัวอย่างหลายล้านล้านตัวอย่าง นักวิจัยจะสามารถทำงานร่วมกันในหลายร้อยภาษา วิเคราะห์ข้อความ ภาพ และวิดีโอพร้อมกัน พัฒนาเครื่องมือความเป็นจริงเสริมใหม่ๆ และอื่นๆ
Meta หวังว่า RSC จะช่วยให้บริษัทสามารถจัดหาการแปลเสียงแบบเรียลไทม์สำหรับกลุ่มคนจำนวนมาก แม้ว่าแต่ละคนจะพูดภาษาที่แตกต่างกันก็ตาม ซึ่งจะช่วยให้ทีมที่หลากหลายสามารถทำงานร่วมกันในโครงการวิจัยได้
“เราหวังว่า RSC จะช่วยให้เราสร้างระบบ AI ใหม่ทั้งหมดที่สามารถให้พลังในการแปลเสียงแบบเรียลไทม์สำหรับกลุ่มคนจำนวนมาก แต่ละคนพูดภาษาที่แตกต่างกัน เพื่อให้พวกเขาสามารถทำงานร่วมกันในโครงการวิจัยหรือเล่นเกม AR ได้อย่างราบรื่น” Meta กล่าว
การร่วมมือครั้งใหม่นี้จะช่วยให้พัฒนา AI ซูเปอร์คอมพิวเตอร์หนึ่งในนั้นที่สามารถใช้ในหลายๆ อุตสาหกรรมได้
