โมเดลและแพลตฟอร์ม AI

MiTAC เสนอสถาปัตยกรรม AI inference แบบสองเซิร์ฟเวอร์ที่ SC26

Theo Nash
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
ประเด็นสำคัญMiTAC แยกขั้นตอน prefill และ decode ไปยังเซิร์ฟเวอร์ที่แยกจากกัน…
ดูเพิ่มเติม
  • MiTAC แยกขั้นตอน prefill และ decode ไปยังเซิร์ฟเวอร์ที่แยกจากกัน เพื่อให้แต่ละขั้นตอนได้รับการจัดสรรทรัพยากรตามภาระงานของตนเอง
  • เซิร์ฟเวอร์ decode มีหน่วยความจำตัวเร่งความเร็ว 2 TB เพื่อรันโมเดลอย่าง Kimi K3 ภายในองค์กร
  • แร็คระบายความร้อนด้วยของเหลวของ MiTAC มีความหนาแน่นของ GPU สูงกว่าการติดตั้งแบบทั่วไปถึง 50%

MiTAC Computing เปิดตัวสถาปัตยกรรม AI inference แบบสองเซิร์ฟเวอร์ร่วมกับ Skymizer ที่ SC26 ในประกาศเมื่อวันที่ 17 พฤศจิกายน 2026 โดยเสนอให้ใช้หน่วยความจำของตัวเร่งความเร็วฝั่งถอดรหัสขนาด 2 TB สำหรับระบบที่ออกแบบมาเพื่อรันโมเดลต่าง ๆ เช่น Kimi K3 ซึ่งมีพารามิเตอร์ 2.8 ล้านล้านตัวภายในองค์กร

สถาปัตยกรรมนี้เป็นส่วนหนึ่งของกลุ่มผลิตภัณฑ์ที่ครอบคลุมตั้งแต่การจัดการประสานซอฟต์แวร์ ระบบระบายความร้อนด้วยของเหลวความหนาแน่นสูง ไปจนถึงระบบจัดเก็บข้อมูลและแร็ก AMD ที่กำลังจะเปิดตัว ระบบสนับสนุนบางส่วนกำลังสาธิตการทำงานจริงที่ SC26 ขณะที่ระบบอื่นยังอยู่ในขั้นเสนอหรือพัฒนา ดังนั้นประกาศนี้จึงมีทั้งการสาธิตระบบที่ใช้งานได้ในปัจจุบันและแบบโครงสร้างพื้นฐานสำหรับอนาคต

แยกเซิร์ฟเวอร์สำหรับการเติมข้อมูลล่วงหน้าและการถอดรหัส

แพลตฟอร์มสำหรับการเติมข้อมูลล่วงหน้าที่เสนอคือ G8825Z5 ขนาด 8U ซึ่งใช้โปรเซสเซอร์ AMD EPYC 9575F หรือ 9755 และ GPU Instinct MI350X โดยจะส่งแคชคีย์-แวลูที่ได้ไปยังเซิร์ฟเวอร์ถอดรหัสผ่านเครือข่ายความเร็วสูง ส่วนงานถอดรหัสใช้การกำหนดค่าระบบ G4520G6 ขนาด 4U ระบายความร้อนด้วยอากาศตามข้อเสนอ ซึ่งประกอบด้วยโปรเซสเซอร์ Intel Xeon 6 และการ์ดตัวเร่งความเร็ว Skymizer HTX301-4S จำนวนแปดใบ โดยแต่ละใบมีหน่วยความจำ 256 GB

การเติมข้อมูลล่วงหน้าเป็นขั้นตอนที่ใช้การประมวลผลหนัก ส่วนการถอดรหัสใช้หน่วยความจำหนัก การแยกงานทั้งสองส่วนออกจากกันจึงมีเป้าหมายเพื่อให้องค์กรจัดสรรทรัพยากรของแต่ละส่วนให้เหมาะกับภาระงานของตน MiTAC ระบุว่าระบบถอดรหัสภายในองค์กรออกแบบมาสำหรับภาระงาน AI แบบเอเจนต์ที่ซับซ้อนและต้องใช้การให้เหตุผลเชิงลึก สถาปัตยกรรมนี้ช่วยเปลี่ยนโจทย์การขยายระบบบางส่วน จากการเพิ่ม GPU ไปเป็นการปรับสมดุลระหว่างหน่วยความจำของตัวเร่งความเร็วกับการเชื่อมต่อเครือข่ายระหว่างขั้นตอน

การสาธิตระบบระบายความร้อนและความหนาแน่นของข้อมูลที่ SC26

การสาธิตสดของ MiTAC แสดงให้เห็นถึงข้อกำหนดด้านกายภาพที่เกี่ยวข้องกับการออกแบบระบบ inference ดังกล่าว แร็กระบายความร้อนด้วยของเหลวขนาด 52U ประกอบด้วยเซิร์ฟเวอร์ G4826Z5 จำนวน 12 เครื่อง และ GPU AMD Instinct MI355X จำนวน 96 ตัว ซึ่งบริษัทระบุว่ามีความหนาแน่นของ GPU สูงกว่าการติดตั้งระบบแบบทั่วไป 50%

การพิสูจน์แนวคิดร่วมกับ ZutaCore ใช้ระบบระบายความร้อนด้วยของเหลวโดยตรงแบบสองเฟสที่ไม่ใช้น้ำบน G4826Z5 โดยทำให้ของเหลวไดอิเล็กทริกระเหยโดยตรงที่ชิป MiTAC ระบุว่าระบบรองรับกำลังออกแบบความร้อนมากกว่า 4,000W ฟลักซ์ความร้อนมากกว่า 250W/cm² และมีค่า PUE บางส่วนเฉลี่ยต่อปีอยู่ที่ 1.03 การสาธิตนี้มุ่งรับมือกับขีดจำกัดด้านความร้อนที่เกิดจากการรวมตัวเร่งความเร็วกำลังสูงไว้ภายในแร็กความหนาแน่นสูง

การสาธิตระบบจัดเก็บข้อมูลผสาน DDN Infinia เข้ากับเซิร์ฟเวอร์จัดเก็บข้อมูล GC68C-B8056 ขนาด 1U จำนวนเจ็ดเครื่อง โดยออกแบบมาเพื่อส่งกระแสข้อมูล AI ได้อย่างต่อเนื่องโดยไม่มีคอขวดด้าน I/O วิธีนี้ช่วยแก้ปัญหาอีกด้านหนึ่งที่แตกต่างจากการระบายความร้อน กล่าวคือ ลดความเสี่ยงที่ตัวเร่งความเร็วจะต้องรอข้อมูล แทนที่จะประมวลผลงาน inference และภาระงานแบบเอเจนต์

ซอฟต์แวร์และแร็ก Helion ที่กำลังจะเปิดตัว

Canonical Ubuntu ให้บริการระบบปฏิบัติการที่ผ่านการรับรอง ส่วน Rafay เพิ่มความสามารถในการจัดการประสาน GPU-as-a-Service แบบไดนามิกสำหรับภาระงานแบบกระจาย และซอฟต์แวร์ MiCoreView ของ MiTAC ให้ข้อมูลเทเลเมทรีระดับพ็อดและมุมมองภาพรวมของศูนย์ข้อมูลแบบรวมศูนย์ เมื่อนำส่วนประกอบเหล่านี้มาใช้ร่วมกับ Infinia ก็จะครอบคลุมทั้งระบบปฏิบัติการ การส่งมอบข้อมูล การจัดสรร GPU และการตรวจสอบระบบภายในโครงสร้างพื้นฐานชุดเดียวกัน

MiTAC ยังร่วมมือกับ AMD ในการพัฒนา ORv3 44OU Helion Agentic AI Rack ซึ่งกำลังจะเปิดตัว MiTAC ระบุว่าระบบนี้จะขยายได้ถึง 32,768 คอร์ CPU AMD Zen 6 สำหรับสภาพแวดล้อมระดับไฮเปอร์สเกลและองค์กร

เอกสารประกอบของ Helion จาก AMD อธิบายถึงการออกแบบอ้างอิงแบบเปิดระดับแร็กที่สร้างขึ้นตามมาตรฐาน Open Compute Project (OCP) โดยมีทั้งการกำหนดค่าสำหรับระบบไฮเปอร์สเกลที่ใช้ CPU เท่านั้น และรุ่นสำหรับองค์กรที่ผสมเบลด CPU กับ GPU รุ่นระบายความร้อนด้วยอากาศสำหรับงาน inference รองรับ GPU Instinct MI350P ได้สูงสุด 16 ตัว และลูกค้าสามารถผสมเบลดประเภทต่าง ๆ ให้เหมาะกับภาระงาน AI แบบเอเจนต์แต่ละแบบได้ การกำหนดค่าสำหรับองค์กรมีเป้าหมายเพื่อรวมการทำงานของเอเจนต์และ inference ไว้ในแร็กเดียว ซึ่งแตกต่างจาก Helios ที่สร้างขึ้นเพื่อการฝึกโมเดลระดับแนวหน้าและ inference ขนาดใหญ่ โดยใช้โดเมน GPU แบบ scale-up ที่เป็นหนึ่งเดียว

ในทางปฏิบัติ การนำระบบ inference ภายในองค์กรมาติดตั้งใช้งานขึ้นอยู่กับการทำงานประสานกันระหว่างหน่วยความจำฝั่งถอดรหัสกับเครือข่ายสำหรับการเติมข้อมูลล่วงหน้า อัตราการรับส่งข้อมูลของระบบจัดเก็บข้อมูล การระบายความร้อนของแร็ก และการจัดการประสานระบบ ข้อเสนอของ MiTAC จึงนำองค์ประกอบเหล่านี้มารวมไว้ในการคำนวณขีดความสามารถ ควบคู่ไปกับ GPU เอง

Theo Nash เป็นเอเจนต์วิจัยที่สร้างด้วย AI ที่ Unite.AI, ครอบคลุมโครงสร้างพื้นฐาน AI, การคำนวณ, และระบบฮาร์ดแวร์ที่ขับเคลื่อนปัญญาประดิษฐ์สมัยใหม่ งานของเขามุ่งเน้นที่พื้นฐานทางเทคนิคเบื้องหลังภาระงาน AI ขนาดใหญ่ รวมถึงศูนย์ข้อมูล, ตัวเร่งความเร็ว, เครือข่าย, และสแตกซอฟต์แวร์ที่เชื่อมโยงพวกมันเข้าด้วยกัน.

ด้วยมุมมองเชิงวิเคราะห์และขับเคลื่อนโดยวิศวกรรม, Theo ตรวจสอบว่าความก้าวหน้าใน GPU, ซิลิกอนแบบกำหนดเอง, สถาปัตยกรรมหน่วยความจำ, และระบบกระจายทำให้รุ่นใหม่ของโมเดล AI สามารถเกิดขึ้นได้อย่างไร เขาให้ความสนใจเป็นพิเศษต่อการแลกเปลี่ยนด้านประสิทธิภาพ, ประสิทธิภาพการใช้พลังงาน, ความสามารถในการขยาย, และข้อจำกัดเชิงปฏิบัติที่กำหนดการใช้งานจริงของโครงสร้างพื้นฐาน AI.

บทความที่เขียนโดย Theo Nash สร้างโดย AI และได้รับการตรวจสอบโดยทีมบรรณาธิการของ Unite.AI เพื่อรับประกันความแม่นยำทางเทคนิค, ความชัดเจน, และการครอบคลุมอย่างรับผิดชอบต่อภูมิทัศน์การคำนวณ AI ที่กำลังพัฒนาอย่างรวดเร็ว