โมเดลและแพลตฟอร์ม AI
MiTAC เสนอสถาปัตยกรรม AI inference แบบสองเซิร์ฟเวอร์ที่ SC26

ประเด็นสำคัญMiTAC แยกขั้นตอน prefill และ decode ไปยังเซิร์ฟเวอร์ที่แยกจากกัน…
ดูเพิ่มเติม
- MiTAC แยกขั้นตอน prefill และ decode ไปยังเซิร์ฟเวอร์ที่แยกจากกัน เพื่อให้แต่ละขั้นตอนได้รับการจัดสรรทรัพยากรตามภาระงานของตนเอง
- เซิร์ฟเวอร์ decode มีหน่วยความจำตัวเร่งความเร็ว 2 TB เพื่อรันโมเดลอย่าง Kimi K3 ภายในองค์กร
- แร็คระบายความร้อนด้วยของเหลวของ MiTAC มีความหนาแน่นของ GPU สูงกว่าการติดตั้งแบบทั่วไปถึง 50%
MiTAC Computing เปิดตัวสถาปัตยกรรม AI inference แบบสองเซิร์ฟเวอร์ร่วมกับ Skymizer ที่ SC26 ในประกาศเมื่อวันที่ 17 พฤศจิกายน 2026 โดยเสนอให้ใช้หน่วยความจำของตัวเร่งความเร็วฝั่งถอดรหัสขนาด 2 TB สำหรับระบบที่ออกแบบมาเพื่อรันโมเดลต่าง ๆ เช่น Kimi K3 ซึ่งมีพารามิเตอร์ 2.8 ล้านล้านตัวภายในองค์กร
สถาปัตยกรรมนี้เป็นส่วนหนึ่งของกลุ่มผลิตภัณฑ์ที่ครอบคลุมตั้งแต่การจัดการประสานซอฟต์แวร์ ระบบระบายความร้อนด้วยของเหลวความหนาแน่นสูง ไปจนถึงระบบจัดเก็บข้อมูลและแร็ก AMD ที่กำลังจะเปิดตัว ระบบสนับสนุนบางส่วนกำลังสาธิตการทำงานจริงที่ SC26 ขณะที่ระบบอื่นยังอยู่ในขั้นเสนอหรือพัฒนา ดังนั้นประกาศนี้จึงมีทั้งการสาธิตระบบที่ใช้งานได้ในปัจจุบันและแบบโครงสร้างพื้นฐานสำหรับอนาคต
แยกเซิร์ฟเวอร์สำหรับการเติมข้อมูลล่วงหน้าและการถอดรหัส
แพลตฟอร์มสำหรับการเติมข้อมูลล่วงหน้าที่เสนอคือ G8825Z5 ขนาด 8U ซึ่งใช้โปรเซสเซอร์ AMD EPYC 9575F หรือ 9755 และ GPU Instinct MI350X โดยจะส่งแคชคีย์-แวลูที่ได้ไปยังเซิร์ฟเวอร์ถอดรหัสผ่านเครือข่ายความเร็วสูง ส่วนงานถอดรหัสใช้การกำหนดค่าระบบ G4520G6 ขนาด 4U ระบายความร้อนด้วยอากาศตามข้อเสนอ ซึ่งประกอบด้วยโปรเซสเซอร์ Intel Xeon 6 และการ์ดตัวเร่งความเร็ว Skymizer HTX301-4S จำนวนแปดใบ โดยแต่ละใบมีหน่วยความจำ 256 GB
การเติมข้อมูลล่วงหน้าเป็นขั้นตอนที่ใช้การประมวลผลหนัก ส่วนการถอดรหัสใช้หน่วยความจำหนัก การแยกงานทั้งสองส่วนออกจากกันจึงมีเป้าหมายเพื่อให้องค์กรจัดสรรทรัพยากรของแต่ละส่วนให้เหมาะกับภาระงานของตน MiTAC ระบุว่าระบบถอดรหัสภายในองค์กรออกแบบมาสำหรับภาระงาน AI แบบเอเจนต์ที่ซับซ้อนและต้องใช้การให้เหตุผลเชิงลึก สถาปัตยกรรมนี้ช่วยเปลี่ยนโจทย์การขยายระบบบางส่วน จากการเพิ่ม GPU ไปเป็นการปรับสมดุลระหว่างหน่วยความจำของตัวเร่งความเร็วกับการเชื่อมต่อเครือข่ายระหว่างขั้นตอน
การสาธิตระบบระบายความร้อนและความหนาแน่นของข้อมูลที่ SC26
การสาธิตสดของ MiTAC แสดงให้เห็นถึงข้อกำหนดด้านกายภาพที่เกี่ยวข้องกับการออกแบบระบบ inference ดังกล่าว แร็กระบายความร้อนด้วยของเหลวขนาด 52U ประกอบด้วยเซิร์ฟเวอร์ G4826Z5 จำนวน 12 เครื่อง และ GPU AMD Instinct MI355X จำนวน 96 ตัว ซึ่งบริษัทระบุว่ามีความหนาแน่นของ GPU สูงกว่าการติดตั้งระบบแบบทั่วไป 50%
การพิสูจน์แนวคิดร่วมกับ ZutaCore ใช้ระบบระบายความร้อนด้วยของเหลวโดยตรงแบบสองเฟสที่ไม่ใช้น้ำบน G4826Z5 โดยทำให้ของเหลวไดอิเล็กทริกระเหยโดยตรงที่ชิป MiTAC ระบุว่าระบบรองรับกำลังออกแบบความร้อนมากกว่า 4,000W ฟลักซ์ความร้อนมากกว่า 250W/cm² และมีค่า PUE บางส่วนเฉลี่ยต่อปีอยู่ที่ 1.03 การสาธิตนี้มุ่งรับมือกับขีดจำกัดด้านความร้อนที่เกิดจากการรวมตัวเร่งความเร็วกำลังสูงไว้ภายในแร็กความหนาแน่นสูง
การสาธิตระบบจัดเก็บข้อมูลผสาน DDN Infinia เข้ากับเซิร์ฟเวอร์จัดเก็บข้อมูล GC68C-B8056 ขนาด 1U จำนวนเจ็ดเครื่อง โดยออกแบบมาเพื่อส่งกระแสข้อมูล AI ได้อย่างต่อเนื่องโดยไม่มีคอขวดด้าน I/O วิธีนี้ช่วยแก้ปัญหาอีกด้านหนึ่งที่แตกต่างจากการระบายความร้อน กล่าวคือ ลดความเสี่ยงที่ตัวเร่งความเร็วจะต้องรอข้อมูล แทนที่จะประมวลผลงาน inference และภาระงานแบบเอเจนต์
ซอฟต์แวร์และแร็ก Helion ที่กำลังจะเปิดตัว
Canonical Ubuntu ให้บริการระบบปฏิบัติการที่ผ่านการรับรอง ส่วน Rafay เพิ่มความสามารถในการจัดการประสาน GPU-as-a-Service แบบไดนามิกสำหรับภาระงานแบบกระจาย และซอฟต์แวร์ MiCoreView ของ MiTAC ให้ข้อมูลเทเลเมทรีระดับพ็อดและมุมมองภาพรวมของศูนย์ข้อมูลแบบรวมศูนย์ เมื่อนำส่วนประกอบเหล่านี้มาใช้ร่วมกับ Infinia ก็จะครอบคลุมทั้งระบบปฏิบัติการ การส่งมอบข้อมูล การจัดสรร GPU และการตรวจสอบระบบภายในโครงสร้างพื้นฐานชุดเดียวกัน
MiTAC ยังร่วมมือกับ AMD ในการพัฒนา ORv3 44OU Helion Agentic AI Rack ซึ่งกำลังจะเปิดตัว MiTAC ระบุว่าระบบนี้จะขยายได้ถึง 32,768 คอร์ CPU AMD Zen 6 สำหรับสภาพแวดล้อมระดับไฮเปอร์สเกลและองค์กร
เอกสารประกอบของ Helion จาก AMD อธิบายถึงการออกแบบอ้างอิงแบบเปิดระดับแร็กที่สร้างขึ้นตามมาตรฐาน Open Compute Project (OCP) โดยมีทั้งการกำหนดค่าสำหรับระบบไฮเปอร์สเกลที่ใช้ CPU เท่านั้น และรุ่นสำหรับองค์กรที่ผสมเบลด CPU กับ GPU รุ่นระบายความร้อนด้วยอากาศสำหรับงาน inference รองรับ GPU Instinct MI350P ได้สูงสุด 16 ตัว และลูกค้าสามารถผสมเบลดประเภทต่าง ๆ ให้เหมาะกับภาระงาน AI แบบเอเจนต์แต่ละแบบได้ การกำหนดค่าสำหรับองค์กรมีเป้าหมายเพื่อรวมการทำงานของเอเจนต์และ inference ไว้ในแร็กเดียว ซึ่งแตกต่างจาก Helios ที่สร้างขึ้นเพื่อการฝึกโมเดลระดับแนวหน้าและ inference ขนาดใหญ่ โดยใช้โดเมน GPU แบบ scale-up ที่เป็นหนึ่งเดียว
ในทางปฏิบัติ การนำระบบ inference ภายในองค์กรมาติดตั้งใช้งานขึ้นอยู่กับการทำงานประสานกันระหว่างหน่วยความจำฝั่งถอดรหัสกับเครือข่ายสำหรับการเติมข้อมูลล่วงหน้า อัตราการรับส่งข้อมูลของระบบจัดเก็บข้อมูล การระบายความร้อนของแร็ก และการจัดการประสานระบบ ข้อเสนอของ MiTAC จึงนำองค์ประกอบเหล่านี้มารวมไว้ในการคำนวณขีดความสามารถ ควบคู่ไปกับ GPU เอง












