ความร่วมมือ
SambaNova จับคู่ GPU ของ Intel กับ SN50 สำหรับการอนุมาน AI ด้วยระบบระบายความร้อนด้วยอากาศ

ประเด็นสำคัญSambaNova แยกการประมวลผลอนุมาน โดยให้ GPU ของ Intel จัดการขั้นตอน prefill ขณะที่ RDU…
ดูเพิ่มเติม
- SambaNova แยกการประมวลผลอนุมาน โดยให้ GPU ของ Intel จัดการขั้นตอน prefill ขณะที่ RDU ของบริษัทจัดการขั้นตอน decode ที่จำกัดด้วยหน่วยความจำ
- อีเทอร์เน็ตมาตรฐานและซอฟต์แวร์ให้บริการแบบเปิดเชื่อมต่อกลุ่มตัวเร่งสองกลุ่มนี้โดยไม่ต้องใช้การเชื่อมต่อเฉพาะ proprietory
- การออกแบบระบายความร้อนด้วยอากาศมุ่งเป้าไปที่ศูนย์ข้อมูลเดิมที่การปรับปรุงระบบระบายความร้อนด้วยของเหลวทำได้ไม่ praktical
SambaNova Systems ประกาศเมื่อวันที่ 15 พฤศจิกายน 2026 ว่าได้สาธิตระบบอนุมาน AI ที่ระบายความร้อนด้วยอากาศร่วมกับ Intel ในงาน SuperComputing 2026 โดยรัน GLM-5.3 บนตัวเร่งความเร็ว Intel GPU D-Series จำนวน 4 ตัวเพื่อประมวลผลพรอมป์ต์ และใช้ SambaRack SN50 เพื่อสร้างโทเค็น
ระบบแบ่งการอนุมานออกเป็นขั้น prefill ซึ่งประมวลผลพรอมป์ต์ที่เข้ามาและสร้างแคชคีย์-แวลู (KV) กับขั้น decode ซึ่งสร้างโทเค็นเอาต์พุต ฮาร์ดแวร์ของ Intel จัดการขั้น prefill ที่ใช้การประมวลผลสูง ขณะที่ หน่วยประมวลผลดาต้าโฟลว์ที่ปรับเปลี่ยนได้ (RDU) รุ่นที่ 5 ของ SambaNova จัดการขั้น decode ซึ่งมีข้อจำกัดด้านหน่วยความจำ SambaNova นำเสนอระบบที่บันทึกภาพไว้ว่าเป็นการออกแบบที่ลูกค้าจะนำไปติดตั้งใช้งานในศูนย์ข้อมูลเดิมที่มีอยู่ได้
ใช้ฮาร์ดแวร์ต่างชนิดกันในแต่ละขั้นของการอนุมาน
การสาธิตนี้มีขนาดเล็กกว่าการกำหนดค่าอ้างอิงของ Intel มาก SambaNova อธิบายว่าแร็กอ้างอิง D-Series ที่มี GPU 80 ตัวให้กำลังประมวลผล FP4 สูงสุด 208 เพตาฟลอป และมีหน่วยความจำ 12 TB ถึง 38 TB ขึ้นอยู่กับการกำหนดค่า ตัวเลขเหล่านี้ระบุถึงการออกแบบขั้น prefill ที่มีขนาดใหญ่กว่า ไม่ใช่ผลการวัดประสิทธิภาพจากระบบที่ใช้ในงาน SuperComputing
ข้อมูลจำเพาะผลิตภัณฑ์ D270 ของ Intel ระบุว่า GPU ที่ระบายความร้อนด้วยอากาศและใช้พลังงาน 350 W มาพร้อมแกน Xe3P จำนวน 32 แกน หน่วยประมวลผลเมทริกซ์ XMX จำนวน 256 หน่วย รองรับ PCIe 5.0 มาตรฐาน และมีหน่วยความจำ LPDDR5X สูงสุด 480 GB ต่อการ์ด รูปแบบมาตรฐานนี้ออกแบบมาให้ใช้งานกับเซิร์ฟเวอร์ที่มีอยู่ได้ โดยไม่ต้องใช้ระบบเครือข่ายเฉพาะของผู้ผลิตหรือระบบที่ออกแบบขึ้นเป็นพิเศษ
SambaRack SN50 แต่ละชุดมี RDU 16 หน่วย และโดยทั่วไปต้องใช้พลังงาน 20 kW สำหรับการอนุมาน สามารถเชื่อมแร็กได้สูงสุด 16 ชุดให้ทำงานเป็นหน่วยเดียว โดยมี RDU รวมสูงสุด 256 หน่วย เพื่อกระจายงานไปยังแร็กที่ใช้พลังงานต่ำกว่า SambaNova ระบุว่าสถาปัตยกรรมดาต้าโฟลว์ของบริษัทเชื่อมโยงการทำงานของโมเดลข้ามชิป แทนที่จะส่งข้อมูลกลับไปยังหน่วยความจำระหว่างการทำงานของ GPU kernel แต่ละชุด จึงช่วยลดปริมาณการรับส่งข้อมูลหน่วยความจำและภาระจากการเรียกใช้ kernel ซ้ำระหว่างสร้างโทเค็น
ซอฟต์แวร์แบบเปิดเชื่อมกลุ่มฮาร์ดแวร์เข้าด้วยกัน
NVIDIA Dynamo ทำงานอยู่หน้ากลุ่มตัวเร่งความเร็วทั้งสอง และออกแบบมาเพื่อกำหนดเส้นทางคำขอแต่ละรายการไปยังฮาร์ดแวร์ที่มีบริบทแคชของคำขอนั้นอยู่แล้ว vLLM รองรับทั้งเส้นทาง prefill ของ Intel และเส้นทาง decode ของ SN50 ขณะที่ NIXL ถ่ายโอนข้อมูลแคช KV ผ่าน UCX/RDMA โดยใช้ Ethernet มาตรฐาน RoCEv2 ดังนั้น การส่งต่องานจึงใช้โครงข่าย Ethernet ที่มีใช้อยู่แล้วได้ โดยไม่ต้องพึ่งการเชื่อมต่อระหว่างฮาร์ดแวร์ต่างชนิดที่เป็นระบบเฉพาะของผู้ผลิต
SN50 เก็บคำนำหน้า KV จากพรอมป์ต์ก่อนหน้าไว้ในหน่วยความจำ DDR ที่เชื่อมต่ออยู่ ขณะที่ SRAM บนชิปและ HBM รองรับการถอดรหัสที่กำลังทำงานอยู่ เมื่อเอเจนต์กลับไปยังบทสนทนาหรือบริบทที่ใช้ร่วมกัน การกำหนดเส้นทางที่คำนึงถึงแคชสามารถส่งคำขอไปยัง SN50 ที่เก็บคำนำหน้านั้นไว้ได้ ทำให้มีเพียงข้อมูลใหม่ที่ต้องผ่านขั้น prefill บน GPU และลดปริมาณสถานะ KV ที่ต้องส่งผ่านเครือข่าย SambaNova ระบุว่าการดึงข้อมูลจากแคชได้ช่วยลดเวลาจนได้โทเค็นแรก และคืนขีดความสามารถของ GPU สำหรับรองรับคำขอใหม่ บทความกล่าวถึงประโยชน์เหล่านี้โดยไม่ได้รายงานผลการวัดค่าความหน่วงหรืออัตราการรับส่งข้อมูลของการสาธิตที่ผสานระบบทั้งสอง
ขยายระบบภายในสถานที่เดิมที่ระบายความร้อนด้วยอากาศ
การแยกขั้นตอนยังช่วยให้ผู้ให้บริการขยายขีดความสามารถของแต่ละขั้นได้อย่างอิสระ พรอมป์ต์ที่ยาวขึ้นอาจต้องใช้ขีดความสามารถของ D-Series ในขั้น prefill เพิ่มขึ้น ขณะที่เอเจนต์ที่สร้างเอาต์พุตยาวขึ้นอาจต้องใช้ขีดความสามารถของ SN50 ในขั้น decode เพิ่มเติม โดยไม่จำเป็นต้องขยายกลุ่มฮาร์ดแวร์อีกกลุ่มในสัดส่วนเดียวกัน
ความยืดหยุ่นนี้มุ่งตอบโจทย์ผู้ดำเนินงานที่ไม่สามารถติดตั้งระบบระบายความร้อนด้วยของเหลวในสถานที่ของตนได้โดยง่าย Intel ระบุว่ารูปแบบ PCIe มาตรฐานและการระบายความร้อนด้วยอากาศที่ใช้พลังงาน 350 W ของ D270 ออกแบบมาให้ติดตั้งในแร็กที่มีอยู่ได้ โดยไม่ต้องปรับปรุงระบบเพื่อรองรับการระบายความร้อนด้วยของเหลวโดยเฉพาะ เมื่อทำงานร่วมกับรูปแบบการใช้พลังงานระดับแร็กของ SN50 การออกแบบนี้จึงมีเป้าหมายเพื่อเพิ่มขีดความสามารถในการอนุมานภายในสภาพแวดล้อมที่ใช้ระบบระบายความร้อนด้วยอากาศอยู่แล้ว
ความสำคัญของการสาธิตนี้อยู่ที่การผสานระบบเข้าด้วยกัน กล่าวคือ สถาปัตยกรรมตัวเร่งความเร็วสองแบบสามารถทำงานร่วมกันผ่านซอฟต์แวร์ให้บริการที่ใช้กันทั่วไปและ Ethernet มาตรฐาน โดยกำหนดให้แต่ละแบบรองรับขั้นตอนการอนุมานที่แตกต่างกัน และขยายขนาดตามลักษณะงานได้ สำหรับผู้ให้บริการที่ต้องเผชิญข้อจำกัดด้านพลังงานและการระบายความร้อน คำถามที่ยังเหลืออยู่คือ งานจริงในการผลิตจะได้รับประโยชน์จากการแคชและการใช้ทรัพยากรตามที่อธิบายไว้มากพอที่จะคุ้มกับการเดินระบบทั้งสองกลุ่มหรือไม่












