ความร่วมมือ

SambaNova จับคู่ GPU ของ Intel กับ SN50 สำหรับการอนุมาน AI ด้วยระบบระบายความร้อนด้วยอากาศ

Theo Nash
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
ประเด็นสำคัญSambaNova แยกการประมวลผลอนุมาน โดยให้ GPU ของ Intel จัดการขั้นตอน prefill ขณะที่ RDU…
ดูเพิ่มเติม
  • SambaNova แยกการประมวลผลอนุมาน โดยให้ GPU ของ Intel จัดการขั้นตอน prefill ขณะที่ RDU ของบริษัทจัดการขั้นตอน decode ที่จำกัดด้วยหน่วยความจำ
  • อีเทอร์เน็ตมาตรฐานและซอฟต์แวร์ให้บริการแบบเปิดเชื่อมต่อกลุ่มตัวเร่งสองกลุ่มนี้โดยไม่ต้องใช้การเชื่อมต่อเฉพาะ proprietory
  • การออกแบบระบายความร้อนด้วยอากาศมุ่งเป้าไปที่ศูนย์ข้อมูลเดิมที่การปรับปรุงระบบระบายความร้อนด้วยของเหลวทำได้ไม่ praktical

SambaNova Systems ประกาศเมื่อวันที่ 15 พฤศจิกายน 2026 ว่าได้สาธิตระบบอนุมาน AI ที่ระบายความร้อนด้วยอากาศร่วมกับ Intel ในงาน SuperComputing 2026 โดยรัน GLM-5.3 บนตัวเร่งความเร็ว Intel GPU D-Series จำนวน 4 ตัวเพื่อประมวลผลพรอมป์ต์ และใช้ SambaRack SN50 เพื่อสร้างโทเค็น

ระบบแบ่งการอนุมานออกเป็นขั้น prefill ซึ่งประมวลผลพรอมป์ต์ที่เข้ามาและสร้างแคชคีย์-แวลู (KV) กับขั้น decode ซึ่งสร้างโทเค็นเอาต์พุต ฮาร์ดแวร์ของ Intel จัดการขั้น prefill ที่ใช้การประมวลผลสูง ขณะที่ หน่วยประมวลผลดาต้าโฟลว์ที่ปรับเปลี่ยนได้ (RDU) รุ่นที่ 5 ของ SambaNova จัดการขั้น decode ซึ่งมีข้อจำกัดด้านหน่วยความจำ SambaNova นำเสนอระบบที่บันทึกภาพไว้ว่าเป็นการออกแบบที่ลูกค้าจะนำไปติดตั้งใช้งานในศูนย์ข้อมูลเดิมที่มีอยู่ได้

ใช้ฮาร์ดแวร์ต่างชนิดกันในแต่ละขั้นของการอนุมาน

การสาธิตนี้มีขนาดเล็กกว่าการกำหนดค่าอ้างอิงของ Intel มาก SambaNova อธิบายว่าแร็กอ้างอิง D-Series ที่มี GPU 80 ตัวให้กำลังประมวลผล FP4 สูงสุด 208 เพตาฟลอป และมีหน่วยความจำ 12 TB ถึง 38 TB ขึ้นอยู่กับการกำหนดค่า ตัวเลขเหล่านี้ระบุถึงการออกแบบขั้น prefill ที่มีขนาดใหญ่กว่า ไม่ใช่ผลการวัดประสิทธิภาพจากระบบที่ใช้ในงาน SuperComputing

ข้อมูลจำเพาะผลิตภัณฑ์ D270 ของ Intel ระบุว่า GPU ที่ระบายความร้อนด้วยอากาศและใช้พลังงาน 350 W มาพร้อมแกน Xe3P จำนวน 32 แกน หน่วยประมวลผลเมทริกซ์ XMX จำนวน 256 หน่วย รองรับ PCIe 5.0 มาตรฐาน และมีหน่วยความจำ LPDDR5X สูงสุด 480 GB ต่อการ์ด รูปแบบมาตรฐานนี้ออกแบบมาให้ใช้งานกับเซิร์ฟเวอร์ที่มีอยู่ได้ โดยไม่ต้องใช้ระบบเครือข่ายเฉพาะของผู้ผลิตหรือระบบที่ออกแบบขึ้นเป็นพิเศษ

SambaRack SN50 แต่ละชุดมี RDU 16 หน่วย และโดยทั่วไปต้องใช้พลังงาน 20 kW สำหรับการอนุมาน สามารถเชื่อมแร็กได้สูงสุด 16 ชุดให้ทำงานเป็นหน่วยเดียว โดยมี RDU รวมสูงสุด 256 หน่วย เพื่อกระจายงานไปยังแร็กที่ใช้พลังงานต่ำกว่า SambaNova ระบุว่าสถาปัตยกรรมดาต้าโฟลว์ของบริษัทเชื่อมโยงการทำงานของโมเดลข้ามชิป แทนที่จะส่งข้อมูลกลับไปยังหน่วยความจำระหว่างการทำงานของ GPU kernel แต่ละชุด จึงช่วยลดปริมาณการรับส่งข้อมูลหน่วยความจำและภาระจากการเรียกใช้ kernel ซ้ำระหว่างสร้างโทเค็น

ซอฟต์แวร์แบบเปิดเชื่อมกลุ่มฮาร์ดแวร์เข้าด้วยกัน

NVIDIA Dynamo ทำงานอยู่หน้ากลุ่มตัวเร่งความเร็วทั้งสอง และออกแบบมาเพื่อกำหนดเส้นทางคำขอแต่ละรายการไปยังฮาร์ดแวร์ที่มีบริบทแคชของคำขอนั้นอยู่แล้ว vLLM รองรับทั้งเส้นทาง prefill ของ Intel และเส้นทาง decode ของ SN50 ขณะที่ NIXL ถ่ายโอนข้อมูลแคช KV ผ่าน UCX/RDMA โดยใช้ Ethernet มาตรฐาน RoCEv2 ดังนั้น การส่งต่องานจึงใช้โครงข่าย Ethernet ที่มีใช้อยู่แล้วได้ โดยไม่ต้องพึ่งการเชื่อมต่อระหว่างฮาร์ดแวร์ต่างชนิดที่เป็นระบบเฉพาะของผู้ผลิต

SN50 เก็บคำนำหน้า KV จากพรอมป์ต์ก่อนหน้าไว้ในหน่วยความจำ DDR ที่เชื่อมต่ออยู่ ขณะที่ SRAM บนชิปและ HBM รองรับการถอดรหัสที่กำลังทำงานอยู่ เมื่อเอเจนต์กลับไปยังบทสนทนาหรือบริบทที่ใช้ร่วมกัน การกำหนดเส้นทางที่คำนึงถึงแคชสามารถส่งคำขอไปยัง SN50 ที่เก็บคำนำหน้านั้นไว้ได้ ทำให้มีเพียงข้อมูลใหม่ที่ต้องผ่านขั้น prefill บน GPU และลดปริมาณสถานะ KV ที่ต้องส่งผ่านเครือข่าย SambaNova ระบุว่าการดึงข้อมูลจากแคชได้ช่วยลดเวลาจนได้โทเค็นแรก และคืนขีดความสามารถของ GPU สำหรับรองรับคำขอใหม่ บทความกล่าวถึงประโยชน์เหล่านี้โดยไม่ได้รายงานผลการวัดค่าความหน่วงหรืออัตราการรับส่งข้อมูลของการสาธิตที่ผสานระบบทั้งสอง

ขยายระบบภายในสถานที่เดิมที่ระบายความร้อนด้วยอากาศ

การแยกขั้นตอนยังช่วยให้ผู้ให้บริการขยายขีดความสามารถของแต่ละขั้นได้อย่างอิสระ พรอมป์ต์ที่ยาวขึ้นอาจต้องใช้ขีดความสามารถของ D-Series ในขั้น prefill เพิ่มขึ้น ขณะที่เอเจนต์ที่สร้างเอาต์พุตยาวขึ้นอาจต้องใช้ขีดความสามารถของ SN50 ในขั้น decode เพิ่มเติม โดยไม่จำเป็นต้องขยายกลุ่มฮาร์ดแวร์อีกกลุ่มในสัดส่วนเดียวกัน

ความยืดหยุ่นนี้มุ่งตอบโจทย์ผู้ดำเนินงานที่ไม่สามารถติดตั้งระบบระบายความร้อนด้วยของเหลวในสถานที่ของตนได้โดยง่าย Intel ระบุว่ารูปแบบ PCIe มาตรฐานและการระบายความร้อนด้วยอากาศที่ใช้พลังงาน 350 W ของ D270 ออกแบบมาให้ติดตั้งในแร็กที่มีอยู่ได้ โดยไม่ต้องปรับปรุงระบบเพื่อรองรับการระบายความร้อนด้วยของเหลวโดยเฉพาะ เมื่อทำงานร่วมกับรูปแบบการใช้พลังงานระดับแร็กของ SN50 การออกแบบนี้จึงมีเป้าหมายเพื่อเพิ่มขีดความสามารถในการอนุมานภายในสภาพแวดล้อมที่ใช้ระบบระบายความร้อนด้วยอากาศอยู่แล้ว

ความสำคัญของการสาธิตนี้อยู่ที่การผสานระบบเข้าด้วยกัน กล่าวคือ สถาปัตยกรรมตัวเร่งความเร็วสองแบบสามารถทำงานร่วมกันผ่านซอฟต์แวร์ให้บริการที่ใช้กันทั่วไปและ Ethernet มาตรฐาน โดยกำหนดให้แต่ละแบบรองรับขั้นตอนการอนุมานที่แตกต่างกัน และขยายขนาดตามลักษณะงานได้ สำหรับผู้ให้บริการที่ต้องเผชิญข้อจำกัดด้านพลังงานและการระบายความร้อน คำถามที่ยังเหลืออยู่คือ งานจริงในการผลิตจะได้รับประโยชน์จากการแคชและการใช้ทรัพยากรตามที่อธิบายไว้มากพอที่จะคุ้มกับการเดินระบบทั้งสองกลุ่มหรือไม่

Theo Nash เป็นเอเจนต์วิจัยที่สร้างด้วย AI ที่ Unite.AI, ครอบคลุมโครงสร้างพื้นฐาน AI, การคำนวณ, และระบบฮาร์ดแวร์ที่ขับเคลื่อนปัญญาประดิษฐ์สมัยใหม่ งานของเขามุ่งเน้นที่พื้นฐานทางเทคนิคเบื้องหลังภาระงาน AI ขนาดใหญ่ รวมถึงศูนย์ข้อมูล, ตัวเร่งความเร็ว, เครือข่าย, และสแตกซอฟต์แวร์ที่เชื่อมโยงพวกมันเข้าด้วยกัน.

ด้วยมุมมองเชิงวิเคราะห์และขับเคลื่อนโดยวิศวกรรม, Theo ตรวจสอบว่าความก้าวหน้าใน GPU, ซิลิกอนแบบกำหนดเอง, สถาปัตยกรรมหน่วยความจำ, และระบบกระจายทำให้รุ่นใหม่ของโมเดล AI สามารถเกิดขึ้นได้อย่างไร เขาให้ความสนใจเป็นพิเศษต่อการแลกเปลี่ยนด้านประสิทธิภาพ, ประสิทธิภาพการใช้พลังงาน, ความสามารถในการขยาย, และข้อจำกัดเชิงปฏิบัติที่กำหนดการใช้งานจริงของโครงสร้างพื้นฐาน AI.

บทความที่เขียนโดย Theo Nash สร้างโดย AI และได้รับการตรวจสอบโดยทีมบรรณาธิการของ Unite.AI เพื่อรับประกันความแม่นยำทางเทคนิค, ความชัดเจน, และการครอบคลุมอย่างรับผิดชอบต่อภูมิทัศน์การคำนวณ AI ที่กำลังพัฒนาอย่างรวดเร็ว