โมเดลและแพลตฟอร์ม AI
Cornelis เปิดตัว CN6000: เครือข่าย 800G มีความหมายอย่างไรต่อ AI และซูเปอร์คอมพิวเตอร์
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
ประเด็นสำคัญCornelis claims 1.6 billion messages per second but that figure is bidirectional and…
ดูเพิ่มเติม
- Cornelis claims 1.6 billion messages per second but that figure is bidirectional and aggregate.
- Its 0.95 microsecond latency beat InfiniBand by approximately 21% only in an internal small-message test.
- Peak speeds matter less than whether a buyer's own workload finishes faster on a complete fabric.
Cornelis เปิดตัวกลุ่มผลิตภัณฑ์เครือข่าย 800 กิกะบิตที่ออกแบบมาเพื่อลดเวลาที่ตัวเร่ง AI และซูเปอร์คอมพิวเตอร์ต้องรอข้อมูล จุดขายสำคัญคืออัตราการรับส่งข้อความสูงสุด 1.6 พันล้านข้อความต่อวินาทีบน Omni-Path SuperNIC อย่างไรก็ตาม การทำความเข้าใจตัวเลขนี้ต้องแยกประสิทธิภาพเครือข่ายออกเป็นสามด้าน ได้แก่ แบนด์วิดท์ อัตราการรับส่งข้อความ และเวลาแฝง
ประกาศเมื่อวันที่ 12 พฤศจิกายน เปิดตัวทั้งอะแดปเตอร์ Omni-Path และ Ethernet พร้อมสวิตช์ Omni-Path โดย Cornelis ระบุว่าฮาร์ดแวร์พร้อมให้ประเมินและนำไปใช้งานในระยะแรก ส่วนระบบจากพันธมิตรคาดว่าจะพร้อมในไตรมาสแรกของปี 2027
เป้าหมายทางธุรกิจนั้นตรงไปตรงมา นั่นคือโปรเซสเซอร์ราคาแพงจะทำงานที่เป็นประโยชน์ได้มากขึ้นเมื่อเครือข่ายส่งข้อมูลได้ทัน แม้ GPU จะเร็วขึ้น ก็แทบไม่ช่วยให้งานแบบกระจายเสร็จเร็วขึ้น หากยังต้องรอให้เครื่องอื่นส่งผลลัพธ์มา
ความหมายที่แท้จริงของ 800G และ 1.6 พันล้านข้อความ
คลัสเตอร์ AI คือกลุ่มคอมพิวเตอร์ที่เชื่อมต่อและทำงานร่วมกัน เครือข่ายทำหน้าที่รับส่งข้อมูลตั้งแต่ชุดข้อมูลโมเดลขนาดใหญ่ไปจนถึงข้อความประสานงานขนาดเล็ก ประสิทธิภาพของเครือข่ายมีหลายมิติ ดังนี้
| ตัวชี้วัด | ความหมายโดยทั่วไป | เหตุผลที่สำคัญ |
|---|---|---|
| แบนด์วิดท์ | ปริมาณข้อมูลที่รับส่งได้ในแต่ละวินาที | การรับส่งข้อมูลปริมาณมาก |
| อัตราการรับส่งข้อความ | จำนวนข้อความที่อะแดปเตอร์รองรับได้ในแต่ละวินาที | การจัดการการรับส่งข้อมูลขนาดเล็กจำนวนมาก |
| เวลาแฝง | ระยะเวลาที่ใช้ในการสื่อสาร | การลดเวลารอระหว่างขั้นตอนที่ต้องทำต่อเนื่องกัน |
800G หมายถึง 800 กิกะบิตต่อวินาที เมื่อนำมาหารด้วยแปด จะได้อัตราสูงสุดตามทฤษฎีที่ 100 กิกะไบต์ต่อวินาที ก่อนหักค่าใช้จ่ายของโปรโตคอลและข้อจำกัดในการใช้งานจริง ตัวเลขนี้บอกความสามารถในการรับส่งข้อมูล ไม่ได้บอกว่าแชตบอตจะสร้างคำได้เร็วเพียงใด
อัตราการรับส่งข้อความใช้วัดคอขวดอีกประเภทหนึ่ง การส่งข้อมูลชิ้นเล็กจำนวนมากทำให้อะแดปเตอร์ต้องประมวลผลการทำงานแยกกันหลายรายการ แม้ข้อมูลเหล่านั้นจะใช้แบนด์วิดท์ของลิงก์ไม่เต็มก็ตาม เอกสารข้อมูลผลิตภัณฑ์ Omni-Path ของ Cornelis ระบุว่าอัตรา 1.6 พันล้านข้อความเป็นอัตรารับส่งแบบสองทิศทาง นี่คือขีดความสามารถโดยรวม ไม่ใช่การกล่าวอ้างว่าแอปพลิเคชันเดียวจะดำเนินการตามคำขอที่ต้องทำต่อเนื่องกันได้จำนวนเท่านี้ในทุกวินาที
เวลาแฝงมีความสำคัญเมื่อการคำนวณขั้นถัดไปต้องรอรับข้อความ ในการทดสอบแบบปิงปองด้วย Intel MPI ขนาด 8 ไบต์ภายในของ Cornelis รายงานเวลาแฝงของ CN6000 อยู่ที่ 0.95 ไมโครวินาที เทียบกับ 1.2 ไมโครวินาทีของ NVIDIA InfiniBand XDR ที่ 800G ซึ่งต่ำกว่าประมาณ 21% MPI หรือ Message Passing Interface เป็นมาตรฐานสำหรับการสื่อสารระหว่างโปรแกรมทางวิทยาศาสตร์ที่ทำงานแบบขนาน
การทดสอบนี้วัดการแลกเปลี่ยนข้อความขนาดเล็กในรูปแบบหนึ่งโดยเฉพาะ แต่ไม่ได้ยืนยันว่าการฝึกโมเดล การจำลอง หรือบริการอนุมานจะเสร็จเร็วขึ้น 21% ผลลัพธ์ขึ้นอยู่กับความถี่ในการสื่อสารของแอปพลิเคชัน ขนาดข้อมูลที่รับส่ง ความแออัดของเครือข่าย และส่วนอื่น ๆ ของระบบ
ทำความเข้าใจ SuperNIC สวิตช์ และโครงข่าย
การ์ดเชื่อมต่อเครือข่าย หรือ NIC ใช้เชื่อมต่อเซิร์ฟเวอร์เข้ากับเครือข่าย «SuperNIC» เป็นคำเรียกผลิตภัณฑ์ของ Cornelis สำหรับอะแดปเตอร์ประสิทธิภาพสูงเฉพาะทาง สวิตช์เชื่อมต่อลิงก์ของเซิร์ฟเวอร์เหล่านั้นและส่งต่อข้อมูลระหว่างกัน โดยทั่วไป การจัดวางอะแดปเตอร์ สวิตช์ ลิงก์ และซอฟต์แวร์สื่อสารทั้งหมดนี้เรียกว่า โครงข่าย
ความแตกต่างนี้สำคัญเมื่อต้องจัดซื้อคลัสเตอร์ การติดตั้งอะแดปเตอร์ที่มีประสิทธิภาพสูงไม่ได้ทำให้สวิตช์ สายเคเบิล หรือเส้นทางการรับส่งข้อมูลผ่านซอฟต์แวร์ทุกส่วนที่ข้อมูลต้องผ่านได้รับการอัปเกรดตามไปด้วยโดยอัตโนมัติ
CN6000 มีโครงข่ายให้เลือกสองแบบ Omni-Path คือระบบเชื่อมต่อที่ Cornelis ออกแบบมาโดยเฉพาะสำหรับการประมวลผลแบบขนาน ส่วน Ethernet เป็นพื้นฐานเครือข่ายที่ใช้กันอย่างแพร่หลายและคุ้นเคยสำหรับผู้ดูแลศูนย์ข้อมูล อะแดปเตอร์ Ethernet มุ่งรองรับลูกค้าที่ต้องการการสื่อสารประสิทธิภาพสูง พร้อมใช้งานร่วมกับโครงสร้างพื้นฐานสวิตช์ Ethernet ที่มีอยู่ได้ InfiniBand ซึ่งเป็นเทคโนโลยีที่ใช้ในการเปรียบเทียบผลทดสอบ ก็เป็นโครงข่ายเฉพาะทางสำหรับการประมวลผลอีกแบบหนึ่ง โดยสวิตช์ของ InfiniBand ไม่สามารถใช้แทนสวิตช์ Omni-Path ได้
แพลตฟอร์ม CN6000 จึงหมายถึงกลุ่มส่วนประกอบและตัวเลือกในการติดตั้งใช้งาน ไม่ใช่การรับประกันว่าอุปกรณ์เครือข่ายทุกชุดที่นำมาประกอบกันจะให้ผลลัพธ์เหมือนกัน
RoCE ช่วยรับส่งข้อมูลโดยลดภาระของโปรเซสเซอร์ได้อย่างไร
Ethernet SuperNIC ใช้ RoCEv2 หรือ Remote Direct Memory Access over Converged Ethernet เวอร์ชันสอง แนวคิดพื้นฐานอย่าง RDMA ช่วยให้ฮาร์ดแวร์เครือข่ายย้ายข้อมูลระหว่างพื้นที่หน่วยความจำที่ได้รับอนุญาตบนเครื่องต่าง ๆ ได้ โดยไม่ต้องให้ CPU ของเครื่องโฮสต์คัดลอกข้อมูลแต่ละชุดผ่านเส้นทางเครือข่ายแบบเดิม
ลองนึกภาพว่าเป็นการจัดส่งข้อมูลโดยตรงระหว่างจุดหมายสองแห่งที่ได้รับอนุญาต แทนที่จะให้ตัวกลางรับข้อมูลแล้วคัดลอกซ้ำอยู่เรื่อย ๆ CPU ยังคงต้องทำงานเพื่อเริ่มต้นและจัดการการสื่อสาร แต่ข้อดีคือช่วยลดภาระของ CPU ในการเคลื่อนย้ายข้อมูลโดยตรง
เอกสาร RoCE ของ NVIDIA อธิบายว่าเวอร์ชัน 2 ส่งข้อมูล RDMA โดยใช้ส่วนหัว IP และ UDP จึงสามารถเดินทางผ่านเครือข่าย IP ที่มีการกำหนดเส้นทางได้ อย่างไรก็ตาม การใช้งานให้มีประสิทธิภาพยังขึ้นอยู่กับการกำหนดค่าเครือข่ายและการจัดการความแออัด ไม่ใช่เพียงมีพอร์ต Ethernet เท่านั้น
เอกสารข้อมูลผลิตภัณฑ์ Ethernet ของ Cornelis กล่าวถึงการถ่ายโอนภาระงานไปประมวลผลด้วยฮาร์ดแวร์ การรองรับการทำงานพร้อมกันจำนวนมาก และการควบคุมการไหลตามลำดับความสำคัญ กลไกควบคุมการไหลนี้สามารถหยุดการรับส่งข้อมูลบางประเภทชั่วคราวเพื่อช่วยป้องกันการสูญหายของแพ็กเก็ต ประกาศระบุว่าจะเพิ่มการรองรับ Ultra Ethernet ผ่านการอัปเดตซอฟต์แวร์ ผู้ซื้อควรแยกความสามารถที่วางแผนจะเพิ่มนี้ออกจากผลิตภัณฑ์ RoCEv2 ที่นำเสนอในช่วงแรก
เหตุใดการอนุมานด้วย AI จึงต้องย้ายหน่วยความจำที่ใช้ทำงาน
การอนุมานด้วย AI คือกระบวนการใช้โมเดลที่ผ่านการฝึกแล้วเพื่อสร้างคำตอบ สำหรับโมเดลภาษา กระบวนการนี้ประกอบด้วยขั้นตอนเตรียมข้อมูล ซึ่งประมวลผลพรอมป์ต์ และขั้นตอนถอดรหัส ซึ่งสร้างคำตอบทีละโทเคน
ระบบให้บริการบางระบบแยกขั้นตอนเหล่านี้ไปทำงานบนกลุ่มโปรเซสเซอร์คนละชุด เพื่อให้ปรับขนาดแต่ละกลุ่มให้เหมาะกับงานของตนได้ วิธีนี้เรียกว่าการอนุมานแบบแยกส่วน การแยกขั้นตอนทำให้ต้องมีการส่งต่องาน กล่าวคือ ข้อมูลที่คำนวณได้ระหว่างอ่านพรอมป์ต์ต้องถูกส่งไปยังโปรเซสเซอร์ที่สร้างคำตอบ
ข้อมูลดังกล่าวรวมถึงแคชคีย์-แวลู ซึ่งมักเรียกสั้น ๆ ว่า KV cache โดยเก็บข้อมูล attention ระหว่างการประมวลผลไว้ เพื่อให้โมเดลนำงานที่ทำไปแล้วกลับมาใช้ได้ ข้อมูลนี้ไม่ใช่ชุดน้ำหนักทั้งหมดของโมเดล และไม่ใช่เพียงบทถอดความข้อความที่บันทึกไว้
เอกสาร Dynamo ของ NVIDIA อธิบายลำดับการทำงานไว้ดังนี้ ประมวลผลพรอมป์ต์ ถ่ายโอน KV cache แล้วจึงสร้างโทเคนบนเวิร์กเกอร์สำหรับขั้นตอนถอดรหัส การถ่ายโอนที่เร็วขึ้นช่วยให้การแยกขั้นตอนดังกล่าวทำได้จริงมากขึ้น อย่างไรก็ตาม การย้ายแคชก็เพิ่มภาระงานขึ้นมาเช่นกัน ดังนั้นการแยกส่วนจึงเป็นประโยชน์เมื่อข้อดีด้านการจัดตารางงานและฮาร์ดแวร์มีมากกว่าต้นทุนในการส่งต่องาน
ช่วยให้การรับส่งข้อมูลดำเนินต่อไปเมื่อเครือข่ายมีการใช้งานหนาแน่น
CN6000 ใช้การควบคุมการไหลแบบอิงเครดิตบน Omni-Path โดยผู้ส่งจะส่งข้อมูลตามความจุที่ฝั่งผู้รับมีอยู่ การกำหนดเส้นทางแบบปรับเปลี่ยนได้ช่วยกระจายการรับส่งข้อมูลไปตามเส้นทางที่พร้อมใช้งาน ขณะที่ระนาบเครือข่ายหลายชุดมีเส้นทางแยกจากกันผ่านโครงข่าย
เอกสารข้อมูล Omni-Path ระบุว่ามีเส้นทางรับส่งข้อมูลอิสระสองเส้นทาง เส้นทางละ 400G ซึ่งให้แบนด์วิดท์รวม 800G หากระนาบหนึ่งต้องเข้ารับบริการ อีกระนาบยังคงใช้งานได้ แต่การสูญเสียเครือข่ายบางส่วนไม่ได้หมายความว่าจะยังคงรักษาความจุเต็มระดับเดิมไว้ได้
แพลตฟอร์มนี้ยังมีรากฐานความเชื่อถือระดับฮาร์ดแวร์ การบูตอย่างปลอดภัย และการรับรองความถูกต้องของอุปกรณ์ ซึ่งช่วยยืนยันได้ว่าเฟิร์มแวร์และอัตลักษณ์ของอุปกรณ์เชื่อถือได้ การใช้ลายเซ็นดิจิทัลหลังควอนตัมเกี่ยวข้องกับการยืนยันตัวตนและความถูกต้องครบถ้วนของข้อมูล ไม่ควรตีความว่าเป็นการกล่าวอ้างครอบคลุมว่าข้อมูลทุกชุดที่ส่งผ่านเครือข่ายได้รับการเข้ารหัส
คำถามเรื่องการติดตั้งใช้งานมีประเด็นมากกว่าความเร็วสูงสุด
CN6000 ต่อยอดจากผลงานก่อนหน้าของ Cornelis ด้านเครือข่ายแบบขยายขนาดออก ซึ่งรวมถึงความร่วมมือกับ AMD ที่ขยายวงกว้างขึ้นด้านการประมวลผลทางวิทยาศาสตร์ จุดเด่นคือการผสานระบบเชื่อมต่อประสิทธิภาพสูงเข้ากับตัวเลือกโปรเซสเซอร์และสภาพแวดล้อมเครือข่ายที่หลากหลายยิ่งขึ้น
สำหรับผู้ซื้อ การเปรียบเทียบที่เป็นประโยชน์คือเวลาและค่าใช้จ่ายที่ต้องใช้เพื่อให้งานของตนเสร็จสมบูรณ์ การจำลองที่มีการแลกเปลี่ยนข้อมูลอัปเดตขนาดเล็กซ้ำ ๆ อาจได้ประโยชน์จากเวลาแฝงที่ต่ำลงและอัตราการรับส่งข้อความที่สูงขึ้น ส่วนบริการที่ย้ายแคชขนาดใหญ่อาจให้ความสำคัญกับความเร็วในการถ่ายโอนข้อมูลอย่างต่อเนื่องและความแออัดมากกว่า ทั้งสองกรณีต้องใช้โครงข่ายที่เหมาะสม การรองรับซอฟต์แวร์ที่ใช้งานได้จริง และการกำหนดค่าเซิร์ฟเวอร์ที่ผ่านการตรวจสอบรับรอง
ประกาศเกี่ยวกับ CN6000 เพิ่มอีกหนึ่งตัวเลือกสำหรับการสร้างระบบเหล่านี้ ตัวเลขประสิทธิภาพสูงสุดบ่งชี้ถึงความสามารถที่ควรนำไปทดสอบ ส่วนประโยชน์ที่เกิดขึ้นจริงคือการทำให้ทรัพยากรประมวลผลทำงานได้เต็มประสิทธิภาพมากขึ้นขณะใช้งานแอปพลิเคชันจริง
