Meridian Cloud เลือก Aria Networks เพื่อออกแบบคลัสเตอร์ AI ที่พร้อมรองรับงานอนุมาน

Meridian Cloud เลือก Aria Networks เป็นพันธมิตรด้านเครือข่ายสำหรับบริการคลาวด์ AI สำหรับงานอนุมานโดยเฉพาะ ซึ่งมีกำหนดเปิดตัวในไตรมาส 2 ปี 2027 ทั้งสองบริษัทมีแผนพัฒนาการออกแบบเครือข่ายที่เป็นมาตรฐานและผ่านการตรวจสอบแล้ว เพื่อให้การติดตั้งคลัสเตอร์ทำซ้ำได้ง่ายขึ้น พร้อมระบุข้อกำหนดทางวิศวกรรม ประมาณการค่าใช้จ่าย และกำหนดการนำระบบขึ้นใช้งานจริงได้ชัดเจนยิ่งขึ้น

ความร่วมมือนี้ประกาศเมื่อวันที่ 5 พฤศจิกายน โดย Aria เข้ามามีส่วนร่วมในกระบวนการวางแผนก่อนติดตั้งอุปกรณ์ ขอบเขตงานครอบคลุมการกำหนดขนาดโครงข่าย GPU ส่วนแบ็กเอนด์ เครือข่ายส่วนฟรอนต์เอนด์และเครือข่ายจัดเก็บข้อมูล การวางผังโทโพโลยีและสายเคเบิล ตลอดจนการประสานงานด้านการจัดหาและการส่งมอบให้สอดคล้องกับกำหนดการติดตั้งของ Meridian

คาดว่าลูกค้าและพันธมิตรด้านสถานที่ของ Meridian จะเริ่มใช้แบบอ้างอิงร่วมชุดแรกได้ในไตรมาส 2 ปี 2027 ประกาศนี้กล่าวถึงโครงการพัฒนาและติดตั้งระบบ ไม่ใช่การเปิดใช้งานคลาวด์สำหรับงานอนุมานแห่งใหม่ของ Meridian ที่เสร็จสมบูรณ์แล้ว

ทำให้การสร้างคลัสเตอร์ใหม่แต่ละครั้งไม่ต้องเริ่มโครงการวิศวกรรมใหม่ทั้งหมด

แนวทางของ Meridian คือการดำเนินงานด้วยทีมส่วนกลางขนาดเล็ก โดยมีพันธมิตรผู้เชี่ยวชาญช่วยสนับสนุนด้านวิศวกรรม การประมวลผล การติดตั้งระบบ และเครือข่าย Aria จะช่วยรวบรวมงานดังกล่าวเป็นคลังแบบอ้างอิง โดยแต่ละแบบจะสอดคล้องกับสถานที่ประเภทหนึ่ง

แนวคิดคือเริ่มจากกำลังไฟฟ้าที่สถานที่แต่ละแห่งมีอยู่ แล้วจับคู่กับการกำหนดค่าที่ผ่านการตรวจสอบข้อกำหนดด้านเครือข่ายแล้ว วิธีนี้จะช่วยให้ Meridian กำหนดข้อมูลจำเพาะและค่าใช้จ่ายได้ก่อนเริ่มก่อสร้าง แทนที่จะต้องปรับแก้โครงข่ายใหม่ในแต่ละสถานที่เสมือนเป็นงานวิศวกรรมแยกต่างหาก

สำหรับลูกค้าที่ใช้คลาวด์โดยเฉพาะ ประโยชน์ของการกำหนดมาตรฐานคือการคาดการณ์ได้ คลัสเตอร์ไม่ได้มีเพียงจำนวนตัวเร่งการประมวลผลที่สั่งซื้อเท่านั้น แต่เส้นทางเดินสาย ความจุของสวิตช์ การเชื่อมต่อกับโฮสต์ ปริมาณการรับส่งข้อมูลของระบบจัดเก็บข้อมูล และกำหนดเวลาส่งมอบอุปกรณ์ ล้วนส่งผลต่อเวลาที่ระบบจะเริ่มทำงานที่เป็นประโยชน์ได้

“วิศวกรภาคสนามของ Aria ทำงานร่วมกับทีมเรามาตั้งแต่วันแรก โดยช่วยกันออกแบบเครือข่าย วางแผนการจัดหาและการติดตั้งระบบ ตลอดจนตรวจสอบสายเคเบิล ลิงก์ และการกำหนดค่าทุกจุด ก่อนที่งานของลูกค้าจะเริ่มทำงาน” Vic Rose ซีอีโอของ Meridian Cloud กล่าว

เหตุใดเครือข่ายจึงเป็นปัจจัยสำคัญต่อการทำงานของระบบอนุมาน

การอนุมานคือกระบวนการนำโมเดลที่ผ่านการฝึกมาใช้สร้างคำตอบ ในการติดตั้งระบบแบบกระจาย งานบางส่วนและข้อมูลสนับสนุนอาจต้องเคลื่อนย้ายระหว่างเครื่อง ทำให้เวลาในการสื่อสารเป็นส่วนหนึ่งของเวลาตอบสนองที่ผู้ใช้ได้รับ

ตัวอย่างหนึ่งคือการอนุมานแบบแยกส่วน ซึ่งการประมวลผลพรอมป์ตและการสร้างโทเค็นจะทำงานบนทรัพยากรคนละชุด ระบบอาจต้องย้ายแคชคีย์-แวลูของโมเดล ซึ่งเป็นข้อมูล attention ระหว่างการประมวลผลที่เกี่ยวข้องกับคำขอ ไปมาระหว่างทรัพยากรเหล่านั้น ความคับคั่งบนเส้นทางดังกล่าวอาจทำให้งานล่าช้าได้ แม้ GPU เองจะพร้อมใช้งานก็ตาม

คำอธิบายเชิงเทคนิคเกี่ยวกับเครือข่ายสำหรับงานอนุมานของ Aria เน้นการเชื่อมโยงกิจกรรมของโฮสต์เข้ากับข้อมูลเทเลเมทรีของเครือข่าย พอร์ตที่ดูเหมือนทำงานปกติบนแดชบอร์ดซึ่งรีเฟรชเป็นระยะ อาจยังเกิดความขัดข้องช่วงสั้น ๆ ที่ส่งผลต่อประสิทธิภาพของแอปพลิเคชันได้

ข่าวประชาสัมพันธ์เกี่ยวกับความร่วมมือระบุถึงเหตุการณ์เครือข่ายคับคั่ง อุปกรณ์ออปติกที่เสื่อมประสิทธิภาพ และปัญหาฝั่งโฮสต์ ซึ่งเครื่องมือที่ตรวจสอบข้อมูลทุกสองสามวินาทีอาจตรวจไม่พบ การตรวจจับเหตุการณ์เหล่านี้ต้องอาศัยการมองเห็นระบบในระดับที่ละเอียดกว่าการตรวจเพียงว่าลิงก์ยังเชื่อมต่ออยู่หรือไม่

สำหรับธุรกิจที่ให้บริการอนุมาน ผลกระทบไม่ได้มีเพียงด้านเทคนิค แต่ยังเป็นเรื่องเชิงพาณิชย์ด้วย เวลาที่เสียไปกับการรอข้อมูลทำให้ฮาร์ดแวร์สร้างผลงานที่เป็นประโยชน์ได้น้อยลง ทั้งที่ยังคงใช้พลังงานและมีต้นทุนการถือครอง ตัวชี้วัดการดำเนินงานที่เกี่ยวข้อง ได้แก่ เวลาแฝงในการตอบสนอง ปริมาณงานที่เป็นประโยชน์ และต้นทุนต่อโทเค็นหนึ่งล้านโทเค็น ไม่ใช่เพียงความเร็วของลิงก์

สิ่งที่ Deep Networking ของ Aria เพิ่มเข้ามา

Aria อธิบายว่า Deep Networking เป็นระบบที่ออกแบบองค์ประกอบต่าง ๆ ร่วมกัน ประกอบด้วยฮาร์ดแวร์สวิตชิ่ง Aria Operating System เทเลเมทรีความละเอียดสูง และเอเจนต์เฉพาะทาง ประกาศของ Meridian ระบุถึงแพลตฟอร์มสวิตช์ Aria 800G และโครงข่าย Ethernet ที่ยึดตามมาตรฐานและออกแบบให้รองรับผู้จำหน่ายตัวเร่งการประมวลผลหลายราย

บริษัทอ้างว่าเทเลเมทรีมีความละเอียดสูงกว่าเครื่องมือแบบดั้งเดิม 100 ถึง 10,000 เท่า ครอบคลุมสวิตช์ อุปกรณ์ออปติก และโฮสต์ นี่เป็นข้อกล่าวอ้างเกี่ยวกับความละเอียดในการวัด ไม่ใช่การกล่าวอ้างว่าแอปพลิเคชันของ Meridian จะทำงานเร็วขึ้น 100 ถึง 10,000 เท่า

ภาพรวมผลิตภัณฑ์ของ Aria ให้รายละเอียดเพิ่มเติมเกี่ยวกับฮาร์ดแวร์ ได้แก่ สวิตช์ 800G ที่มีพอร์ต 800GbE จำนวน 64 พอร์ตในแชสซีขนาด 2 แร็กยูนิต รองรับ RoCEv2 และเครือข่าย Layer 2/Layer 3 พร้อมติดตั้งหน่วยประมวลผลเทเลเมทรีเฉพาะ RoCEv2 ช่วยให้เข้าถึงหน่วยความจำโดยตรงจากระยะไกลผ่าน Ethernet ซึ่งเป็นความสามารถที่ใช้เคลื่อนย้ายข้อมูลระหว่างเครื่องได้อย่างมีประสิทธิภาพในคลัสเตอร์ประสิทธิภาพสูง

หน้าเดียวกันยังอธิบายถึงการเชื่อมโยงข้อมูลจากโฮสต์ GPU กับข้อมูลจากสวิตช์ การเลือกเครื่องมือวินิจฉัยผ่านเอเจนต์เฉพาะทาง และการดำเนินเวิร์กโฟลว์แก้ไขปัญหาที่มีแนวทางกำกับไว้ ทั้งหมดนี้ทำให้การมองเห็นและการจัดการระบบในงานปฏิบัติการเป็นส่วนหนึ่งของการออกแบบฮาร์ดแวร์ด้วย กล่าวคือ เครือข่ายต้องสามารถตรวจสอบและบำรุงรักษาได้หลังจากเริ่มใช้งานแล้ว

บริษัททั้งสองยังไม่ได้เผยแพร่เกณฑ์มาตรฐานการติดตั้งใช้งาน Meridian ร่วมกัน หรือการลดต้นทุนต่อโทเคนที่วัดได้จากความร่วมมือครั้งนี้ ผลลัพธ์ดังกล่าวจะขึ้นอยู่กับเวิร์กโหลดและการกำหนดค่าที่นำไปใช้งาน รวมถึงพฤติกรรมของเครือข่ายภายใต้ปริมาณการรับส่งข้อมูลจริงในระบบผลิต

โมเดลการอนุมานแบบจัดสรรกำลังรองรับเฉพาะของ Meridian

บนเว็บไซต์ของตน Meridian นำเสนอข้อเสนอโดยเน้นกำลังรองรับที่สำรองไว้และปรับให้เข้ากับเวิร์กโหลดของลูกค้า โดยมีตัวเลือกตั้งแต่ฮาร์ดแวร์ NVIDIA และ AMD ไปจนถึงตัวเร่งการอนุมานเฉพาะทาง นอกจากนี้ยังกล่าวถึงรูปแบบการดำเนินงานทั้งแบบจัดการระบบประสานงานและแบบ bare-metal

ข้อความเหล่านี้เป็นคำอธิบายข้อเสนอด้านบริการในภาพรวม ไม่ใช่การยืนยันว่าการกำหนดค่าทุกแบบที่โฆษณาไว้จะรวมอยู่ในคลังแบบอ้างอิง Aria ระยะแรก ประกาศความร่วมมือไม่ได้ระบุที่ตั้งของศูนย์แห่งแรก ขนาดคลัสเตอร์ที่กำหนดตายตัว หรือราคาสำหรับลูกค้า

การมุ่งเน้นกำลังรองรับเฉพาะของ Meridian ยังเปลี่ยนโจทย์การวางแผนด้วย แทนที่จะพึ่งพาความพร้อมใช้งานร่วมกันเพียงอย่างเดียว ลูกค้าจำเป็นต้องมีระบบที่ออกแบบให้รองรับปริมาณการรับส่งข้อมูลที่คาดการณ์ไว้ ลักษณะเฉพาะของโมเดล และข้อกำหนดด้านบริการ การออกแบบเครือข่ายที่นำกลับมาใช้ได้จะช่วยให้วางแผนได้ง่ายขึ้น ขณะเดียวกันก็ยังเปิดทางให้เลือกปรับตามเวิร์กโหลดแต่ละแบบ

ความร่วมมือที่มุ่งเน้นการดำเนินงานให้ทำซ้ำได้อย่างเป็นระบบ

บทบาทของ Aria ครอบคลุมตั้งแต่การออกแบบไปจนถึงการติดตั้งใช้งานจริง โดยมีเป้าหมายให้นำบทเรียนจากแต่ละไซต์ไปใช้ประกอบการติดตั้งครั้งต่อ ๆ ไปและการปรับปรุงซอฟต์แวร์ จุดมุ่งหมายคือทำให้วิศวกรรมเครือข่ายเป็นส่วนหนึ่งของการขยายระบบ Meridian ที่นำกลับมาใช้ได้ แทนที่จะเป็นต้นตอของความไม่แน่นอนที่เกิดซ้ำ

เป้าหมายระยะใกล้ที่ชัดเจนคือการจัดทำแบบอ้างอิงร่วมกันและการเปิดตัวคลาวด์ตามแผนในไตรมาส 2 ปี 2027 หลังจากนั้น บททดสอบของความร่วมมือคือ แบบที่ผ่านการตรวจสอบแล้วและการมองเห็นการปฏิบัติงานที่ละเอียดขึ้นจะช่วยให้คลัสเตอร์พร้อมใช้งานตามกำหนดเวลาและส่งมอบประสิทธิภาพการอนุมานที่สม่ำเสมอได้หรือไม่ เมื่อเริ่มใช้งานเวิร์กโหลดของลูกค้า