อินฟินีออน เทคโนโลยี และ ดี-เมทริกซ์ ร่วมมือพัฒนาโครงสร้างพื้นฐาน AI ที่มีความหน่วงต่ำ

อินฟินีออน เทคโนโลยี ได้ ประกาศ การร่วมมือกับ ดี-เมทริกซ์ โดยมุ่งเน้นในการปรับปรุงประสิทธิภาพและประสิทธิภาพการใช้พลังงานของระบบ AI อินเฟอร์เรนซ์ที่ใช้ในศูนย์ข้อมูลสมัยใหม่ การร่วมมือนี้มีศูนย์กลางอยู่ที่ แพลตฟอร์ม Corsair AI อินเฟอร์เรนซ์ แอคเซเลอเรเตอร์ ของดี-เมทริกซ์ และ โมดูล OptiMOS ดูอัล-เฟส พาวเวอร์ ของอินฟินีออน ซึ่งได้รับการออกแบบมาเพื่อสนับสนุนสภาพแวดล้อมคอมพิวเตอร์ที่มีความหนาแน่นสูงสำหรับเวิร์กโหลด AI ที่มีการโต้ตอบ

การประกาศเน้นย้ำถึงการเปลี่ยนแปลงที่กำลังเกิดขึ้นในอุตสาหกรรมฮาร์ดแวร์ AI ในขณะที่การเติบโตของโครงสร้างพื้นฐานในช่วงหลายปีที่ผ่านมาได้มุ่งเน้นไปที่การฝึกอบรมโมเดล AI ที่มีขนาดใหญ่ขึ้นเรื่อยๆ อุตสาหกรรมนี้กำลังขยายตัวเข้าสู่การอินเฟอร์เรนซ์ – กระบวนการของการดำเนินการโมเดลในแอปพลิเคชันโลกแห่งความเป็นจริง เช่น แชทบอท ระบบ AI ที่มีการโต้ตอบ คอปิโลต์ การค้นหา การวิเคราะห์ทางการเงิน และการสนับสนุนการตัดสินใจด้านสุขภาพ เวิร์กโหลดเหล่านี้วางแนวทางที่แตกต่างกันบนฮาร์ดแวร์ โดยเฉพาะอย่างยิ่งรอบๆ ความหน่วง การตอบสนอง และการบริโภคพลังงาน

ทำไม AI อินเฟอร์เรนซ์จึงกลายเป็นสนามรบฮาร์ดแวร์ที่สำคัญ

AI อินเฟอร์เรนซ์ ได้ปรากฏขึ้นเป็นหนึ่งในส่วนเติบโตเร็วที่สุดของตลาดโครงสร้างพื้นฐาน AI เนื่องจากระบบ AI ที่มีการโต้ตอบต้องการการตอบสนองในระดับ 밀リเซคันด์ ไม่ใช่ในระดับวินาที ดี-เมทริกซ์ได้จัดตำแหน่ง Corsair โดยเฉพาะสำหรับเวิร์กโหลดเหล่านี้ โดยเน้นไปที่ความหน่วงต่ำและอินเฟอร์เรนซ์ที่มีประสิทธิภาพการใช้พลังงานสำหรับโมเดลภาษาที่มีขนาดใหญ่และตัวแทน AI

ตามที่ดี-เมทริกซ์ ระบุ Corsair ได้รับการออกแบบรอบๆ อาร์คิเทคเชอร์คอมพิวเตอร์แบบดิจิทัลในหน่วยความจำที่มีจุดมุ่งหมายเพื่อลดปัญหาการขาดแคลนหน่วยความจำที่บ่อยครั้งทำให้การอินเฟอร์เรนซ์ AI ที่สร้างขึ้นช้าลง บริษัทอ้างว่าแพลตฟอร์มนี้สามารถลดความหน่วงและปรับปรุงการผ่านได้เมื่อเทียบกับระบบอินเฟอร์เรนซ์ที่ขึ้นอยู่กับ GPU แบบดั้งเดิม โดยเฉพาะสำหรับแอปพลิเคชันที่มีการโต้ตอบ

การร่วมมือกับอินฟินีออนกล่าวถึงความท้าทายที่สำคัญที่เพิ่มขึ้นเรื่อยๆ อีกประการหนึ่ง

เมื่อเซิร์ฟเวอร์ AI ยังคงเพิ่มขึ้นในความหนาแน่น การจัดส่งพลังงานให้กับแอคเซเลอเรเตอร์ได้กลายเป็นปัจจัยที่จำกัดสำหรับการขยายโครงสร้างพื้นฐาน อินฟินีออน OptiMOS TDM2254xx โมดูลได้รับการออกแบบสำหรับโครงสร้างพาวเวอร์แนวตั้งที่ช่วยลดการสูญเสียพลังงานไฟฟ้าในขณะที่ปรับปรุงความหนาแน่นของพลังงานภายในระบบเซิร์ฟเวอร์ที่มีขนาดกะทัดรัด

การเปลี่ยนแปลงสู่ระบบ AI ในแบบเรียลไทม์

บริษัทต่างๆ ได้กล่าวถึงการร่วมมือรอบๆ การเพิ่มขึ้นของ “AI ที่มีการโต้ตอบ” โดยที่ระบบอินเฟอร์เรนซ์ต้องสร้างผลลัพธ์อย่างต่อเนื่องด้วยความหน่วงที่ต่ำมาก ซึ่งรวมถึง AI การสนทนา ตัวแทน AI ระบบการให้เหตุผลแบบเรียลไทม์ และแอปพลิเคชันที่ต้องการการสร้างโทเค็นอย่างรวดเร็วจากโมเดลภาษาที่มีขนาดใหญ่

ซิด เชธ ผู้ก่อตั้งและซีอีโอของดี-เมทริกซ์ กล่าวว่าสถาปัตยกรรมเบื้องหลัง Corsair ถูกสร้างขึ้นโดยเฉพาะสำหรับความหน่วงของโทเค็นต่ำกว่า 2 มิลลิเซคันด์ ซึ่งเป็นเมตริกที่มีความสำคัญมากขึ้นเรื่อยๆ เมื่อองค์กรต่างๆ ย้ายระบบ AI จากการลองใช้ไปสู่สภาพแวดล้อมที่เผชิญกับลูกค้า

อุตสาหกรรม AI ที่กว้างขึ้นยังเริ่มรับรู้ว่าโครงสร้างพื้นฐานอินเฟอร์เรนซ์อาจพัฒนาไปในทางที่แตกต่างจากโครงสร้างพื้นฐานการฝึกอบรม ในขณะที่คลัสเตอร์ GPU ครองช่วงแรกของการขยาย AI ที่สร้างขึ้น อินเฟอร์เรนซ์ให้รางวัลแก่อาร์คิเทคเชอร์ที่ได้รับการปรับให้เหมาะสมรอบๆ ความกว้างของแบนด์วิธหน่วยความจำ ความหน่วง การเชื่อมต่อเครือข่าย และประสิทธิภาพการใช้พลังงาน มากกว่าการคำนวณโดยตรงเพียงอย่างเดียว

ประสิทธิภาพการใช้พลังงานกลายเป็นจุดศูนย์กลางในการขยาย AI

หนึ่งในข้อจำกัดที่ใหญ่ที่สุดที่เผชิญกับฮाइเปอร์สเกลเลอร์และผู้ให้บริการคลาวด์ AI คือความต้องการไฟฟ้า เวิร์กโหลด AI อินเฟอร์เรนซ์สามารถดำเนินการต่อเนื่องตลอดล้านๆ คำขอในแต่ละวัน ทำให้ประสิทธิภาพการทำงานมีความสำคัญอย่างยิ่งสำหรับต้นทุนการดำเนินงาน

อินฟินีออนได้ขยายตำแหน่งของตนภายในโครงสร้างพื้นฐาน AI ผ่านเทคโนโลยีเซมิคอนดักเตอร์ที่ใช้ซิลิคอน ซิลิคอนคาร์ไบด์ (SiC) และกาลเลียมไนไตรด์ (GaN) บริษัทได้มุ่งเน้นไปที่การให้บริการชั้นการจัดส่งพลังงานที่อยู่ภายใต้แอคเซเลอเรเตอร์ AI และโครงสร้างพื้นฐานเซิร์ฟเวอร์

การร่วมมือกับดี-เมทริกซ์ สะท้อนถึงวิธีการที่บริษัทเซมิคอนดักเตอร์กำลังรวมเข้ากับสตาร์ทอัพแอคเซเลอเรเตอร์ AI มากขึ้นเรื่อยๆ ในขณะที่อุตสาหกรรมกำลังมองหาทางเลือกแทนโครงสร้างพื้นฐาน GPU ที่มีแบบดั้งเดิม

โครงสร้างพื้นฐาน AI ขยายตัวเกินกว่า GPU แบบดั้งเดิม

การร่วมมือนี้มาถึงในช่วงที่มีการทดลองอย่างกว้างขวางในฮาร์ดแวร์ AI จำนวนมากของสตาร์ทอัพกำลังพัฒนาแอคเซเลอเรเตอร์ที่มีเฉพาะจุดสำหรับอินเฟอร์เรนซ์ การคำนวณที่มีศูนย์กลางอยู่ที่หน่วยความจำ หรือการเชื่อมต่อเครือข่าย AI

ดี-เมทริกซ์ ได้สร้างความแตกต่างให้กับตัวเองผ่านการเน้นไปที่เทคโนโลยีคอมพิวเตอร์แบบดิจิทัลในหน่วยความจำและระบบอินเฟอร์เรนซ์ที่มีความหน่วงต่ำซึ่งปรับให้เหมาะสมสำหรับ AI ที่สร้างขึ้น บริษัทได้ขยายกลยุทธ์โครงสร้างพื้นฐานไปไกลกว่าเพียงชิปแอคเซเลอเรเตอร์ โดยเน้นไปที่การเชื่อมต่อเครือข่าย โครงสร้างพื้นฐานที่สามารถปรับเปลี่ยนได้ และการเพิ่มประสิทธิภาพระบบเต็มรูปแบบสำหรับคลัสเตอร์อินเฟอร์เรนซ์

เมื่อแอปพลิเคชัน AI มีความสามารถในการโต้ตอบและโต้ตอบมากขึ้น ผู้ให้บริการโครงสร้างพื้นฐานคาดว่าจะให้ความสำคัญกับการลดความหน่วง การลดการบริโภคพลังงาน และการปรับปรุงประสิทธิภาพระดับระบบทั่วทั้งสตैकของศูนย์ข้อมูลมากกว่าที่จะเน้นไปที่พลังการประมวลผลโดยตรงเพียงอย่างเดียว