อินฟินีออน เทคโนโลยีส์ และ ดี-เมทริกซ์ ร่วมมือพัฒนาโครงสร้างพื้นฐาน AI ที่มีหน่วงเวลาต่ำ

อินฟินีออน เทคโนโลยีส์ ได้ประกาศความร่วมมือกับ ดี-เมทริกซ์ โดยมุ่งเน้นในการปรับปรุงประสิทธิภาพและประสิทธิภาพการใช้พลังงานของระบบอนุมาน AI ที่ใช้ในศูนย์ข้อมูลสมัยใหม่ ความร่วมมือนี้มีศูนย์กลางอยู่ที่ แพลตฟอร์ม Corsair AI ของดี-เมทริกซ์ และ โมดูล OptiMOS dual-phase ของอินฟินีออน ซึ่งได้รับการออกแบบมาเพื่อสนับสนุนสภาพแวดล้อมการคำนวณที่มีความหนาแน่นสูงสำหรับงาน AI ที่มีการโต้ตอบ

การประกาศเน้นย้ำถึงการเปลี่ยนแปลงที่กำลังเกิดขึ้นในอุตสาหกรรม AI ฮาร์ดแวร์ ในขณะที่การเติบโตของโครงสร้างพื้นฐานในช่วงหลายปีที่ผ่านมาได้เน้นไปที่การฝึกอบรมโมเดล AI ที่มีขนาดใหญ่มากขึ้น อุตสาหกรรมนี้กำลังขยายตัวไปสู่การอนุมาน – กระบวนการของการทำงานโมเดลในแอปพลิเคชันโลกแห่งความเป็นจริง เช่น แชทบอท ระบบ AI ที่มีการโต้ตอบ คอปิล็อต การค้นหา การวิเคราะห์ทางการเงิน และการสนับสนุนการตัดสินใจด้านสุขภาพ โหลดนี้วางภาระที่แตกต่างกันบนฮาร์ดแวร์ โดยเฉพาะอย่างยิ่งรอบๆ หน่วงเวลาตอบสนอง และการบริโภคพลังงาน

ทำไมการอนุมาน AI จึงกลายเป็นสนามรบฮาร์ดแวร์ที่สำคัญ

การอนุมาน AI ได้ปรากฏขึ้นเป็นหนึ่งในส่วนเติบโตเร็วที่สุดของตลาดโครงสร้างพื้นฐาน AI เนื่องจากระบบ AI ที่มีการโต้ตอบต้องการการตอบสนองในระดับ毫วินาที ไม่ใช่ในระดับวินาที ดี-เมทริกซ์ได้กำหนดตำแหน่ง Corsair โดยเฉพาะสำหรับโหลดนี้ โดยเน้นไปที่หน่วงเวลาต่ำสุดและประสิทธิภาพการใช้พลังงานในการอนุมานสำหรับโมเดลภาษาที่มีขนาดใหญ่และตัวแทน AI

ตามที่ดี-เมทริกซ์ ระบุ Corsair ได้รับการออกแบบรอบๆ สถาปัตยกรรมการคำนวณในหน่วยความจำดิจิทัลที่มุ่งลดปัญหาการขาดแคลนหน่วยความจำที่ชะลอการอนุมาน AI ที่สร้างสรรค์ บริษัทอ้างว่าแพลตฟอร์มนี้สามารถลดหน่วงเวลาตอบสนองและปรับปรุงการผ่านได้เมื่อเทียบกับระบบอนุมานที่มีศูนย์กลางอยู่ที่ GPU โดยเฉพาะสำหรับแอปพลิเคชันที่มีการโต้ตอบ

ความร่วมมือกับอินฟินีออนกล่าวถึงอีกความท้าทายที่สำคัญที่เพิ่มขึ้น: การจัดส่งพลังงาน

เมื่อเซิร์ฟเวอร์ AI เพิ่มขึ้นในด้านความหนาแน่น การจัดส่งพลังงานให้กับเครื่องเร่งความเร็วได้กลายเป็นปัจจัยที่จำกัดสำหรับการขยายโครงสร้างพื้นฐาน อินฟินีออน OptiMOS TDM2254xx โมดูลได้รับการออกแบบสำหรับสถาปัตยกรรมการจัดส่งพลังงานแนวตั้งที่ช่วยลดการสูญเสียพลังงานไฟฟ้าในขณะที่ปรับปรุงความหนาแน่นของพลังงานภายในระบบเซิร์ฟเวอร์ที่มีขนาดกะทัดรัด

การเปลี่ยนแปลงไปสู่ระบบ AI ในเวลาจริง

บริษัทต่างๆ ได้กำหนดกรอบความร่วมมือรอบๆ การเพิ่มขึ้นของ “AI ที่มีการโต้ตอบ” โดยที่ระบบอนุมานต้องสร้างผลลัพธ์อย่างต่อเนื่องด้วยหน่วงเวลาที่ต่ำมาก ซึ่งรวมถึง AI การสนทนา ตัวแทน AI ระบบการให้เหตุผลในเวลาจริง และแอปพลิเคชันที่ต้องการการสร้างโทเค็นอย่างรวดเร็วจากโมเดลภาษาที่มีขนาดใหญ่

ซิด เชธ ผู้ก่อตั้งและซีอีโอของดี-เมทริกซ์ กล่าวว่าสถาปัตยกรรมเบื้องหลัง Corsair ได้รับการออกแบบโดยเฉพาะสำหรับหน่วงเวลาการสร้างโทเค็นต่ำกว่า 2 มิลลิวินาที ซึ่งเป็นมาตรวัดที่มีความสำคัญมากขึ้นเมื่อองค์กรนำระบบ AI ไปใช้ในสภาพแวดล้อมที่เผชิญลูกค้า

อุตสาหกรรม AI ที่กว้างขึ้นยังเริ่มรับรู้ว่าโครงสร้างพื้นฐานการอนุมานอาจพัฒนาไปในลักษณะที่แตกต่างจากโครงสร้างพื้นฐานการฝึกอบรม ในขณะที่คลัสเตอร์ GPU ครองช่วงแรกของการขยายตัว AI ที่สร้างสรรค์ การอนุมานมักให้รางวัลแก่สถาปัตยกรรมที่ได้รับการปรับให้เหมาะสมสำหรับแบนด์วิธหน่วยความจำ หน่วงเวลาตอบสนอง เครือข่าย และประสิทธิภาพการใช้พลังงาน มากกว่าการคำนวณโดยตรงเพียงอย่างเดียว

ประสิทธิภาพการใช้พลังงานกลายเป็นจุดศูนย์กลางในการขยายตัวของ AI

หนึ่งในข้อจำกัดที่ใหญ่ที่สุดที่เผชิญกับบริษัทที่มีการขยายตัวขนาดใหญ่และผู้ให้บริการ AI ในคลาวด์คือความต้องการไฟฟ้า โหลดการอนุมาน AI สามารถทำงานต่อเนื่องตลอดล้านๆ คำขอในแต่ละวัน ทำให้ประสิทธิภาพการดำเนินงานมีความสำคัญอย่างยิ่งสำหรับต้นทุนในการใช้งาน

อินฟินีออนได้ขยายตำแหน่งของตนภายในโครงสร้างพื้นฐาน AI ผ่านเทคโนโลยีเซมิคอนดักเตอร์ที่ใช้ซิลิคอน ซิลิคอนคาร์ไบด์ (SiC) และแกลเลียมไนไตรด์ (GaN) บริษัทได้เน้นไปที่การให้บริการชั้นการจัดส่งพลังงานใต้เครื่องเร่งความเร็ว AI และโครงสร้างพื้นฐานเซิร์ฟเวอร์

ความร่วมมือกับดี-เมทริกซ์ สะท้อนถึงวิธีที่บริษัทเซมิคอนดักเตอร์กำลังรวมเข้ากับสตาร์ทอัพเครื่องเร่งความเร็ว AI มากขึ้น ในขณะที่อุตสาหกรรมกำลังมองหาทางเลือกแทนสถาปัตยกรรมที่มี GPU เป็นศูนย์กลางแบบดั้งเดิม

โครงสร้างพื้นฐาน AI กำลังขยายตัวไปไกลกว่า GPU ที่มีแบบดั้งเดิม

ความร่วมมือนี้มาในช่วงเวลาที่มีการทดลองอย่างกว้างขวางในฮาร์ดแวร์ AI จำนวนมากของสตาร์ทอัพกำลังพัฒนาเครื่องเร่งความเร็วที่มีเฉพาะจุดสำหรับการอนุมาน การคำนวณที่มีศูนย์กลางอยู่ที่หน่วยความจำ หรือเครือข่าย AI

ดี-เมทริกซ์ ได้สร้างความแตกต่างให้กับตัวเองผ่านการเน้นไปที่เทคโนโลยีการคำนวณในหน่วยความจำและระบบการอนุมานที่มีหน่วงเวลาต่ำสำหรับ AI ที่สร้างสรรค์ บริษัทได้ขยายกลยุทธ์โครงสร้างพื้นฐานไปไกลกว่าเพียงชิปเครื่องเร่งความเร็ว โดยเน้นไปที่เครือข่าย โครงสร้างพื้นฐานที่สามารถปรับเปลี่ยนได้ และการปรับให้เหมาะสมของระบบเต็มรูปแบบสำหรับคลัสเตอร์การอนุมาน

เมื่อแอปพลิเคชัน AI มีการโต้ตอบและโต้ตอบมากขึ้น ผู้ให้บริการโครงสร้างพื้นฐานคาดว่าจะให้ความสำคัญกับการลดหน่วงเวลาตอบสนอง การลดการบริโภคพลังงาน และการปรับปรุงประสิทธิภาพของระบบในระดับระบบทั้งหมด มากกว่าการมุ่งเน้นไปที่พลังการประมวลผลโดยตรงเพียงอย่างเดียว