ARIA เลือกเซิร์ฟเวอร์ออปติคัลของ Lumai สำหรับทดสอบการอนุมาน AI ในระดับแร็ก

Lumai กำลังนำฮาร์ดแวร์ AI แบบออปติคัลเข้าสู่การประเมินในรูปแบบใหม่ นั่นคือ ห้องปฏิบัติการทดสอบการอนุมานในระดับขยายขนาด ซึ่งได้รับการสนับสนุนจาก Advanced Research and Invention Agency หรือ ARIA ของสหราชอาณาจักร ห้องปฏิบัติการแห่งนี้มีแผนติดตั้งเซิร์ฟเวอร์ประมวลผลการอนุมาน Lumai Iris เป็นแพลตฟอร์มประมวลผลแบบออปติคัลแพลตฟอร์มแรก เพื่อให้นักวิจัยทดสอบสถาปัตยกรรมนี้ในระดับแร็ก ณ ศูนย์ข้อมูลเชิงพาณิชย์

ห้องปฏิบัติการแห่งนี้ดำเนินงานโดย CommonAI CIC และมีเป้าหมายเพื่อเชื่อมช่องว่างที่ท้าทายสำหรับฮาร์ดแวร์ AI รุ่นใหม่ การแสดงให้เห็นว่าโปรเซสเซอร์รูปแบบใหม่ทำงานได้เป็นเรื่องหนึ่ง แต่อีกเรื่องคือการทำให้โปรเซสเซอร์ดังกล่าวทำงานเป็นส่วนหนึ่งของระบบที่ผสานรวมกัน โดยใช้โมเดลจริงและเป็นไปตามข้อกำหนดทั่วไปด้านพลังงาน การระบายความร้อน และแร็ก

ประกาศนี้ต่อยอดจากการ เปิดตัว Iris Nova ในเดือนเมษายน ขั้นตอนใหม่นี้เป็นการประเมินระบบหลายโหนดผ่านแท่นทดสอบที่ได้รับการสนับสนุนจากภาครัฐ ไม่ใช่การเผยแพร่ผลเบนช์มาร์กที่ผ่านการตรวจสอบอย่างเป็นอิสระและสมบูรณ์เพื่อยืนยันคำกล่าวอ้างด้านประสิทธิภาพที่โดดเด่นของ Lumai

ใช้แสงคำนวณเมทริกซ์

Lumai ซึ่งเป็นบริษัทแยกตัวจากมหาวิทยาลัยอ็อกซ์ฟอร์ด ก่อตั้งขึ้นในปี 2021 และพัฒนาสถาปัตยกรรมแบบไฮบริดที่ผสานระบบออปติคัลกับดิจิทัล เครื่องยนต์ประมวลผลแบบออปติคัลของบริษัทมุ่งจัดการการคำนวณทางคณิตศาสตร์จำนวนมากที่ใช้ในการอนุมาน AI ขณะที่ส่วนประกอบอิเล็กทรอนิกส์ยังคงทำหน้าที่จัดการฟังก์ชันอื่น ๆ ของระบบ

ตาม คำอธิบายทางเทคนิค ของบริษัท ข้อมูลจะถูกเข้ารหัสลงในลำแสงและประมวลผลผ่านส่วนประกอบออปติคัลในปริภูมิสามมิติ เป้าหมายคือดำเนินการคำนวณทางคณิตศาสตร์จำนวนมากพร้อมกันผ่านการเคลื่อนที่ของแสง แทนที่จะคำนวณทุกอย่างด้วยการสลับสถานะของทรานซิสเตอร์

แต่นั่นไม่ได้หมายความว่าเซิร์ฟเวอร์ทั้งระบบจะทำงานแบบพาสซีฟหรือไม่ใช้พลังงาน ระบบโดยรวมยังต้องใช้แหล่งกำเนิดแสง การแปลงข้อมูล หน่วยความจำ การประมวลผลดิจิทัล และระบบควบคุม คำถามสำคัญทางวิศวกรรมคือ เมื่อใช้งานโมเดลที่มีประโยชน์จริง ประสิทธิภาพด้านพลังงานของเครื่องยนต์ออปติคัลจะยังคงเหลืออยู่มากน้อยเพียงใด หลังหักต้นทุนขององค์ประกอบแวดล้อมเหล่านี้

Lumai ระบุว่าสถาปัตยกรรมนี้มีอินเทอร์เฟซข้อมูลแบนด์วิดท์สูง ซึ่งออกแบบมาเพื่อกระจายภาระจากการแปลงข้อมูลไปทั่วเวิร์กโหลดขนาดใหญ่ มีโครงสร้างหน่วยความจำสามระดับสำหรับแคชคีย์-แวลูของโมเดล และมีการควอนไทซ์ที่คำนึงถึงฮาร์ดแวร์ สิ่งเหล่านี้เป็นองค์ประกอบเชิงปฏิบัติของสถาปัตยกรรม เพราะการเคลื่อนย้ายข้อมูล การรักษาความแม่นยำเชิงตัวเลขให้อยู่ในระดับที่ใช้งานได้ และการป้อนงานให้ตัวเร่งประมวลผลอย่างต่อเนื่อง ล้วนส่งผลต่อประสิทธิภาพนอกเหนือจากการสาธิตในห้องปฏิบัติการ

เหตุใด Lumai จึงมุ่งเน้นการประมวลผลช่วงพรีฟิล

การอนุมานของโมเดลภาษาขนาดใหญ่มีสองช่วงที่แตกต่างกัน ในช่วงพรีฟิล ระบบจะประมวลผลอินพุตและสร้างสถานะภายในที่จำเป็นต่อการสร้างคำตอบ ส่วนช่วงถอดรหัส ระบบจะสร้างโทเค็นผลลัพธ์ทีละขั้น โดยเข้าถึงค่าน้ำหนักของโมเดลและบริบทที่แคชไว้ซ้ำ ๆ

การประมวลผลช่วงพรีฟิลมักใช้การดำเนินการเมทริกซ์ขนาดใหญ่เป็นหลัก ขณะที่การถอดรหัสอาจถูกจำกัดด้วยแบนด์วิดท์หน่วยความจำ โดยเฉพาะเมื่อใช้ขนาดแบตช์เล็ก สัดส่วนภาระงานระหว่างสองช่วงนี้เปลี่ยนแปลงไปตามขนาดโมเดล ความยาวพรอมต์ การจัดกลุ่มแบตช์ และการกำหนดค่าระบบให้บริการ แนวทางของ Lumai คือการมุ่งเฉพาะช่วงที่ใช้การคำนวณหนัก แทนการปรับแต่งกระบวนการทั้งหมดด้วยโปรเซสเซอร์ชนิดเดียว

เอกสารผลิตภัณฑ์ Iris ระบุตำแหน่งของตัวเร่งประมวลผลแบบออปติคัลไว้ในระบบประมวลผลแบบผสมผสาน ซึ่งรวมถึงการใช้งานเป็นโปรเซสเซอร์สำหรับช่วงพรีฟิลควบคู่กับฮาร์ดแวร์ที่ปรับแต่งมาสำหรับการถอดรหัส Lumai ระบุว่า Iris Nova รองรับโมเดล Llama ที่มีพารามิเตอร์ 8 พันล้านและ 70 พันล้านรายการ และพร้อมให้ประเมินในศูนย์ข้อมูล ผลิตภัณฑ์ตระกูลนี้ออกแบบมาสำหรับโครงสร้างพื้นฐานแร็กมาตรฐานและการระบายความร้อนด้วยอากาศ

เซียนซิน กัว ผู้ร่วมก่อตั้งและซีอีโอของ Lumai กล่าวว่า “การใช้งานระบบหลายโหนดในศูนย์ข้อมูลเชิงพาณิชย์เป็นจุดที่สถาปัตยกรรมการประมวลผลใหม่ต้องพิสูจน์ว่าพร้อมสำหรับการนำไปใช้งานจริงหรือไม่” โครงการของ ARIA ทำให้ประเด็นการผสานรวมระบบนี้เป็นหัวใจสำคัญของระยะถัดไป

แท่นทดสอบระบบครบวงจร

ARIA เป็นหน่วยงานของรัฐในสหราชอาณาจักรที่ให้ทุนสนับสนุนด้านการวิจัยและพัฒนา โดยสนับสนุนเทคโนโลยีที่มีความทะเยอทะยานและมีศักยภาพสร้างประโยชน์ต่อสังคม โครงการ Scaling Compute ของหน่วยงานนี้สำรวจทางเลือกอื่นนอกเหนือจากแนวทางการประมวลผลที่ใช้กันมายาวนาน ซึ่งรวมถึงหน่วยคำนวณรูปแบบใหม่ ระบบเครือข่าย และการออกแบบระบบ

ห้องปฏิบัติการทดสอบการอนุมานในระดับขยายขนาดได้รับเงินสนับสนุน 50 ล้านปอนด์จาก ARIA โดย ARIA อธิบายว่าโครงการนี้ประกอบด้วยโครงการนำร่องระดับแร็กที่มีโครงสร้างชัดเจนหลายโครงการ แต่ละโครงการนำเทคโนโลยีที่ยังไม่ผ่านการพิสูจน์มาผสานเป็นระบบที่พร้อมนำไปใช้งาน ซึ่งผู้ใช้ปลายทางสามารถใช้รันโมเดลได้ เป้าหมายคือเปรียบเทียบประสิทธิภาพของระบบโดยรวมกับทางเลือกเชิงพาณิชย์ และปรับปรุงอย่างรวดเร็ว โดยมีแผนติดตั้งแร็กใหม่ทุกหกเดือน

CommonAI ซึ่งเป็นองค์กรสมาชิกไม่แสวงหากำไรที่ตั้งอยู่ในเคมบริดจ์และเป็นผู้ดำเนินงานห้องปฏิบัติการแห่งนี้ รวบรวมบริษัท หน่วยงานภาครัฐ และผู้เข้าร่วมจากแวดวงวิชาการมาร่วมกันพัฒนาด้านวิศวกรรม แผนงานของโครงการระบุว่าจะมีระบบระดับแร็กมากกว่าห้าระบบ และเน้นการตรวจสอบความถูกต้องโดยหน่วยงานอิสระ เพื่อช่วยให้ฮาร์ดแวร์รุ่นใหม่แสดงประสิทธิภาพการทำงานจริงได้

โครงสร้างเช่นนี้มีความสำคัญ เพราะตัวเร่งประมวลผลอาจทำงานได้ดีในการดำเนินการแยกส่วน แต่ให้ประโยชน์ลดลงเมื่อรวมการเคลื่อนย้ายข้อมูล การจัดตารางงาน การรองรับซอฟต์แวร์ และส่วนอื่น ๆ ของกระบวนการให้บริการทั้งหมดเข้าไปด้วย สภาพแวดล้อมทดสอบที่ใช้ร่วมกันช่วยให้มองเห็นได้ทั้งข้อได้เปรียบและคอขวด

คำกล่าวอ้างด้านประสิทธิภาพพลังงานบอกอะไรได้บ้าง—และบอกอะไรไม่ได้บ้าง

Lumai ระบุว่าสถาปัตยกรรมนี้มีศักยภาพที่จะลดการใช้พลังงานของศูนย์ข้อมูลได้สูงสุด 90% และลดต้นทุนรวมในการเป็นเจ้าของให้เหลือประมาณหนึ่งในสิบของสถาปัตยกรรม GPU แบบดั้งเดิม เว็บไซต์ของบริษัทอธิบายแผนพัฒนาที่มุ่งเพิ่มประสิทธิภาพให้สูงขึ้น 50 เท่า ส่วนข่าวประชาสัมพันธ์รายงานแยกต่างหากว่า เมื่อจับคู่การเติมข้อมูลล่วงหน้าด้วยระบบออปติคัลกับการถอดรหัสด้วยซิลิคอน ประสิทธิภาพด้านพลังงานต่อการอนุมานหนึ่งครั้งจะดีขึ้นอย่างน้อย 16 เท่า

ตัวเลขเหล่านี้มาจากการเปรียบเทียบคนละแบบ จึงไม่ควรถือว่าเป็นมาตรวัดที่ใช้แทนกันได้ หรือเป็นผลลัพธ์ที่ ARIA ตรวจสอบยืนยันโดยอิสระแล้ว ประกาศดังกล่าวไม่ได้ให้รายละเอียดการกำหนดค่ามาตรฐานทดสอบร่วมกัน การเปรียบเทียบคุณภาพของโมเดล หรือชุดผลการทดสอบระดับแร็กที่เผยแพร่แล้ว ซึ่งจะยืนยันได้ว่าประสิทธิภาพที่เพิ่มขึ้นนั้นเกิดขึ้นกับงานเชิงพาณิชย์ในวงกว้าง

ดังนั้น การประเมินของห้องปฏิบัติการจึงเป็นความคืบหน้าสำคัญ การวัดผลที่เป็นประโยชน์ควรรวมถึงพลังงานที่ใช้ต่อคำขอที่ประมวลผลเสร็จ เวลาจนได้โทเคนแรก อัตราการสร้างผลลัพธ์ที่ทำได้อย่างต่อเนื่อง ความแม่นยำของโมเดล และค่าใช้จ่ายในการเดินระบบทั้งหมด การเปรียบเทียบอย่างมีความหมายจำเป็นต้องใช้โมเดลเดียวกัน ความยาวบริบทเดียวกัน สมมติฐานเกี่ยวกับการประมวลผลเป็นชุดเดียวกัน และข้อกำหนดด้านบริการเดียวกัน

สำหรับความมุ่งหมายของสหราชอาณาจักรที่จะขยายขีดความสามารถด้าน AI ภายในประเทศภายใต้งบประมาณพลังงานที่จำกัด ระบบออปติคัลที่ประสบความสำเร็จอาจเป็นทางเลือกด้านการประมวลผลอีกแบบหนึ่ง การนำระบบของ Lumai ไปใช้งานเป็นก้าวหนึ่งสู่การทดสอบความเป็นไปได้นี้ในสภาพแวดล้อมเชิงพาณิชย์ ข้อได้เปรียบของระบบจะช่วยลดต้นทุนการให้บริการเมื่อใช้งานในวงกว้างได้หรือไม่นั้น ขึ้นอยู่กับหลักฐานจากการประเมินระบบโดยรวม