ระบบ Cerebras CS-1 ที่รวมเข้ากับซูเปอร์คอมพิวเตอร์ Lassen

การศึกษากรณีใหม่ที่ดำเนินการโดย Cerebras (CBRS ) ในความร่วมมือกับ ห้องปฏิบัติการแห่งชาติ Lawrence Livermore (LLNL) ระบุว่าระบบ Cerebras CS-1 ถูกผสมผสานเข้ากับซูเปอร์คอมพิวเตอร์ Lassen ของ LLNL เพื่อเพิ่มความก้าวหน้าในการจำลองการหลอมรวมนิวเคลียร์

LLNL เป็นห้องปฏิบัติการวิจัยของรัฐบาลกลางในเมือง Livermore รัฐแคลิฟอร์เนีย และได้รับการสนับสนุนหลักจาก National Nuclear Security Administration (NNSA) ของกระทรวงพลังงานสหรัฐฯ ตาม LLNL วัตถุประสงค์ของห้องปฏิบัติการคือการเสริมสร้างความมั่นคงของสหรัฐฯ โดยการพัฒนาและใช้ khoa học เทคโนโลยี และวิศวกรรมระดับโลก

ห้องปฏิบัติการมี National Ignition Facility (NIF) ซึ่งทำการวิจัยการหลอมรวมนิวเคลียร์ด้วยเลเซอร์ที่ทรงพลังที่สุดในโลก โดยที่หนึ่งในอุปสรรคหลักคือการทดลองการกักเก็บความไม่เท่าเทียมกันที่มีค่าใช้จ่ายสูงและใช้เวลานาน ดังนั้นห้องปฏิบัติการจึงดำเนินการทดลองจำลองโดยใช้ซอฟต์แวร์หลายฟิสิกส์ที่เรียกว่า HYDRA บนซูเปอร์คอมพิวเตอร์ Lassen โมเดล HYDRA ได้รับการตรวจสอบความถูกต้องผ่านข้อมูลจากโลกแห่งความเป็นจริงจาก NIF ซึ่งทำให้โมเดลสามารถคาดการณ์ผลลัพธ์ของการทดลองในโลกแห่งความเป็นจริงได้แม่นยำยิ่งขึ้น

ส่วนหนึ่งของโมเดล HYDRA คือการจำลองการเคลื่อนที่ของอะตอมและรังสี ซึ่งเรียกว่า CRETIN ซึ่งสามารถคาดการณ์ได้ว่าอะตอมจะประพฤติตนอย่างไรภายใต้สภาพแวดล้อมที่กำหนด และ CRETIN สามารถแสดงถึงสัดส่วนของการคำนวณทั้งหมดของ HYDRA ได้ถึง 10%

โดยการแทนที่ CRETIN ด้วยโมเดลเครือข่ายประสาทเทียมลึก (DNN) หรือ CRETIN-surrogate นักวิจัยของ LLNL สามารถลดความเข้มข้นในการคำนวณได้

ระบบ Cerebras CS-1

ระบบ Cerebras CS-1 ถูกเลือกโดย LLNL เพื่อใช้ในการทำการอนุมาน CRETIN-surrogate ระบบนี้ถูกผสมผสานเข้ากับซูเปอร์คอมพิวเตอร์ Lassen และใช้เวลาในการติดตั้งน้อยกว่า 20 ชั่วโมง เทคนิคของ Cerebras ติดตั้ง “เปลือกการทำความเย็น” และรางและฮาร์ดแวร์เครื่องมือ

วิศวกรซอฟต์แวร์เครื่องมือการเรียนรู้ของเครื่องทำงานร่วมกับเพื่อนร่วมงานของ LLNL เพื่อเขียน API C ++ ที่ช่วยให้โค้ด HYDRA สามารถเรียกโมเดล CRETIN-surrogate ได้ โมเดลนี้พึ่งพา autoencoder ในการบีบอัดข้อมูลเข้าไปยังการแสดงออกที่มีมิติต่ำกว่า และการประมวลผลโดยโมเดลการคาดการณ์ที่สร้างขึ้นโดยใช้ DJINN ซึ่งเป็นขั้นตอนการเรียนรู้ของเครื่องใหม่

ผลลัพธ์ของการศึกษากรณี

ผลลัพธ์เบื้องต้นแสดงให้เห็นว่าการผสมผสานระหว่างระบบ Lassen และเครื่องเร่งความเร็ว Cerebras มีประสิทธิภาพสูงมาก โดยการเชื่อมต่อระบบ CS-1 เข้ากับเครือข่าย InfiniBand ของ Lassen สามารถทำความเร็วในการส่งสัญญาณได้ถึง 1.2 เทอราบิตต่อวินาที

เนื่องจากมีหน่วยความจำ SRAM 19GB ที่เชื่อมต่อกับแกนประมวลผล AI 400,000 แกน ระบบ CS-1 สามารถรันหลายตัวอย่างของโมเดล DNN ที่ค่อนข้างกะทัดรัดได้แบบขนาน โดยผ่านการผสมผสานระหว่างแบนด์วิธและกำลังการประมวลผล HYDRA สามารถทำการอนุมานได้ 18 ล้านตัวอย่างต่อวินาที

ทั้งหมดนี้หมายความว่า LLNL สามารถดำเนินการทดลองที่ไม่สามารถคำนวณได้ก่อนหน้านี้ด้วยระบบ Cerebras โดยใช้การผสมผสานและการติดตั้งที่ง่าย และมีค่าใช้จ่ายเพียงเศษเสี้ยว

การวิจัยจะเน้นไปที่การควบคุมการจำลองและการให้ข้อมูลเชิงลึกเกี่ยวกับการจำลองในขณะที่กำลังทำงาน ซึ่งช่วยให้นักวิจัยสามารถตรวจสอบและหยุดการทำงานหากการจำลองไม่ได้ผลดี ผลลัพธ์ของการทำงานแต่ละครั้งจะกลายเป็นส่วนหนึ่งของชุดการฝึกอบรมของโมเดล ซึ่งสามารถฝึกอบรมได้อย่างต่อเนื่อง โมเดล “การเรียนรู้เชิงรุก” สามารถสร้างขึ้นได้ และสามารถเพิ่มประสิทธิภาพการทำงานในอนาคตโดยการเลือกพารามิเตอร์และการกำหนดเงื่อนไขขอบเขตเริ่มต้นสำหรับการทดลองครั้งถัดไป