แอนดรูว์ เฟลด์แมน ผู้ร่วมก่อตั้งและซีอีโอของ Cerebras Systems – สัมภาษณ์ ซีรีส์

แอนดรูว์ เป็นผู้ร่วมก่อตั้งและซีอีโอของ Cerebras Systems (CBRS ) เขาเป็นผู้ประกอบการที่มุ่งมั่นที่จะผลักดันขอบเขตในพื้นที่การคำนวณ ก่อนที่จะเข้าร่วม Cerebras เขาได้ร่วมก่อตั้งและดำรงตำแหน่งซีอีโอของ SeaMicro ซึ่งเป็นผู้บุกเบิกไมโครเซิร์ฟเวอร์ที่มีประสิทธิภาพสูงและใช้พลังงานต่ำ SeaMicro ถูกซื้อโดย AMD ในปี 2012 ด้วยมูลค่า 357 ล้านดอลลาร์ ก่อนที่จะเข้าร่วม SeaMicro แอนดรูว์曾ดำรงตำแหน่งรองประธานฝ่ายจัดการผลิตภัณฑ์ การตลาด และพัฒนาธุรกิจที่ Force10 Networks ซึ่งถูกขายให้กับ Dell Computing ด้วยมูลค่า 800 ล้านดอลลาร์ ก่อนที่จะเข้าร่วม Force10 Networks แอนดรูว์曾ดำรงตำแหน่งรองประธานฝ่ายการตลาดและการพัฒนาธุรกิจที่ RiverStone Networks ตั้งแต่เริ่มก่อตั้งจนถึงการเสนอขายหุ้นแก่ประชาชนทั่วไป (IPO) ในปี 2001 แอนดรูว์เป็นเจ้าของปริญญาตรีและปริญญาโทจากมหาวิทยาลัยสแตนฟอร์ด

Cerebras Systems กำลังสร้างระบบคอมพิวเตอร์ใหม่ที่ได้รับการออกแบบมาจากหลักการเพื่อเพิ่มประสิทธิภาพของ AI และเปลี่ยนแปลงอนาคตของงาน AI

คุณสามารถแบ่งปันเรื่องราวเกี่ยวกับการก่อตั้ง Cerebras Systems ได้หรือไม่?

ผู้ร่วมก่อตั้งและฉันเคยทำงานร่วมกันที่สตาร์ทอัพก่อนหน้านี้ที่ฉันและ CTO Gary ของฉันเริ่มต้นในปี 2007 ซึ่งเรียกว่า SeaMicro (ซึ่งถูกขายให้กับ AMD ในปี 2012 ด้วยมูลค่า 334 ล้านดอลลาร์) ผู้ร่วมก่อตั้งของฉันคือหนึ่งในสถาปนิกคอมพิวเตอร์และวิศวกรชั้นนำในอุตสาหกรรม – Gary Lauterbach, Sean Lie, JP Fricker และ Michael James เมื่อเรารวมตัวกันอีกครั้งในปี 2015 เราเขียนสองสิ่งนี้บนกระดานขาว – ว่าเราต้องการทำงานร่วมกัน และว่าเราต้องการสร้างบางสิ่งที่จะเปลี่ยนแปลงอุตสาหกรรมและอยู่ในพิพิธภัณฑ์ประวัติศาสตร์คอมพิวเตอร์ ซึ่งเป็นเหมือนหอเกียรติยศคอมพิวเตอร์ เรารู้สึกเป็นเกียรติเมื่อพิพิธภัณฑ์ประวัติศาสตร์คอมพิวเตอร์ยอมรับการบรรลุผลของเราและเพิ่ม WSE-2 processor เข้าไปในคอลเลกชันของพวกเขาเมื่อปีที่แล้ว โดยอ้างถึงว่ามันเปลี่ยนแปลงภูมิทัศน์ของ AI

Cerebras Systems เป็นทีมของสถาปนิกคอมพิวเตอร์ผู้บุกเบิก นักวิทยาศาสตร์คอมพิวเตอร์ นักวิจัยการเรียนรู้ลึก และวิศวกรทุกประเภทที่รักการทำวิศวกรรมที่ไม่กลัวความเสี่ยง วัตถุประสงค์ของเราคือการสร้างคอมพิวเตอร์ใหม่เพื่อเพิ่มประสิทธิภาพการเรียนรู้ลึก ซึ่งเป็นหนึ่งในงานที่สำคัญที่สุดในยุคของเรา

เรารู้ว่าการเรียนรู้ลึกมีข้อกำหนดการคำนวณที่มีขนาดใหญ่และเติบโตอย่างรวดเร็ว และไม่เหมาะสมกับเครื่องจักรที่มีอยู่ เช่น GPU ซึ่งถูกออกแบบมาเพื่องานอื่น ๆ ดังนั้น AI ในปัจจุบันจึงถูกจำกัดไม่ใช่โดยแอปพลิเคชันหรือความคิด แต่โดยความพร้อมของการคำนวณ การทดสอบสมมติฐานใหม่เพียงอย่างเดียว – การฝึกโมเดลใหม่ – สามารถใช้เวลาหลายวัน สัปดาห์ หรือแม้กระทั่งหลายเดือน และมีค่าใช้จ่ายหลายแสนดอลลาร์ในเวลาในการคำนวณ ซึ่งเป็นอุปสรรคสำคัญต่อนวัตกรรม

ดังนั้นจุดเริ่มต้นของ Cerebras คือการสร้างคอมพิวเตอร์ประเภทใหม่ที่ได้รับการปรับให้เหมาะสมเฉพาะสำหรับการเรียนรู้ลึก โดยเริ่มต้นจากกระดาษเปล่า เพื่อตอบสนองความต้องการการคำนวณที่มากของการเรียนรู้ลึก เราได้ออกแบบและผลิตชิปที่ใหญ่ที่สุดเท่าที่เคยสร้างมา – Wafer-Scale Engine (WSE) ในการสร้างโปรเซสเซอร์ขนาดวาฟเฟอร์ระดับโลกเป็นครั้งแรก เราได้เอาชนะความท้าทายในด้านการออกแบบ การผลิต และการบรรจุภัณฑ์ – ทั้งหมดนี้เคยถือว่าเป็นไปไม่ได้ตลอด 70 ปีของประวัติศาสตร์คอมพิวเตอร์ ทุกองค์ประกอบของ WSE ได้รับการออกแบบเพื่อช่วยให้การวิจัยการเรียนรู้ลึกสามารถทำงานได้ด้วยความเร็วและขนาดที่ไม่เคยเห็นมาก่อน โดยให้พลังงานแก่ซูเปอร์คอมพิวเตอร์ AI ที่เร็วที่สุดในอุตสาหกรรม – Cerebras CS-2

ด้วยการปรับให้เหมาะสมทุกส่วนสำหรับงาน AI CS-2 มอบประสิทธิภาพการคำนวณที่มากกว่าในพื้นที่และพลังงานที่น้อยกว่าระบบอื่นใด โดยลดความซับซ้อนของการเขียนโปรแกรม เวลาในการคำนวณ และเวลาที่ใช้ในการแก้ปัญหา ขึ้นอยู่กับงาน CS-2 สามารถมอบประสิทธิภาพที่มากกว่าหลายร้อยหรือหลายพันเท่าเมื่อเทียบกับตัวเลือกที่มีอยู่ CS-2 ให้ทรัพยากรการคำนวณการเรียนรู้ลึกที่เทียบเท่ากับหลายร้อย GPU ในขณะเดียวกันก็มอบความง่ายในการเขียนโปรแกรม การจัดการ และการนำไปใช้งานของอุปกรณ์เดียว

ในช่วงหลายเดือนที่ผ่านมา Cerebras ดูเหมือนจะอยู่ทุกที่ใน ข่าว คุณสามารถบอกเราเกี่ยวกับซูเปอร์คอมพิวเตอร์ AI ใหม่ Andromeda ได้หรือไม่?

เรารายงาน Andromeda ในเดือนพฤศจิกายนของปีที่แล้ว และเป็นหนึ่งในซูเปอร์คอมพิวเตอร์ AI ที่ใหญ่ที่สุดและทรงพลังที่สุดเท่าที่เคยสร้างมา โดยมีการคำนวณ AI มากกว่า 1 Exaflop และการคำนวณที่หนาแน่น 120 Petaflops Andromeda มี 13.5 ล้านคอร์ข้าม 16 ระบบ CS-2 และเป็นซูเปอร์คอมพิวเตอร์ AI เพียงระบบเดียวที่แสดงการปรับขนาดเชิงเส้นเกือบสมบูรณ์สำหรับงานโหลดแบบจำลองภาษาขนาดใหญ่ นอกจากนี้ยังใช้งานง่ายมาก

เพื่อเตือนความจำ ซูเปอร์คอมพิวเตอร์ที่ใหญ่ที่สุดในโลก – Frontier – มี 8.7 ล้านคอร์ ในจำนวนคอร์ขั้นต่ำ Andromeda มีขนาดใหญ่กว่าหนึ่งครึ่งเท่า มันทำงานที่แตกต่าง แต่นี่ทำให้เราได้เห็นภาพขนาด: เกือบ 100 เทอราไบต์ของแบนด์วิธภายใน และเกือบ 20,000 คอร์ AMD Epyc ที่ให้อาหารมัน – และไม่เหมือนกับซูเปอร์คอมพิวเตอร์ยักษ์ที่ใช้เวลาหลายปีในการตั้งค่า – เราตั้งค่า Andromeda ในสามวัน และทันทีหลังจากนั้น มันเริ่มให้ผลลัพธ์ที่มีการปรับขนาดเชิงเส้นเกือบสมบูรณ์ของ AI

Argonne National Labs เป็นลูกค้าแรกของเราในการใช้ Andromeda และพวกเขานำไปใช้กับปัญหาที่ทำให้คลัสเตอร์ 2,000 GPU ของพวกเขาเรียกว่า Polaris ปัญหาเกี่ยวข้องกับการทำงานแบบจำลอง GPT-3XL ที่สร้างขึ้นซึ่งวางทั้งจีโนม Covid ในหน้าต่างลำดับ ดังนั้นจึงสามารถวิเคราะห์ยีนแต่ละยีนในบริบทของจีโนม Covid ทั้งหมด Andromeda ทำงานโหลดพันธุกรรมที่ไม่เหมือนใครพร้อมความยาวลำดับยาว (MSL ของ 10K) ข้าม 1, 2, 4, 8 และ 16 โหนด โดยมีการปรับขนาดเชิงเส้นเกือบสมบูรณ์ การปรับขนาดเชิงเส้นเป็นหนึ่งในคุณลักษณะที่ต้องการมากที่สุดของคลัสเตอร์ขนาดใหญ่ Andromeda มอบผลผลิต 15.87 เท่าข้าม 16 ระบบ CS-2 เมื่อเทียบกับ CS-2 เดียว และการลดเวลาในการฝึกอบรมให้ตรงกัน

คุณสามารถบอกเราเกี่ยวกับการร่วมมือกับ Jasper ที่เปิดเผยในปลายเดือนพฤศจิกายนและหมายถึงอะไรสำหรับทั้งสองบริษัท?

Jasper เป็นบริษัทที่น่าสนใจมาก พวกเขาเป็นผู้นำในด้านเนื้อหาการสร้างสรรค์ AI สำหรับการตลาด และผลิตภัณฑ์ของพวกเขาถูกใช้โดยลูกค้ามากกว่า 100,000 รายทั่วโลกเพื่อเขียนคัดลอกสำหรับการตลาด โฆษณา หนังสือ และอื่น ๆ มันเป็นช่องทางที่น่าตื่นเต้นและเติบโตอย่างรวดเร็วในขณะนี้ ปีที่แล้ว เราประกาศการร่วมมือกับพวกเขาเพื่อเร่งการนำ AI ที่สร้างสรรค์ไปใช้และปรับปรุงความแม่นยำของ AI ที่สร้างสรรค์สำหรับแอปพลิเคชันระดับองค์กรและผู้บริโภค Jasper ใช้ซูเปอร์คอมพิวเตอร์ Andromeda ของเราในการฝึกโมเดลที่ต้องใช้การคำนวณอย่างมากในเวลาที่สั้นกว่ามาก ซึ่งจะขยายการเข้าถึงโมเดล AI ที่สร้างสรรค์ไปสู่มวลชน

ด้วยพลังของซูเปอร์คอมพิวเตอร์ Andromeda ของ Cerebras Jasper สามารถพัฒนางาน AI ได้อย่างมาก รวมถึงการฝึกโมเดล GPT เพื่อให้เหมาะกับผลลัพธ์ AI ที่มีความซับซ้อนทุกระดับและรายละเอียด นี่จะปรับปรุงความแม่นยำของบริบทของโมเดลที่สร้างสรรค์ และจะทำให้ Jasper สามารถสร้างเนื้อหาที่เป็นส่วนตัวสำหรับลูกค้าหลายประเภทได้อย่างรวดเร็วและง่ายดาย

การร่วมมือของเราช่วยให้ Jasper สามารถคิดค้นอนาคตของ AI ที่สร้างสรรค์ได้ โดยการทำสิ่งที่ไม่เหมาะสมหรือเป็นไปไม่ได้กับโครงสร้างพื้นฐานแบบดั้งเดิม และเพื่อเร่งความเป็นไปได้ของ AI ที่สร้างสรรค์ โดยนำผลประโยชน์ของมันไปสู่ฐานลูกค้าที่เติบโตอย่างรวดเร็วทั่วโลก

ใน การแถลงข่าว ล่าสุด National Energy Technology Laboratory และ Pittsburgh Supercomputing Center Pioneer ประกาศการจำลองการพลศาสตร์ของไหลเชิงคำนวณครั้งแรกบน Wafer-Scale Engine ของ Cerebras คุณสามารถอธิบายได้ว่า Wafer-Scale Engine คืออะไรและทำงานอย่างไร?

Wafer-Scale Engine (WSE) ของเราคือโปรเซสเซอร์ AI ใหม่ที่ใช้สำหรับระบบคอมพิวเตอร์เรียนรู้ลึกของเรา – CS-2 ไม่เหมือนกับโปรเซสเซอร์ทั่วไป WSE ถูกสร้างขึ้นจากพื้นฐานเพื่อเร่งการเรียนรู้ลึก: มี 850,000 คอร์ที่ได้รับการปรับให้เหมาะสมสำหรับการดำเนินการเทนเซอร์แบบกระจาย ความจำบนชิปที่มีแบนด์วิธสูง และการเชื่อมต่อที่เร็วกว่าคลัสเตอร์แบบดั้งเดิมหลายอันดับ เมื่อรวมกันแล้ว มันให้ทรัพยากรการคำนวณการเรียนรู้ลึกที่เทียบเท่ากับคลัสเตอร์ของเครื่องจักรที่มีอยู่ทั้งหมดในอุปกรณ์เดียว โดยง่ายต่อการเขียนโปรแกรมเหมือนโหนดเดียว – ลดความซับซ้อนของการเขียนโปรแกรม เวลาในการคำนวณ และเวลาที่ใช้ในการแก้ปัญหาอย่างมาก

WSE-2 รุ่นที่สองของเรา ซึ่งให้พลังงานแก่ระบบ CS-2 ของเรา สามารถแก้ปัญหาได้อย่างรวดเร็ว มากพอที่จะช่วยให้ได้รับแบบจำลองที่มีคุณภาพสูงและแบบเรียลไทม์ของระบบที่ได้รับการออกแบบ มันเป็นตัวอย่างที่หายากของ “การปรับขนาดที่เข้มข้น” ซึ่งเป็นการใช้แบบขนานเพื่อลดเวลาในการแก้ปัญหาโดยมีขนาดปัญหาแบบคงที่

และนั่นคือสิ่งที่ National Energy Technology Laboratory และ Pittsburgh Supercomputing Center กำลังใช้มันเพื่อ เราเพิ่งประกาศผลลัพธ์ที่น่าตื่นเต้นของการจำลองการพลศาสตร์ของไหลเชิงคำนวณ (CFD) ซึ่งประกอบด้วยประมาณ 200 ล้านเซลล์ ในอัตราเกือบเรียลไทม์ วิดีโอนี้ แสดงการจำลองที่มีความละเอียดสูงของการไหลของไหลแบบเรย์ลีย์-เบอนาร์ด ซึ่งเกิดขึ้นเมื่อชั้นของไหลถูกทำให้ร้อนจากด้านล่างและเย็นจากด้านบน การไหลของไหลเหล่านี้เกิดขึ้นทุกที่ – ตั้งแต่วันที่มีลม ไปจนถึงพายุฝนฟ้าคะนอง ไปจนถึงกระแสน้ำมagma ในแก่นกลางของโลกและพลาสม่าในดวงอาทิตย์

คุณสามารถบอกเราเกี่ยวกับประเภทของข้อมูลที่กำลังถูกจำลองได้หรือไม่?

งานที่ทดสอบคือการไหลของไหลที่ขับเคลื่อนด้วยความร้อน ซึ่งเป็นการใช้งานของการพลศาสตร์ของไหลเชิงคำนวณ (CFD) การไหลของไหลเกิดขึ้นตามธรรมชาติทุกที่ – ตั้งแต่วันที่มีลม ไปจนถึงพายุฝนฟ้าคะนอง ไปจนถึงการเคลื่อนที่ของแผ่นธรณีภาค มีการจำลองนี้ซึ่งประกอบด้วยประมาณ 200 ล้านเซลล์ มุ่งเน้นไปที่ปรากฏการณ์ที่เรียกว่า “การไหลของไหลแบบเรย์ลีย์-เบอนาร์ด” ซึ่งเกิดขึ้นเมื่อไหลถูกทำให้ร้อนจากด้านล่างและเย็นจากด้านบน ในธรรมชาติ ปรากฏการณ์นี้สามารถนำไปสู่เหตุการณ์สภาพอากาศรุนแรง เช่น การพายุฝนฟ้าคะนอง การพายุฝนฟ้าคะนองขนาดเล็ก และการเคลื่อนที่ของแผ่นธรณีภาค

ในเดือนพฤศจิกายน 2022 NETL ได้แนะนำ API การสร้างแบบจำลองสมการสนามใหม่ ซึ่งได้รับการขับเคลื่อนโดยระบบ CS-2 ซึ่งเร็วกว่าที่เป็นไปได้บนซูเปอร์คอมพิวเตอร์ Joule ของ NETL ถึง 470 เท่า ซึ่งหมายความว่ามันสามารถให้ความเร็วที่มากกว่าที่คลัสเตอร์ของ CPU หรือ GPU ใดๆ สามารถทำได้ โดยใช้ API Python ที่เรียบง่ายซึ่งทำให้สามารถประมวลผลขนาดวาฟเฟอร์ได้สำหรับวิทยาศาสตร์คำนวณส่วนใหญ่ WFA มอบการปรับปรุงประสิทธิภาพและความสามารถในการใช้งานที่ไม่สามารถทำได้บนคอมพิวเตอร์และซูเปอร์คอมพิวเตอร์แบบดั้งเดิม – แท้จริงแล้วมันเอาชนะ OpenFOAM บนซูเปอร์คอมพิวเตอร์ Joule 2.0 ของ NETL มากกว่าสองอันดับในเวลาที่ใช้ในการแก้ปัญหา

เนื่องจากความเรียบง่ายของ API WFA ผลลัพธ์เหล่านี้ได้รับการบรรลุในเวลาเพียงไม่กี่สัปดาห์ และยังคงความร่วมมืออย่างใกล้ชิดระหว่าง NETL, PSC และ Cerebras Systems

โดยการเปลี่ยนแปลงความเร็วของ CFD (ซึ่งเป็นงานที่ช้าและทำงานนอกสาย) บน WSE ของเรา เราสามารถเปิดใช้งานกรณีการใช้งานใหม่ ๆ ที่มีความเร็วจริงสำหรับสิ่งนี้และหลายแอปพลิเคชัน HPC หลักอื่น ๆ วัตถุประสงค์ของเราคือการทำให้ลูกค้าสามารถทำการทดลองได้มากขึ้นและคิดค้นวิทยาศาสตร์ที่ดีกว่า ผู้อำนวยการแล็บ NETL Brian Anderson บอกเราว่ามันจะเร่งและปรับปรุงกระบวนการออกแบบสำหรับโครงการใหญ่ ๆ ที่ NETL กำลังทำงานอยู่เกี่ยวกับการบรรเทาเปลี่ยนแปลงสภาพภูมิอากาศและการรับประกันอนาคตพลังงานที่ปลอดภัย – โครงการ เช่น การดักจับคาร์บอนและการผลิตไฮโดรเจนสีน้ำเงิน

Cerebras มักจะเอาชนะคู่แข่งเมื่อพูดถึงการเปิดตัวซูเปอร์คอมพิวเตอร์ อะไรคือความท้าทายหลักที่อยู่เบื้องหลังการสร้างซูเปอร์คอมพิวเตอร์ที่มีคุณภาพสูงสุด?

ในทางกลับกัน หนึ่งในความท้าทายที่ยากที่สุดของ AI ที่ใหญ่คือไม่ใช่ AI แต่เป็นการคำนวณแบบกระจาย

ในการฝึกโมเดล AI ที่มีคุณภาพสูงสุดในปัจจุบัน นักวิจัยมักใช้ GPU หลายร้อยถึงหลายพันเครื่อง และไม่ใช่เรื่องที่ง่าย การกระจายการฝึกโมเดลภาษาขนาดใหญ่ข้ามคลัสเตอร์ของ GPU ต้องการการกระจายงานข้ามอุปกรณ์ขนาดเล็ก การจัดการขนาดและแบนด์วิธของหน่วยความจำ และการจัดการการสื่อสารและความซับซ้อนของการซิงโครไนซ์อย่างรอบคอบ

เรามีการเข้าถึงที่แตกต่างในการออกแบบซูเปอร์คอมพิวเตอร์ของเราผ่านการพัฒนา Cerebras Wafer-Scale Cluster และโหมดการดำเนินการ Cerebras Weight Streaming ด้วยเทคโนโลยีเหล่านี้ Cerebras จัดการกับการปรับขนาดใหม่ตามสามจุดหลัก:

การแทนที่การประมวลผล CPU และ GPU ด้วยเครื่องเร่งความเร็วขนาดวาฟเฟอร์ เช่น ระบบ Cerebras CS-2 ซึ่งลดจำนวนหน่วยคำนวณที่จำเป็นในการบรรลุความเร็วที่ยอมรับได้

เพื่อตอบสนองความท้าทายของขนาดโมเดล เราใช้สถาปัตยกรรมระบบที่แยกการคำนวณออกจากการจัดเก็บโมเดล บริการคำนวณที่ขึ้นอยู่กับคลัสเตอร์ของระบบ CS-2 (ซึ่งให้แบนด์วิธการคำนวณที่เพียงพอ) ถูกเชื่อมต่อกับบริการหน่วยความจำ (ที่มีความจุหน่วยความจำขนาดใหญ่) ที่ให้เซตย่อยของโมเดลแก่คลัสเตอร์การคำนวณตามความต้องการ ในทำนองเดียวกัน บริการข้อมูลจะให้แบตช์ของข้อมูลฝึกอบรมแก่บริการคำนวณตามความจำเป็น

แบบจำลองใหม่สำหรับการจัดตารางและการประสานงานของงานฝึกอบรมข้ามคลัสเตอร์ CS-2 ที่ใช้ขนานข้อมูล การฝึกอบรมชั้นละชั้นพร้อมกับการสตรีมเวทที่กระจายออกไป และการรักษาการกระตุ้นในบริการคำนวณ

มีความกลัวเกี่ยวกับการสิ้นสุดของกฎของมัวร์มาเกือบหนึ่งทศวรรษแล้ว คุณคิดว่าอุตสาหกรรมจะบีบอัดได้อีกกี่ปี และอะไรคือนวัตกรรมที่จำเป็นสำหรับสิ่งนี้?

ฉันคิดว่าคำถามที่เราทุกคนต้องเผชิญคือว่ากฎของมัวร์ – ตามที่เขียนโดยมัวร์ – ตายแล้วหรือไม่ มันไม่ใช่สองปีในการได้รับทรานซิสเตอร์มากขึ้น มันใช้เวลาสี่หรือห้าปี และทรานซิสเตอร์เหล่านั้นไม่ได้มาในราคาเดียวกัน – มันมาในราคาแพงกว่ามาก คำถามกลายเป็นว่าเรายังคงได้รับประโยชน์เหมือนเดิมจากการย้ายจาก 7 นาโนเมตรไป 5 นาโนเมตรหรือไม่ ประโยชน์เล็กลงและราคาแพงกว่า และดังนั้นการแก้ปัญหาจึงซับซ้อนกว่าการแก้ปัญหาเพียงชิป

Jack Dongarra นักออกแบบคอมพิวเตอร์ชั้นนำให้การบรรยายและกล่าวว่า “เราดีขึ้นมากในการทำฟลอปและทำ I/O” ซึ่งเป็นเรื่องจริง ความสามารถของเราในการย้ายข้อมูลออกจากชิปล้าหลังความสามารถในการเพิ่มประสิทธิภาพบนชิปมาก โดย Cerebras เรารู้สึกดีใจที่เขาพูดเช่นนั้น เพราะมันทำให้การตัดสินใจของเรามีเหตุผลในการสร้างชิปที่ใหญ่ขึ้นและย้ายสิ่งนั้นน้อยกว่าออกจากชิป นอกจากนี้ยังให้คำแนะนำเกี่ยวกับวิธีการสร้างระบบที่มีประสิทธิภาพดีขึ้นโดยใช้ชิป – ไม่ใช่แค่การบิดชิปให้ได้ฟลอปมากขึ้น แต่ยังรวมถึงเทคนิคในการย้ายพวกมันและย้ายข้อมูลจากชิปไปชิป – แม้กระทั่งจากชิปขนาดใหญ่ไปชิปขนาดใหญ่

มีอะไรอีกที่คุณต้องการแบ่งปันเกี่ยวกับ Cerebras Systems?

สำหรับดีหรือไม่ดี ผู้คนมักจะจัด Cerebras ไว้ในหมวด “ผู้ชายชิปขนาดใหญ่” เราสามารถให้โซลูชันที่น่าสนใจสำหรับเครือข่ายประสาทเทียมขนาดใหญ่มากได้ โดยกำจัดความจำเป็นในการทำการคำนวณแบบกระจายที่เจ็บปวด ฉันเชื่อว่ามันน่าสนใจมากและเป็นเหตุผลหลักที่ลูกค้าของเรารักเรา โดเมนที่น่าสนใจสำหรับปี 2023 จะเป็นวิธีการทำการคำนวณขนาดใหญ่ด้วยความแม่นยำสูงโดยใช้ฟลอปน้อยกว่า

งานของเราที่มุ่งเน้นไปที่ความเบาเป็นน้ำมือให้แนวทางที่น่าสนใจมาก เราไม่ทำสิ่งที่ไม่ช่วยให้เราไปถึงเส้นชัย และการคูณด้วยศูนย์เป็นความคิดที่ไม่ดี เราจะเปิดตัวเอกสารที่น่าสนใจเกี่ยวกับความเบาในเร็วๆ นี้ และฉันคิดว่าจะมีความพยายามมากขึ้นในการมองหาวิธีการไปถึงจุดประสิทธิภาพเหล่านี้ด้วยพลังงานที่น้อยลง และไม่ใช่แค่พลังงานและฝึกอบรมเท่านั้น แต่ยังรวมถึงการลดค่าใช้จ่ายและพลังงานที่ใช้ในการอนุมานด้วย ฉันคิดว่าความเบาเป็นน้ำมือช่วยทั้งสองด้าน

ขอขอบคุณสำหรับคำตอบที่ลึกซึ้งเหล่านี้ ผู้อ่านสามารถเยี่ยมชม Cerebras Systems เพื่อเรียนรู้เพิ่มเติม