กฎของมอร์คืออะไร และมันส่งผลต่อ AI อย่างไร?

กฎของมอร์เป็นการสังเกตเชิงประวัติศาสตร์ว่าวงจรรวมที่มีประโยชน์ทางเศรษฐกิจมักเพิ่มจำนวนส่วนประกอบอย่างเอ็กซ์โพเนนเชียล มันไม่ใช่กฎของฟิสิกส์และไม่ได้ระบุว่าคอมพิวเตอร์จะเร็วขึ้นเป็นสองเท่าโดยอัตโนมัติตามตารางเวลาที่กำหนด

สำหรับ AI ความหนาแน่นของทรานซิสเตอร์มีความสำคัญเพราะทำให้สามารถเพิ่มหน่วยคณิตศาสตร์ หน่วยความจำ และการเชื่อมต่อได้มากขึ้น แต่ความก้าวหน้าในทางปฏิบัติยังขึ้นกับสถาปัตยกรรม ความแม่นยำเชิงตัวเลข การบรรจุภัณฑ์ แบนด์วิดท์ของหน่วยความจำ อัลกอริทึม ซอฟต์แวร์ พลังงาน ผลผลิตการผลิต และปริมาณข้อมูลที่มีประโยชน์

ประเด็นสำคัญ

• บทความต้นฉบับของมอร์ในปี 1965 อธิบายแนวโน้มด้านเศรษฐกิจและวิศวกรรม ไม่ใช่การรับประกันเชิงกายภาพ
• การเพิ่มความเร็วสัญญาณนาฬิกาลดลง; การเพิ่มประสิทธิภาพในยุคใหม่มาจากการทำงานขนานและตัวเร่งประสิทธิภาพเฉพาะทางมากขึ้น
• ประสิทธิภาพของ AI มักถูกจำกัดโดยการเคลื่อนย้ายหน่วยความจำและพลังงาน ไม่ใช่แค่การคำนวณเท่านั้น
• เปรียบเทียบระบบโดยพิจารณาความหน่วงเวลา ระดับการทำงาน คุณภาพ พลังงาน และต้นทุนรวม—not จำนวนทรานซิสเตอร์

สิ่งที่มอร์สังเกตจริงๆ

กอร์ดอน มอร์ได้วาดกราฟจำนวนส่วนประกอบในวงจรรวมชั้นนำและคาดการณ์การเติบโตอย่างรวดเร็วต่อเนื่องด้วยต้นทุนต่อส่วนประกอบที่ต่ำสุด จังหวะนี้ต่อมาถูกสรุปโดยทั่วไปว่าเป็นการเพิ่มเป็นสองเท่าประมาณทุกสองปี แต่สูตรและปริมาณที่วัดได้มีความแตกต่างกัน

ฟีเจอร์ที่เล็กลงสามารถเพิ่มความหนาแน่นและลดค่าใช้จ่ายการสวิตช์บางส่วนได้ แต่ความซับซ้อนของการผลิตและเศรษฐกิจกำหนดว่าการเทรนด์นี้ยังคงมีประโยชน์หรือไม่ ชื่อโหนดเป็นฉลากการตลาด ดังนั้นจึงไม่ควรนำไปเปรียบเทียบเชิงกายภาพโดยตรงระหว่างโรงงานผลิต

จากคอร์ที่เร็วขึ้นสู่การคอมพิวเตอร์แบบผสมหลายประเภท

การสเกลแรงดันแบบ Dennard เคยทำให้สามารถเพิ่มอัตราคล็อกได้สูงขึ้นโดยไม่เพิ่มพลังงานตามสัดส่วน แต่ความสัมพันธ์นี้อ่อนลง นักออกแบบจึงหันไปใช้ CPU แบบหลายคอร์, GPU, หน่วยเทนเซอร์, ชิปเล็ต, การบรรจุภัณฑ์ขั้นสูง, และตัวเร่งประสิทธิภาพเฉพาะโดเมน

ความหลากหลายนี้เป็นแกนสำคัญของ deep learning การคำนวณเมทริกซ์แบบหนาแน่นสามารถทำงานได้อย่างมีประสิทธิภาพบนฮาร์ดแวร์ขนาน ในขณะที่ CPU ประสานงานตรรกะที่ไม่สม่ำเสมอและการเคลื่อนย้ายข้อมูล ส่วนประกอบที่เร็วที่สุดก็ไม่มีประโยชน์หากสายการผลิตไม่สามารถจ่ายข้อมูลให้ได้

หน่วยความจำ, ความแม่นยำ, และอัลกอริทึม

การฝึกและการสรุปผลทำการเคลื่อนย้ายน้ำหนัก, การกระตุ้น, และข้อมูลแคชผ่านลำดับชั้นของหน่วยความจำบนชิปและนอกชิปอย่างต่อเนื่อง แบนด์วิดท์, ความจุ, ความใกล้ชิด, และการสื่อสารอาจเป็นปัจจัยหลักของต้นทุน การลดความแม่นยำเชิงตัวเลขและการควอนติฟายช่วยลดการเคลื่อนย้ายเมื่อคุณภาพยังคงยอมรับได้

การปรับปรุงอัลกอริทึมสามารถลดการคำนวณที่จำเป็นเพื่อให้ได้ผลลัพธ์เป้าหมาย โมเดลแบบกระจาย, วิธีเพิ่มประสิทธิภาพของ transformer, ตัวเพิ่มประสิทธิภาพที่ดีกว่า, และข้อมูลคุณภาพสูงทั้งหมดส่งผลต่อความก้าวหน้าที่ผู้ใช้สัมผัสได้

วิธีเปรียบเทียบฮาร์ดแวร์ AI

การทำงานสูงสุดต่อวินาทีเป็นค่าทฤษฎี ใช้โมเดลตัวอย่าง, ขนาดแบช, ความยาวลำดับ, ความแม่นยำ, สแตกซอฟต์แวร์, และเกณฑ์คุณภาพ รายงานความหน่วงเวลาแบบปลายต่อปลาย, ปริมาณการทำงาน, พลังงาน, ปริมาณหน่วยความจำที่ใช้, การใช้งาน, และต้นทุน

ระบบ Edge อาจให้ความสำคัญกับความเป็นส่วนตัวและพลังงานต่ำมากกว่าปริมาณการทำงานสูงสุด; ศูนย์ข้อมูลอาจให้ความสำคัญกับจำนวนโทเคนทั้งหมดหรือจำนวนตัวอย่างต่อวัตต์ Edge AI ทำให้เห็นชัดว่าตัวเลขหัวข้อเดียวไม่สามารถอธิบายทุกระบบที่มีประโยชน์ได้

ทำไมการสเกลเซมิคอนดักเตอร์จึงเปลี่ยนแปลง

ความก้าวหน้าของวงจรรวมในช่วงแรกรวมถึงอุปกรณ์ที่เล็กลง, การผลิตที่ดีกว่า, ต้นทุนต่อส่วนประกอบที่ต่ำลง, และการปรับปรุงการออกแบบ เป็นเวลาหลายปี การลดขนาดทรานซิสเตอร์ยังสนับสนุนการสวิตช์ที่เร็วขึ้นและพลังงานต่อการทำงานที่ต่ำลง ในที่สุดการรั่วไหล, ขีดจำกัดแรงดัน, ความหนาแน่นความร้อน, ความล่าช้าของการเชื่อมต่อ, และต้นทุนการผลิตทำให้ความสัมพันธ์ง่าย ๆ ระหว่างโหนดกระบวนการใหม่กับคอร์ทั่วไปที่เร็วขึ้นอ่อนแอลง

ความก้าวหน้าในยุคปัจจุบันจึงเป็นหลายมิติ FinFET และอุปกรณ์ gate‑all‑around ปรับปรุงการควบคุมไฟฟ้าสถิต; ลิโธกราฟีอัลตราไวโอเลตขั้นสุดสนับสนุนรูปแบบที่เล็กลง; ชิปเล็ตทำให้ผู้ออกแบบรวมไดส์ที่ทำด้วยกระบวนการต่างกัน; การบรรจุภัณฑ์ขั้นสูงวางคอมพิวเตอร์และหน่วยความจำให้ใกล้กันมากขึ้น ผลผลิตและการบรรจุภัณฑ์กำหนดว่าการออกแบบที่เทคนิคน่าประทับใจจะคุ้มค่าเชิงปริมาณหรือไม่

การชะลอตัวของกลไกสเกลหนึ่งไม่ได้หมายความว่าฮาร์ดแวร์หยุดพัฒนา แต่หมายความว่าสถาปนิกต้องใช้ทรานซิสเตอร์อย่างตั้งใจ หน่วยเฉพาะทางแลกเปลี่ยนความยืดหยุ่นเพื่อปริมาณการทำงานหรือประสิทธิภาพในงานที่เลือก ในขณะที่แคชและการเชื่อมต่อขนาดใหญ่พยายามให้หน่วยเหล่านั้นได้รับข้อมูลอย่างต่อเนื่อง

วิธีที่ภาระงาน AI ทำให้ฮาร์ดแวร์เครียด

การฝึกสลับระหว่างการคำนวณแบบต่อหน้า, การย้อนกลับ, การอัปเดตตัวเพิ่มประสิทธิภาพ, และการสื่อสารระหว่างตัวเร่งประสิทธิภาพ การสรุปผลมีตั้งแต่การให้คะแนนแบบแบชจนถึงการสร้างโทเคนแบบโต้ตอบ การคูณเมทริกซ์เป็นสิ่งสำคัญ แต่การฝัง, การทำให้เป็นมาตรฐาน, ฟังก์ชันการกระตุ้น, การใส่ใจ, การกำหนดเส้นทาง, การเข้าถึงแคช, และการประสานงานโฮสต์ทั้งหมดมีส่วนทำให้ประสิทธิภาพจริง

ความเข้มข้นเชิงคณิตศาสตร์—ปริมาณการคำนวณต่อไบต์ที่เคลื่อนย้าย—ช่วยอธิบายว่าภาระงานเป็นแบบที่ต้องการการคำนวณหรือแบนด์วิดท์ ขนาดแบชเล็กและการถอดรหัสอัตโนมัติมักทำให้หน่วยคณิตศาสตร์ใช้ไม่เต็มที่เนื่องจากต้องดึงน้ำหนักหรือข้อมูลแคชซ้ำหลายครั้ง แบชขนาดใหญ่เพิ่มการใช้งานแต่เพิ่มความหน่วงเวลาและหน่วยความจำ

รูปแบบตัวเลขเปลี่ยนการแลกเปลี่ยน trade‑off FP32, BF16, FP16, FP8, และรูปแบบจำนวนเต็มต่างกันในเรื่องช่วง, ความแม่นยำ, การสนับสนุนฮาร์ดแวร์, และข้อผิดพลาด การฝึกแบบผสมความแม่นยำรักษาการดำเนินการที่สำคัญในความแม่นยำสูง; การสรุปผลแบบควอนติฟายต้องการการสอบเทียบและการทดสอบคุณภาพ แทนการสัญญาว่าโมเดลทุกตัวจะทนต่อความกว้างบิตเดียวกัน

เศรษฐศาสตร์ของระบบและแนวทางในอนาคต

ต้นทุนรวมของ AI รวมถึงการซื้อหรือเช่าตัวเร่งประสิทธิภาพ, การจ่ายไฟ, ระบบทำความเย็น, เครือข่าย, การจัดเก็บ, วิศวกรรมซอฟต์แวร์, ความจุที่ไม่ได้ใช้, และการทดลองที่ล้มเหลว ชิปที่เร็วกว่าอาจมีต้นทุนรวมสูงกว่า หากการใช้งานต่ำหรือโมเดลต้องการโทโพโลยีกระจายที่มีค่าใช้จ่ายสูง วัดผลลัพธ์ที่เป็นประโยชน์ตามเกณฑ์คุณภาพที่กำหนด

การสเกลยังถูกจำกัดโดยข้อมูลและอัลกอริทึม การคำนวณที่เพิ่มขึ้นไม่สามารถแก้ไขข้อมูลที่ติดป้ายผิดหรือการประเมินที่ให้รางวัลกับทางลัดได้ การใส่ใจที่มีประสิทธิภาพ, ตัวเพิ่มประสิทธิภาพที่ดีกว่า, ความกระจาย, การดึงข้อมูล, การสกัด, และการค้นพบเชิงอัลกอริทึมสามารถปรับปรุงผลลัพธ์โดยไม่ต้องเพิ่มฮาร์ดแวร์อย่างสัดส่วน แม้ว่าจะทำให้ต้นทุนย้ายไปที่อื่น

ระบบในอนาคตจะผสมผสานความก้าวหน้าของกระบวนการกับการจัดเรียงสามมิติ, หน่วยความจำแบนด์วิดท์สูง, การเชื่อมต่อแบบออปติกหรือไฟฟ้าขั้นสูง, การไหลของข้อมูลเฉพาะโดเมน, และซอฟต์แวร์ที่ออกแบบร่วมกัน กฎของมอร์ยังคงเป็นบริบทเชิงประวัติศาสตร์ที่มีคุณค่า แต่การวางแผนควรใช้เส้นโค้งภาระงานที่วัดได้และข้อจำกัดด้านอุปทาน, พลังงาน, และการนำไปใช้ที่เป็นจริง

การอ่านกฎของมอร์อย่างถูกต้องในการออกแบบระบบ AI

การวิเคราะห์ที่มีประโยชน์จะแยกความหนาแน่นของทรานซิสเตอร์, ประสิทธิภาพของ CPU ทั่วไป, ปริมาณการทำงานของตัวเร่ง, ความจุของหน่วยความจำ, แบนด์วิดท์ของหน่วยความจำ, การเชื่อมต่อ, พลังงาน, ผลผลิตการผลิต, และต้นทุน สิ่งเหล่านี้ไม่ได้พัฒนาในอัตราเดียวกัน ภาระงาน AI ที่เน้นการเคลื่อนย้ายน้ำหนักโมเดลอาจได้ประโยชน์น้อยจากหน่วยคณิตศาสตร์เพิ่มขึ้น ในขณะที่โมเดลขนาดเล็กบนชิปสามารถได้รับประโยชน์อย่างมากจากฮาร์ดแวร์ความแม่นยำต่ำเฉพาะทาง ให้ระบุเมตริกที่แน่นอน, ความแม่นยำ, ภาระงาน, และขอบเขตพลังงาน แทนการถือว่าโหนดกระบวนการเป็นตัวบ่งชี้ประสิทธิภาพ

การสเกลโมเดล AI ยังทำให้ความต้องการซอฟต์แวร์และระบบเปลี่ยนแปลง การฝึกขนาดใหญ่ต้องการอัลกอริทึมแบบขนาน, การบันทึกเช็คพอยต์ที่เชื่อถือได้, เครือข่ายความเร็วสูง, ท่อการจัดเก็บข้อมูล, และข้อมูลเพียงพอเพื่อใช้ความจุที่เพิ่มขึ้น ที่การสรุปผล ความหน่วงเวลาขึ้นอยู่กับความยาวของพรอมต์, โทเคนที่สร้าง, การทำแบช, หน่วยความจำแคช, และเป้าหมายระดับบริการ การปรับปรุงอัลกอริทึม, ความกระจาย, การควอนติฟาย, การดึงข้อมูล, และข้อมูลที่ดีขึ้นสามารถให้ผลลัพธ์ที่ไม่ขึ้นกับแนวโน้มของทรานซิสเตอร์และบางครั้งเกินกว่าการเจนเนอเรชั่นของฮาร์ดแวร์

สำหรับการวางแผน ให้ทำการทดสอบเบนช์มาร์คโมเดลตัวอย่างบนระบบที่เป็นผู้สมัครและจำลองต้นทุนรวมตลอดอายุการใช้งาน: ราคาการได้มาหรือคลาวด์, พลังงาน, การทำความเย็น, การใช้งาน, วิศวกรรม, การย้ายระบบ, และความเสี่ยงด้านอุปทาน ใช้สถานการณ์หลายแบบแทนการคาดการณ์แบบเอ็กซ์โปเนนเชียลเดียว กฎของมอร์ยังคงเป็นการสังเกตเชิงประวัติศาสตร์ที่มีคุณค่าเกี่ยวกับเศรษฐกิจการรวมชิป แต่ไม่ได้รับประกันว่า AI จะเร็วขึ้น, ถูกลง, มีความสามารถเพิ่มขึ้น, หรือยั่งยืนมากขึ้นตามตารางเวลาที่กำหนด

รายการตรวจสอบการดำเนินการเชิงปฏิบัติ

เปลี่ยนแนวคิดให้เป็นกระบวนการทำงานที่จำกัดและทดสอบได้: ทรานซิสเตอร์ → การทำขนาน → ตัวเร่ง → หน่วยความจำ → ซอฟต์แวร์ → ภาระงาน ตั้งชื่อเจ้าของที่รับผิดชอบ, บันทึกข้อมูลและการพึ่งพา, สร้างฐานเปรียบเทียบอย่างง่าย, กำหนดเกณฑ์การยอมรับและหยุด, ทดสอบความล้มเหลวที่เป็นตัวอย่าง, และกำหนดการเฝ้าติดตาม, การย้อนกลับ, และการตรวจสอบก่อนขยายขอบเขต บันทึกเวอร์ชันและสมมติฐานเพื่อให้ทีมอื่นสามารถทำซ้ำผลลัพธ์และเข้าใจการเปลี่ยนแปลงได้

ก่อนเปิดใช้งาน ให้ดำเนินการตรวจสอบความพร้อมที่บันทึกไว้กับผู้ที่สร้าง, ปฏิบัติการ, ปกป้อง, และผู้ที่ได้รับผลกระทบจากระบบ ทดสอบกรณีปกติ, เงื่อนไขขอบเขต, ความล้มเหลวของการพึ่งพา, และการใช้ผิดวิธี; เก็บรักษาหลักฐานและความเสี่ยงที่ยังไม่ได้แก้ไข กำหนดว่าใครสามารถอนุมัติการปล่อย, ปรับค่าเกณฑ์, แทนที่ผลลัพธ์, หรือหยุดการทำงานได้ ตรวจสอบการตัดสินใจอีกครั้งหลังจากได้รับข้อมูลจากโลกจริง เพราะการทดลองนำร่องที่ประสบความสำเร็จทางเทคนิคไม่ได้รับประกันประสิทธิภาพที่เชื่อถือได้ในระดับที่กว้างขึ้น

• ความหนาแน่น: ความสามารถมากขึ้นภายในพื้นที่ชิปเดียว
• ประสิทธิภาพ: ความแม่นยำ, ความใกล้ชิด, และการเชี่ยวชาญ
• ผลลัพธ์จริง: คุณภาพต่อหน่วยเวลา, พลังงาน, และต้นทุน

คำถามที่พบบ่อย

กฎของมอร์จบลงหรือยัง?

แนวโน้มเชิงประวัติศาสตร์อย่างง่ายได้ชะลอตัวและเปลี่ยนลักษณะ แต่ความก้าวหน้าในเซมิคอนดักเตอร์ยังคงดำเนินต่อไปผ่านอุปกรณ์, สถาปัตยกรรม, การบรรจุภัณฑ์, หน่วยความจำ, และซอฟต์แวร์ การที่วลีนี้ยังเหมาะสมหรือไม่ขึ้นกับเมตริกที่ใช้

จำนวนทรานซิสเตอร์เพิ่มเป็นสองเท่าหมายความว่า AI จะเร็วขึ้นเป็นสองเท่าหรือไม่?

ไม่ การทำงานขึ้นอยู่กับวิธีการใช้ทรานซิสเตอร์และแบนด์วิดท์, ความแม่นยำ, โครงสร้างโมเดล, ประสิทธิภาพซอฟต์แวร์, พลังงาน, และข้อจำกัดของภาระงาน

อ้างอิงหลัก

• Gordon Moore: การบรรจุส่วนประกอบเพิ่มขึ้นบนวงจรรวม
• IEEE IRDS: แผนที่ถนนสากลสำหรับอุปกรณ์และระบบ
• MLCommons: เกณฑ์การวัด MLPerf