ความเข้าใจเกี่ยวกับพารามิเตอร์และความต้องการหน่วยความจำของโมเดลภาษาขนาดใหญ่: การสำรวจอย่างลึก

การคำนวณจำนวนพารามิเตอร์

โมเดลพรีเทรนสำหรับการฝึก Transformer ที่มีประสิทธิภาพ

การคำนวณพารามิเตอร์ใน LLMs ที่ใช้ Transformer

มาทำความเข้าใจการคำนวณพารามิเตอร์สำหรับแต่ละส่วนของ LLMs ที่ใช้ Transformer กัน เราจะใช้การแสดงพารามิเตอร์จากเอกสารดั้งเดิม โดยที่ d_model แทนขนาดของสถานะที่ซ่อนอยู่ของโมเดล

1. ชั้นการฝัง:
   • พารามิเตอร์ = vocab_size * d_model
2. การดึงความสนใจหลายหัว:
   • สำหรับ h หัว โดยที่ d_k = d_v = d_model / h:
   • พารามิเตอร์ = 4 * d_model^2 (สำหรับ Q, K, V และการฉายภาพออก)
3. เครือข่ายประสาทแบบฟีดฟอร์เวิร์ด:
   • พารามิเตอร์ = 2 * d_model * d_ff + d_model + d_ff
   • โดยที่ d_ff มักจะเท่ากับ 4 * d_model
4. การปรับมาตรฐานชั้น:
   • พารามิเตอร์ = 2 * d_model (สำหรับการปรับขนาดและความเอนเอียง)

พารามิเตอร์ทั้งหมดสำหรับชั้น Transformer หนึ่งชั้น:

• Parameters_layer = Parameters_attention + Parameters_ffn + 2 * Parameters_layernorm

สำหรับโมเดลที่มี N ชั้น:

• พารามิเตอร์ทั้งหมด = N * Parameters_layer + Parameters_embedding + Parameters_output

ตัวอย่างการคำนวณ

มาทำความเข้าใจโมเดลที่มีคุณสมบัติดังต่อไปนี้:

• d_model = 768
• h (จำนวนหัวการดึงความสนใจ) = 12
• N (จำนวนชั้น) = 12
• vocab_size = 50,000

1. ชั้นการฝัง:
   • 50,000 * 768 = 38,400,000
2. การดึงความสนใจหลายหัว:
   • 4 * 768^2 = 2,359,296
3. เครือข่ายประสาทแบบฟีดฟอร์เวิร์ด:
   • 2 * 768 * (4 * 768) + 768 + (4 * 768) = 4,719,616
4. การปรับมาตรฐานชั้น:
   • 2 * 768 = 1,536

พารามิเตอร์ทั้งหมดต่อชั้น:

• 2,359,296 + 4,719,616 + (2 * 1,536) = 7,081,984

พารามิเตอร์ทั้งหมดสำหรับ 12 ชั้น:

• 12 * 7,081,984 = 84,983,808

พารามิเตอร์ทั้งหมดของโมเดล:

• 84,983,808 + 38,400,000 = 123,383,808

โมเดลนี้จะมีพารามิเตอร์ประมาณ 123 ล้านตัว

ประเภทของการใช้หน่วยความจำ

เมื่อทำงานกับ LLMs เราต้องพิจารณาใช้หน่วยความจำสองประเภทหลัก:

1. หน่วยความจำของโมเดล: หน่วยความจำที่จำเป็นในการเก็บพารามิเตอร์ของโมเดล
2. หน่วยความจำการทำงาน: หน่วยความจำที่จำเป็นระหว่างการอนุมานหรือการฝึกเพื่อเก็บการกระตุ้นกลาง อนุพันธ์ และสถานะของตัวปรับเหมาะสม

การคำนวณหน่วยความจำของโมเดล

หน่วยความจำของโมเดลเกี่ยวข้องโดยตรงกับจำนวนพารามิเตอร์ แต่ละพารามิเตอร์จะถูกเก็บเป็นตัวเลขทศนิยม 32 บิต โดยทั่วไป แม้ว่าบางโมเดลจะใช้การฝึกที่มีความแม่นยำผสมโดยใช้ตัวเลขทศนิยม 16 บิต

หน่วยความจำของโมเดล (ไบต์) = จำนวนพารามิเตอร์ * ไบต์ต่อพารามิเตอร์

สำหรับโมเดลตัวอย่างที่มีพารามิเตอร์ 123 ล้านตัว:

• หน่วยความจำของโมเดล (32 บิต) = 123,383,808 * 4 ไบต์ = 493,535,232 ไบต์ ≈ 494 MB
• หน่วยความจำของโมเดล (16 บิต) = 123,383,808 * 2 ไบต์ = 246,767,616 ไบต์ ≈ 247 MB

การประมาณหน่วยความจำการทำงาน

ความต้องการหน่วยความจำการทำงานอาจแตกต่างกันอย่างมากขึ้นอยู่กับงานเฉพาะ ขนาดแบตช์ และความยาวลำดับ การประมาณการหน่วยความจำการทำงานระหว่างการอนุมานอย่างคร่าวๆ คือ:

หน่วยความจำการทำงาน ≈ 2 * หน่วยความจำของโมเดล

สิ่งนี้จะคำนึงถึงการเก็บพารามิเตอร์ของโมเดลและกระตุ้นกลาง ระหว่างการฝึก ความต้องการหน่วยความจำอาจสูงกว่านี้เนื่องจากต้องเก็บอนุพันธ์และสถานะของตัวปรับเหมาะสม:

หน่วยความจำการฝึก ≈ 4 * หน่วยความจำของโมเดล

สำหรับโมเดลตัวอย่าง:

• หน่วยความจำการทำงานระหว่างการอนุมาน ≈ 2 * 494 MB = 988 MB ≈ 1 GB
• หน่วยความจำการฝึก ≈ 4 * 494 MB = 1,976 MB ≈ 2 GB

การใช้หน่วยความจำในสถานะคงที่และการใช้หน่วยความจำสูงสุด

เมื่อฝึกโมเดลภาษาขนาดใหญ่โดยใช้โครงสร้าง Transformer การทำความเข้าใจการใช้หน่วยความจำมีความสำคัญต่อการกำหนดทรัพยากรอย่างมีประสิทธิภาพ มาทำความเข้าใจการใช้หน่วยความจำสองประเภทหลัก: การใช้หน่วยความจำในสถานะคงที่และการใช้หน่วยความจำสูงสุด

การใช้หน่วยความจำในสถานะคงที่

การใช้หน่วยความจำในสถานะคงที่ประกอบด้วยส่วนต่อไปนี้:

1. น้ำหนักของโมเดล: คัดลอก FP32 ของพารามิเตอร์ของโมเดล ซึ่งต้องใช้ 4N ไบต์ โดยที่ N คือจำนวนพารามิเตอร์
2. สถานะของตัวปรับเหมาะสม: สำหรับตัวปรับเหมาะสม Adam จะต้องใช้ 8N ไบต์ (2 สถานะต่อพารามิเตอร์)
3. อนุพันธ์: คัดลอก FP32 ของอนุพันธ์ ซึ่งต้องใช้ 4N ไบต์
4. ข้อมูลเข้า: สมมติว่าข้อมูลเข้าเป็น int64 จะต้องใช้ 8BD ไบต์ โดยที่ B คือขนาดแบตช์ และ D คือมิติของข้อมูลเข้า

การใช้หน่วยความจำในสถานะคงที่ทั้งหมดสามารถประมาณได้ด้วย:

• M_steady = 16N + 8BD ไบต์

การใช้หน่วยความจำสูงสุด

การใช้หน่วยความจำสูงสุดเกิดขึ้นระหว่างการถอยหลังเมื่อเก็บกระตุ้นกลางเพื่อคำนวณอนุพันธ์ ส่วนหลักที่มีส่วนร่วมในการใช้หน่วยความจำสูงสุดคือ:

1. การปรับมาตรฐานชั้น: ต้องใช้ 4E ไบต์ต่อการปรับมาตรฐานชั้น โดยที่ E = BSH (B: ขนาดแบตช์, S: ความยาวลำดับ, H: ขนาดที่ซ่อนอยู่)
2. บล็อกการดึงความสนใจ:
   • การคำนวณ QKV: 2E ไบต์
   • เมทริกซ์การดึงความสนใจ: 4BSS ไบต์ (S: ความยาวลำดับ)
   • การออกของการดึงความสนใจ: 2E ไบต์
3. บล็อกฟีดฟอร์เวิร์ด:
   • ชั้นเชิงเส้นแรก: 2E ไบต์
   • การกระตุ้น GELU: 8E ไบต์
   • ชั้นเชิงเส้นสุดท้าย: 2E ไบต์
4. ความสูญเสียแบบครอสเอนโทรปี:
   • ลอจิต: 6BSV ไบต์ (V: ขนาดพจนานุกรม)

การใช้หน่วยความจำการกระตุ้นทั้งหมดสามารถประมาณได้ด้วย:

• M_act = L * (14E + 4BSS) + 6BSV ไบต์

โดยที่ L คือจำนวนชั้น Transformer

การใช้หน่วยความจำสูงสุดทั้งหมด

การใช้หน่วยความจำสูงสุดระหว่างการฝึกสามารถประมาณได้โดยการรวมการใช้หน่วยความจำในสถานะคงที่และการกระตุ้น:

• M_peak = M_steady + M_act + 4BSV ไบต์

พจน์เสริม 4BSV ไบต์สำหรับการจัดสรรพิเศษที่เริ่มต้นการถอยหลัง

โดยการทำความเข้าใจส่วนประกอบเหล่านี้ เราสามารถเพิ่มประสิทธิภาพการใช้หน่วยความจำระหว่างการฝึกและการอนุมาน เพื่อให้แน่ใจถึงการกำหนดทรัพยากรอย่างมีประสิทธิภาพและปรับปรุงประสิทธิภาพของโมเดลภาษาขนาดใหญ่