โมเดลและแพลตฟอร์ม AI
GLM-130B: โมเดลภาษาเปิดที่ได้รับการฝึกฝนล่วงหน้าแบบสองภาษา

ประเด็นสำคัญGLM-130B ใช้กลไกความสนใจแบบสองทิศทางของ GLM เพื่อเอาชนะ GPT-3 ในการทดสอบ zero-shot…
ดูเพิ่มเติม
- GLM-130B ใช้กลไกความสนใจแบบสองทิศทางของ GLM เพื่อเอาชนะ GPT-3 ในการทดสอบ zero-shot LAMBADA ด้วยความแม่นยำ 80.2
- ขนาด 130B ของโมเดลนี้ทำให้สามารถทำ inference บนเซิร์ฟเวอร์ A100 เครื่องเดียวได้ ต่างจากโมเดลขนาดใหญ่กว่าอย่าง 175B
- การพุ่งขึ้นของค่าเกรเดียนต์ในชั้น embedding เกิดขึ้นก่อนการล่มสลายของการฝึก และไม่สามารถแก้ไขได้ด้วยการตรึง projection
GLM-130B เป็นโมเดลภาษาขนาดใหญ่ที่ผ่านการฝึกล่วงหน้าแบบสองภาษา มีพารามิเตอร์มากกว่า 130,000 ล้านตัว และสร้างข้อความได้ทั้งภาษาอังกฤษและภาษาจีน โครงการนี้พยายามเปิดโมเดลที่มีพารามิเตอร์เกิน 100,000 ล้านตัวเป็นโอเพนซอร์ส พร้อมอธิบายวิธีฝึกโมเดลขนาดดังกล่าว ซึ่งมักเผชิญปัญหาการฝึกไม่ลู่เข้าและค่าความสูญเสียพุ่งสูงอย่างฉับพลัน
บทความนี้สำรวจความพยายามของ GLM-130B ในการสร้างวิธีฝึกล่วงหน้าโมเดลที่มีพารามิเตอร์หลายแสนล้านตัวอย่างมีประสิทธิภาพ โดยพิจารณาการทำงาน สถาปัตยกรรม กระบวนการฝึก และทางเลือกในการออกแบบที่เพิ่มทั้งประสิทธิภาพและเสถียรภาพ การทดลองเบื้องต้นบนชุดทดสอบภาษาอังกฤษหลายชุดแสดงผลเหนือกว่า GPT-3 อย่างชัดเจน มาดูกันว่าอะไรทำให้ผลลัพธ์สม่ำเสมอ แม่นยำ และเสถียร
แนะนำ GLM-130B
โมเดลภาษาขนาดใหญ่ที่ทำงานได้จากตัวอย่างเพียงเล็กน้อย (few-shot) หรือไม่มีตัวอย่าง (zero-shot) โดยเฉพาะโมเดลที่มีพารามิเตอร์เกิน 100,000 ล้านตัว แสดงความสัมพันธ์ในการขยายขนาดที่น่าสนใจ บทความยก GPT-3 เป็นหนึ่งในโมเดลที่ให้ผลดีขึ้นมากเมื่อเทียบกับโมเดลรุ่นก่อนอย่าง BERT อย่างไรก็ตาม แม้ GPT-3 จะได้รับความนิยมและใช้กันแพร่หลาย กระบวนการฝึกและรายละเอียดบางส่วนของโมเดลก็ยังไม่โปร่งใสต่อสาธารณะ การทดลองการออกแบบทุกแบบสำหรับโมเดลขนาดนี้ยังใช้ทรัพยากรคำนวณสูงเกินไป จึงจำเป็นต้องมีวิธีฝึกล่วงหน้าที่เหมาะสม
การแบ่งปันความรู้เกี่ยวกับการทำงานและการฝึกโมเดลขนาดใหญ่คุณภาพสูงจึงมีคุณค่าอย่างยิ่ง โดยคำนึงถึงประเด็นจริยธรรม GLM-130B พยายามสร้างโมเดลที่แม่นยำและเปิดเผยซอร์ส มีพารามิเตอร์เกิน 100,000 ล้านตัว ทีมพัฒนาพบความท้าทายด้านวิศวกรรมและเทคนิคหลายประการเกี่ยวกับเสถียรภาพ ประสิทธิภาพ และการลู่เข้าของการฝึก
GLM-130B เป็นโมเดลแบบหนาแน่น สองทิศทาง และสองภาษา มีพารามิเตอร์มากกว่า 130,000 ล้านตัว ผ่านการฝึกล่วงหน้าด้วยโทเค็นมากกว่า 400,000 ล้านโทเค็น บนคลัสเตอร์ NVIDIA DGX-A100 จำนวน 96 โหนด เป็นเวลาเกือบสองเดือน แทนที่จะใช้สถาปัตยกรรมแบบ GPT โมเดลใช้ General Language Model (GLM) เพื่อใช้ประโยชน์จากการเติมช่องว่างแบบออโตรีเกรสซีฟและกลไกความสนใจสองทิศทาง ตารางต่อไปนี้เปรียบเทียบกับโมเดลที่มีพารามิเตอร์เกิน 100,000 ล้านตัว รวมถึง GPT, BLOOM-176B และ OPT-175B

ตามผลที่บทความอธิบาย ทางเลือกด้านวิศวกรรมและการพัฒนาช่วยให้ GLM-130B ทำได้ดีกว่าโมเดลขนาดใหญ่อื่นหลายรุ่นในหลายชุดทดสอบ รวมถึง GPT-3 และ PaLM 540B ที่มีพารามิเตอร์เกิน 500,000 ล้านตัว ภาพยังแสดงว่าข้อความที่สร้างมีความเป็นพิษและอคติน้อยกว่าโมเดลเปรียบเทียบ

โมเดลออกแบบให้ผู้พัฒนาจำนวนมากขึ้นเข้าถึงการวิจัยโมเดลที่มีพารามิเตอร์เกิน 100,000 ล้านตัวได้สองทาง ประการแรก ใช้ 130,000 ล้านตัว แทนกว่า 175,000 ล้านตัวเช่น BLOOM และ OPT ทำให้รันการอนุมานบนเซิร์ฟเวอร์ A100 เพียงเครื่องเดียวได้ ประการที่สอง ลดความต้องการ GPU ด้วยการควอนไทซ์เป็นความละเอียด INT4 ซึ่งช่วยเพิ่มประสิทธิภาพการใช้ทรัพยากรโดยคุณภาพผลลัพธ์ลดลงเพียงเล็กน้อยมาก
GLM-130B: สถาปัตยกรรม
สถาปัตยกรรมสะท้อนอคติเชิงอุปนัยของโมเดลแมชชีนเลิร์นนิง ต้นทุนคำนวณและข้อจำกัดในทางปฏิบัติทำให้ผู้พัฒนาไม่สามารถสำรวจสถาปัตยกรรมหลายแบบของ โมเดลภาษาขนาดใหญ่ ได้ง่าย ต่อไปนี้คือแนวทางของ GLM-130B
PaLM, GPT และโมเดลอื่นที่มีพารามิเตอร์เกิน 100,000 ล้านตัว ใช้สถาปัตยกรรมแบบ GPT ที่มีเฉพาะตัวถอดรหัสสำหรับการสร้างแบบออโตรีเกรสซีฟ ส่วน GLM-130B สำรวจ General Language Model แบบสองทิศทางที่ใช้ Transformer และมีการเติมช่องว่างแบบออโตรีเกรสซีฟเป็นเป้าหมายการฝึก โดยเลือกช่วงข้อความจากลำดับที่กำหนด แล้วแทนแต่ละช่วงด้วยโทเค็นปิดบังหนึ่งตัว
สิ่งที่แยก GLM จากแนวทางทิศทางเดียวของ GPT คือกลไกความสนใจสองทิศทางต่อบริบทที่ไม่ได้ปิดบัง เพื่อรองรับทั้งการสร้างและการทำความเข้าใจข้อความ GLM ใช้กลยุทธ์ปิดบังสองแบบ โดยแต่ละแบบมีโทเค็นพิเศษของตนเอง:
- [MASK]: ปิดบังช่วงสั้น ๆ ในประโยค โดยความยาวรวมเป็นสัดส่วนหนึ่งของข้อมูลเข้า
- [gMASK]: ปิดบังช่วงที่มีความยาวสุ่มใกล้ท้ายข้อความ โดยใช้ส่วนก่อนหน้าเป็นบริบท
แนวทางนี้ทำให้ความแม่นยำของ LAMBADA ในการทดสอบแบบไม่มีตัวอย่างเกิน 80% และเหนือกว่า PaLM 540B กับ GPT-3

การทำเลเยอร์นอร์มัลไลเซชัน
ความไม่เสถียรในการฝึกเป็นความท้าทายสำคัญของโมเดลภาษาขนาดใหญ่ การเลือกวิธีทำเลเยอร์นอร์มัลไลเซชัน (LN) ที่เหมาะสมช่วยได้ บทความอธิบายการใช้ Post-LN ใน GLM-130B โดยอ้างถึงผลลัพธ์ในงานปลายทาง
โครงข่ายป้อนข้อมูลไปข้างหน้าและการเข้ารหัสตำแหน่ง
โครงข่ายประสาทเทียมแบบป้อนข้อมูลไปข้างหน้า (FFN) และการเข้ารหัสตำแหน่งเป็นองค์ประกอบสองอย่างที่ช่วยให้ GLM-130B มีผลดีในงานปลายทางและฝึกได้อย่างเสถียร
การตั้งค่าการฝึกล่วงหน้า
เป้าหมายประกอบด้วยการเรียนรู้หลายงานบนโทเค็นส่วนน้อย และการเรียนรู้แบบกำกับตนเองของ GLM เพื่อเติมช่องว่างแบบออโตรีเกรสซีฟ โดยคาดว่าจะช่วยในงานปลายทาง รายละเอียดมีดังนี้
การเติมช่องว่างด้วยการเรียนรู้แบบกำกับตนเอง
แต่ละลำดับการฝึกใช้กลยุทธ์ [MASK] หรือ [gMASK] อย่างใดอย่างหนึ่งแยกกัน สำหรับ 30% ของลำดับ [MASK] ปิดบังช่วงข้อความต่อเนื่อง โดยความยาวรวมคิดเป็นถึง 15% ของข้อมูลเข้า และความยาวของแต่ละช่วงเป็นไปตามการแจกแจงปัวซง ส่วนอีก 70% เก็บส่วนต้นไว้เป็นบริบทและใช้ [gMASK] ปิดบังส่วนที่เหลือ โดยสุ่มความยาวส่วนที่ปิดบังจากการแจกแจงแบบสม่ำเสมอ
การฝึกล่วงหน้าด้วยคำสั่งหลายงาน
การเรียนรู้หลายงานระหว่างการฝึกล่วงหน้าอาจถ่ายโอนความสามารถไปสู่งานใหม่ที่ไม่มีตัวอย่างได้ดีกว่าการปรับแต่งภายหลัง GLM-130B จึงเสนอให้ใช้ชุดข้อมูลที่มีคำสั่งสำหรับการสร้างภาษา ความเข้าใจภาษา และการดึงข้อมูลระหว่างการฝึกล่วงหน้า
เมื่อเทียบกับแนวทางที่ปรับแต่งหลายงานด้วยพรอมต์ วิธีนี้ใช้เพียง 5% ของโทเค็นทั้งหมด และรวมไว้ในขั้นตอนฝึกล่วงหน้าเพื่อไม่ให้ความสามารถอื่นของโมเดลเสียไป โดยเฉพาะการสร้างข้อความอย่างอิสระโดยไม่มีเงื่อนไข
กลยุทธ์ขนานสามมิติ
การขนานโมเดลระดับเทนเซอร์และการขนานข้อมูลเป็นสองแนวทางทั่วไปสำหรับโมเดลที่มีพารามิเตอร์หลายพันล้านตัว GLM-130B ผสานทั้งสองแบบกับการขนานแบบไปป์ไลน์เป็นกลยุทธ์สามมิติ เพื่อรับมือกับความต้องการ GPU จำนวนมากและจำกัดการใช้ทรัพยากร
GLM-130B: เสถียรภาพในการฝึก
เสถียรภาพในการฝึกเป็นปัจจัยสำคัญต่อคุณภาพโมเดล และได้รับอิทธิพลมากจากจำนวนโทเค็นที่ประมวลผล ข้อจำกัดการคำนวณทำให้ต้องสร้างสมดุลระหว่างเสถียรภาพและประสิทธิภาพเมื่อเลือกรูปแบบเลขทศนิยมลอยตัว ความละเอียดต่ำช่วยให้คำนวณเร็วขึ้น แต่เสี่ยงต่อการฝึกล้มเหลวจากค่าที่เกินขอบเขตหรือเล็กเกินกว่าจะเก็บแทนได้
ความละเอียดผสม
เพื่อเพิ่มความแม่นยำในการฝึกและลดหน่วยความจำ GLM-130B ใช้ FP16 สำหรับการคำนวณไปข้างหน้าและย้อนกลับ และ FP32 สำหรับค่าน้ำหนักหลักกับสถานะตัวปรับให้เหมาะสม เช่นเดียวกับ BLOOM-176B และ OPT-175B การฝึกมีค่าความสูญเสียพุ่งสูงบ่อยครั้ง และถี่ขึ้นเมื่อฝึกต่อไป การขยายขนาด Transformer ยังมีปัญหาสำคัญอื่นด้วย

ประการแรก ค่าบนแขนงหลักของ Transformer อาจสูงมากในเลเยอร์ลึกเมื่อใช้ Pre-LN บทความอธิบายวิธีที่อาศัย DeepNorm และ Pre-LN เพื่อจำกัดค่าให้อยู่ในขอบเขต ประการที่สอง คะแนนความสนใจเพิ่มขึ้นเมื่อขยายโมเดลจนเกินช่วงที่ FP16 เก็บแทนได้
การลดเกรเดียนต์ของเลเยอร์เอ็มเบดดิง (EGS)
ผู้พัฒนาพบว่านอร์มของเกรเดียนต์เป็นสัญญาณเตือนการฝึกล้มเหลว ซึ่งมักเกิดหลังค่านอร์มพุ่งสูง สาเหตุคือเกรเดียนต์ผิดปกติในเลเยอร์เอ็มเบดดิง โดยมีนอร์มสูงกว่าเลเยอร์อื่นหลายลำดับขนาด และผันผวนมากในช่วงแรกของการฝึก โมเดลการมองเห็น ก็พบปัญหานี้ และแก้ได้ด้วยการตรึงเลเยอร์ฉายภาพของแพตช์ แต่บทความระบุว่าไม่สามารถนำวิธีเดียวกันมาใช้กับเลเยอร์ฉายข้อมูลของโมเดลภาษาได้โดยตรง

GLM-130B: ผลลัพธ์และประสิทธิภาพ
งานภาษาอังกฤษใช้การตั้งค่าประเมินเช่นเดียวกับ PaLM และ GPT-3 เนื่องจากเป็นโมเดลสองภาษา จึงประเมินบนชุดทดสอบภาษาจีนด้วย การทดสอบครอบคลุมการสร้างแบบจำลองภาษา, MMLU (Massive Multitask Language Understanding), BIG-Bench (Beyond the Imitation Game Benchmark) และ CLUE (Chinese Language Understanding Evaluation)
การสร้างแบบจำลองภาษา
ทดสอบบนชุดข้อมูล LAMBADA และ Pile
LAMBADA วัดความสามารถในการทำนายคำสุดท้าย GLM-130B ได้ความแม่นยำ 80.2% ในแบบไม่มีตัวอย่างภายใต้การตั้งค่าสองภาษา ซึ่งตามผลที่รายงานเป็นสถิติใหม่ของชุดทดสอบนี้
Pile มีชุดทดสอบสำหรับโมเดลภาษาหลายชุด เมื่อเทียบกับ GPT-3 และ Jurassic-1 GLM-130B ให้ผลเฉลี่ยดีที่สุดบนชุดทดสอบร่วม 18 ชุดตามค่า BPB แบบถ่วงน้ำหนัก แสดงความสามารถทางภาษาที่แข็งแกร่ง ดังตาราง

MMLU: ความเข้าใจภาษาหลายงานขนาดใหญ่
MMLU ประกอบด้วยงานตอบคำถามแบบหลายตัวเลือกมากกว่า 50 งาน ครอบคลุมความรู้และความสามารถของมนุษย์ตั้งแต่มัธยมปลายถึงผู้เชี่ยวชาญ เผยแพร่หลังการรวบรวมชุดทดสอบ Pile บทความจึงมองว่าเหมาะสำหรับประเมินการเรียนรู้จากตัวอย่างจำนวนน้อย

เมื่อให้ห้าตัวอย่าง ผลของ GLM-130B เข้าใกล้ GPT-3 หลังประมวลผลประมาณ 300,000 ล้านโทเค็น ผลดีขึ้นเมื่อฝึกต่อ และเมื่อครบ 400,000 ล้านโทเค็นได้ความแม่นยำ 44.8%
BIG-Bench: Beyond the Imitation Game Benchmark
งานยากของ BIG-Bench ทดสอบความรู้ การให้เหตุผล และสามัญสำนึก ตามภาพ GLM-130B แบบไม่มีตัวอย่างทำได้ดีกว่า PaLM 540B และ GPT-3 175B อาจเป็นผลจากการฝึกล่วงหน้าด้วยคำสั่งหลายงาน (MIP) และความสนใจสองทิศทางต่อบริบท ซึ่งช่วยในงานที่ไม่เคยพบ เมื่อเพิ่มตัวอย่าง ผลก็ปรับปรุงขึ้นและยังเหนือกว่า GPT-3 อย่างต่อเนื่อง

CLUE: การประเมินความเข้าใจภาษาจีน
ความสามารถภาษาจีนแบบไม่มีตัวอย่างประเมินบน CLUE และ FewCLUE และเปรียบเทียบกับ ERNIE Titan 3.0 ขนาด 260,000 ล้านพารามิเตอร์ GLM-130B เหนือกว่าใน 12 งาน และตามบทความให้ผลดีกว่าราว 260% บนชุดข้อมูลความเข้าใจการอ่านด้วยเครื่องแบบสร้างคำตอบสองชุด (MRC)

สรุป
เราได้สำรวจ GLM-130B โมเดลภาษาขนาดใหญ่สองภาษาที่ผ่านการฝึกล่วงหน้าและมุ่งเปิดโอกาสให้คนเข้าร่วมวิจัยมากขึ้น การออกแบบและงานวิศวกรรมช่วยให้ชุมชน AI เข้าใจสถาปัตยกรรม ประสิทธิภาพและเสถียรภาพในการฝึก เป้าหมายการฝึกล่วงหน้า และการอนุมานที่มีต้นทุนเข้าถึงได้ดีขึ้น












