การเพิ่มขึ้นของ Mixture-of-Experts สำหรับโมเดลภาษาขนาดใหญ่ที่มีประสิทธิภาพ

ในโลกของการประมวลผลภาษาธรรมชาติ (NLP) การสร้างโมเดลภาษาขนาดใหญ่และทรงพลังมากขึ้นเป็นแรงผลักดันที่อยู่เบื้องหลังความก้าวหน้ามากมายในระยะหลัง อย่างไรก็ตาม เมื่อโมเดลเหล่านี้มีขนาดใหญ่ขึ้น ความต้องการการประมวลผลสำหรับการฝึกอบรมและการอนุมานจะเพิ่มขึ้นอย่างมาก ทำให้เกิดแรงกดดันต่อทรัพยากรฮาร์ดแวร์ที่มีอยู่

นี่คือจุดที่ Mixture-of-Experts (MoE) เข้ามาเป็นเทคนิคที่สัญญาว่าจะช่วยบรรเทาความต้องการการประมวลผลนี้ ในขณะเดียวกันก็ช่วยให้สามารถฝึกอบรมโมเดลภาษาขนาดใหญ่และทรงพลังมากขึ้นได้ ในส่วนต่อไป เราจะพูดถึง MoE ค้นหาต้นกำเนิด การทำงานภายใน และการประยุกต์ใช้ในโมเดลภาษาที่ใช้ทรานส์ฟอร์เมอร์

ต้นกำเนิดของ Mixture-of-Experts

แนวคิดของ Mixture-of-Experts (MoE) สามารถสืบย้อนกลับไปถึงช่วงต้นปี 1990 เมื่อนักวิจัยได้สำรวจแนวคิดเรื่องการคำนวณแบบมีเงื่อนไข โดยที่ส่วนหนึ่งของเครือข่ายนิวรัลถูกกระตุ้นแบบเลือกตามข้อมูลอินพุต หนึ่งในงานวิจัยที่มีผลกระทบในด้านนี้คืองาน “Adaptive Mixture of Local Experts” โดย Jacobs et al. ในปี 1991 ซึ่งเสนอเฟรมเวิร์กการเรียนรู้แบบมีคำสั่งสำหรับアンサンブルของเครือข่ายนิวรัล แต่ละเครือข่ายมีความเชี่ยวชาญในพื้นที่ต่างๆ ของพื้นที่อินพุต

แนวคิดหลักเบื้องหลัง MoE คือการมีเครือข่าย “ผู้เชี่ยวชาญ” หลายเครือข่าย แต่ละเครือข่ายรับผิดชอบในการประมวลผลชุดย่อยของข้อมูลอินพุต ระบบเกตเวย์ ซึ่งเป็นเครือข่ายนิวรัลเอง จะกำหนดว่าควรใช้เครือข่ายผู้เชี่ยวชาญใดบ้างสำหรับอินพุตที่กำหนด แนวทางนี้ช่วยให้โมเดลสามารถจัดสรรทรัพยากรการประมวลผลได้อย่างมีประสิทธิภาพมากขึ้น โดยการกระตุ้นผู้เชี่ยวชาญที่เกี่ยวข้องสำหรับอินพุตแต่ละรายการ แทนที่จะใช้ความสามารถเต็มของโมเดลสำหรับทุกอินพุต

ตลอดหลายปีที่ผ่านมา นักวิจัยหลายคนได้สำรวจและขยายแนวคิดเรื่องการคำนวณแบบมีเงื่อนไข ซึ่งนำไปสู่การพัฒนาอย่างเช่น MoE แบบลำดับ ลดความซับซ้อนของการคำนวณแบบมีเงื่อนไข และเทคนิคสำหรับการประมาณการเกรเดียนต์ผ่านนิวรอนแบบสุ่มและฟังก์ชันการกระตุ้นแบบฮาร์ด-ทรีเกต

Mixture-of-Experts ในทรานส์ฟอร์เมอร์

Mixture of Experts

แม้ว่าแนวคิดของ MoE จะมีมาเป็นเวลานาน แต่การประยุกต์ใช้กับโมเดลภาษาที่ใช้ทรานส์ฟอร์เมอร์เป็นเรื่องที่ค่อนข้างใหม่ ทรานส์ฟอร์เมอร์ ซึ่งกลายเป็นมาตรฐานสำหรับโมเดลภาษาที่มีประสิทธิภาพสูงสุด.Compose ของเลเยอร์หลายเลเยอร์ แต่ละเลเยอร์มีกลไกการดูแลตนเองและเครือข่ายนิวรัลแบบฟีดฟอร์เวิร์ด (FFN)

นวัตกรรมหลักในการนำ MoE ไปใช้กับทรานส์ฟอร์เมอร์คือการแทนที่เลเยอร์ FFN ที่หนาแน่นด้วยเลเยอร์ MoE ที่มีความกระจาย โดยแต่ละเลเยอร์ประกอบด้วยผู้เชี่ยวชาญหลายคนและระบบเกตเวย์ ระบบเกตเวย์จะกำหนดว่าควรใช้ผู้เชี่ยวชาญใดบ้างสำหรับโทเคนอินพุตแต่ละตัว ทำให้โมเดลสามารถกระตุ้นผู้เชี่ยวชาญเพียงบางส่วนสำหรับลำดับอินพุตที่กำหนด

หนึ่งในงานวิจัยแรกที่แสดงศักยภาพของ MoE ในทรานส์ฟอร์เมอร์คืองาน “Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer” โดย Shazeer et al. ในปี 2017 ซึ่งแนะนำแนวคิดของเลเยอร์ MoE ที่มีการควบคุมแบบกระจาย ซึ่งใช้ระบบเกตเวย์ที่เพิ่มความกระจายและความสุ่มในการเลือกผู้เชี่ยวชาญ

ตั้งแต่นั้นมา งานวิจัยอื่นๆ ได้พัฒนาแนวคิดนี้ต่อไป โดยแก้ไขปัญหาต่างๆ เช่น ความไม่มั่นคงในการฝึกอบรม การกระจายภาระงาน และการอนุมานที่มีประสิทธิภาพ ตัวอย่างที่น่าสังเกต ได้แก่ Switch Transformer (Fedus et al., 2021), ST-MoE (Zoph et al., 2022) และ GLaM (Du et al., 2022)

ประโยชน์ของ Mixture-of-Experts สำหรับโมเดลภาษา

ประโยชน์หลักของการใช้ MoE ในโมเดลภาษาคือความสามารถในการเพิ่มขนาดโมเดลในขณะที่รักษาค่าใช้จ่ายการประมวลผลที่ค่อนข้างคงที่ระหว่างการอนุมาน โดยการกระตุ้นผู้เชี่ยวชาญเพียงบางส่วนสำหรับโทเคนอินพุตแต่ละตัว MoE สามารถบรรลุพลังการแสดงออกของโมเดลที่หนาแน่นขนาดใหญ่ในขณะที่ต้องการการประมวลผลน้อยลงมาก

ตัวอย่างเช่น สมมติว่าเรามีโมเดลภาษาที่มีเลเยอร์ FFN ที่หนาแน่นขนาด 7 พันล้านพารามิเตอร์ หากเราแทนที่เลเยอร์นี้ด้วยเลเยอร์ MoE ที่ประกอบด้วยผู้เชี่ยวชาญ 8 คน แต่ละคนมี 7 พันล้านพารามิเตอร์ จำนวนพารามิเตอร์ทั้งหมดจะเพิ่มขึ้นเป็น 56 พันล้านพารามิเตอร์ อย่างไรก็ตาม ระหว่างการอนุมาน หากเรากระตุ้นผู้เชี่ยวชาญเพียง 2 คนสำหรับแต่ละโทเคน ค่าใช้จ่ายการประมวลผลจะเทียบเท่ากับโมเดลที่หนาแน่นขนาด 14 พันล้านพารามิเตอร์ เนื่องจากมีการคำนวณการคูณเมทริกซ์ 7 พันล้านพารามิเตอร์ 2 ครั้ง

ความมีประสิทธิภาพในการประมวลผลระหว่างการอนุมานนี้มีคุณค่าอย่างยิ่งในสถานการณ์การใช้งานที่ทรัพยากรมีจำกัด เช่น อุปกรณ์เคลื่อนที่หรือสภาพแวดล้อมการประมวลผลแบบเอดจ์ นอกจากนี้ ความต้องการการประมวลผลที่ลดลงระหว่างการฝึกอบรมสามารถนำไปสู่การประหยัดพลังงานที่สำคัญและผลกระทบต่อสิ่งแวดล้อมที่ลดลง ซึ่งสอดคล้องกับการเน้นย้ำมากขึ้นเกี่ยวกับแนวปฏิบัติ AI ที่ยั่งยืน

ความท้าทายและข้อพิจารณา

แม้ว่า MoE จะมีประโยชน์ที่น่าสนใจ แต่การนำไปใช้และใช้งานก็มีความท้าทายและข้อพิจารณาหลายประการ:

1. ความไม่มั่นคงในการฝึกอบรม: โมเดล MoE มีแนวโน้มที่จะไม่มั่นคงในการฝึกอบรมมากกว่าโมเดลที่หนาแน่น นี่เกิดจากธรรมชาติของการกระตุ้นแบบมีเงื่อนไขและแบบกระจาย ซึ่งอาจนำไปสู่ความท้าทายในเรื่องการแพร่กระจายเกรเดียนต์และการบรรลุผลลัพธ์ เทคนิคบางอย่าง เช่น การสูญเสียรูเตอร์ (Zoph et al., 2022) ได้ถูกเสนอเพื่อลดความไม่มั่นคงเหล่านี้ แต่ยังคงต้องการการวิจัยเพิ่มเติม
2. การปรับแต่งและการ过拟: โมเดล MoE มีแนวโน้มที่จะ过拟ได้ง่ายขึ้นระหว่างการปรับแต่ง โดยเฉพาะอย่างยิ่งเมื่อข้อมูลฝึกอบรมมีขนาดเล็ก การกระทำนี้เกิดจากความจุและความกระจายที่เพิ่มขึ้นของโมเดล MoE ซึ่งอาจนำไปสู่การเชี่ยวชาญเกินไปในข้อมูลฝึกอบรม การปรับแต่งและการควบคุมอย่างระมัดระวังเป็นสิ่งจำเป็นในการบรรเทาปัญหานี้
3. ความต้องการหน่วยความจำ: แม้ว่าโมเดล MoE จะสามารถลดค่าใช้จ่ายการประมวลผลระหว่างการอนุมานได้ แต่โดยทั่วไปมีความต้องการหน่วยความจำสูงกว่าเมื่อเทียบกับโมเดลที่หนาแน่นขนาดใกล้เคียง นี่เนื่องมาจากการที่ต้องโหลดหน่วยความจำทั้งหมดของทุกผู้เชี่ยวชาญ แม้ว่าจะกระตุ้นผู้เชี่ยวชาญเพียงบางส่วนสำหรับอินพุตแต่ละรายการก็ตาม ความจำกัดด้านหน่วยความจำสามารถจำกัดความสามารถในการปรับขนาดของโมเดล MoE บนอุปกรณ์ที่มีทรัพยากรจำกัด
4. การกระจายภาระงาน: เพื่อให้ได้ประสิทธิภาพการประมวลผลที่ดีที่สุด จำเป็นต้องมีการกระจายภาระงานระหว่างผู้เชี่ยวชาญอย่างเหมาะสม เพื่อให้แน่ใจว่าไม่มีผู้เชี่ยวชาญคนใดถูกใช้มากเกินไปในขณะที่ผู้เชี่ยวชาญคนอื่นๆ ไม่ได้ถูกใช้ การกระจายภาระงานนี้มักจะบรรลุได้โดยการเพิ่มการสูญเสียเสริมระหว่างการฝึกอบรมและการปรับแต่งปัจจัยความจุ ซึ่งกำหนดจำนวนโทเคนสูงสุดที่สามารถมอบหมายให้ผู้เชี่ยวชาญแต่ละคนได้
5. การรับส่งข้อมูล: ในสถานการณ์การฝึกอบรมและการอนุมานแบบกระจาย โมเดล MoE อาจแนะนำการรับส่งข้อมูลเพิ่มเติมเนื่องจากความจำเป็นในการแลกเปลี่ยนข้อมูลการกระตุ้นและการแพร่กระจายเกรเดียนต์ระหว่างผู้เชี่ยวชาญที่อยู่ในอุปกรณ์หรือเครื่องเร่งความเร็วต่างๆ กลยุทธ์การสื่อสารที่มีประสิทธิภาพและการออกแบบโมเดลที่ตระหนักถึงฮาร์ดแวร์เป็นสิ่งจำเป็นในการบรรเทาความหน่วงนี้

แม้จะมีความท้าทายเหล่านี้ ศักยภาพของโมเดล MoE ในการเปิดใช้งานโมเดลภาษาขนาดใหญ่และทรงพลังมากขึ้นได้กระตุ้นให้เกิดความพยายามในการวิจัยที่สำคัญเพื่อแก้ไขและบรรเทาปัญหาเหล่านี้

ตัวอย่าง: Mixtral 8x7B และ GLaM

เพื่อแสดงการประยุกต์ใช้ MoE ในโมเดลภาษาในทางปฏิบัติ มาทำความรู้จักกับตัวอย่างที่น่าสนใจสองตัวอย่าง: Mixtral 8x7B และ GLaM

Mixtral 8x7B เป็นรูปแบบ MoE ของโมเดลภาษา Mistral ที่พัฒนาโดย Anthropic ประกอบด้วยผู้เชี่ยวชาญ 8 คน แต่ละคนมี 7 พันล้านพารามิเตอร์ ส่งผลให้มีพารามิเตอร์ทั้งหมด 56 พันล้านพารามิเตอร์ อย่างไรก็ตาม ระหว่างการอนุมาน จะกระตุ้นผู้เชี่ยวชาญเพียง 2 คนสำหรับแต่ละโทเคน ทำให้ค่าใช้จ่ายการประมวลผลลดลงเหลือเทียบเท่ากับโมเดลที่หนาแน่นขนาด 14 พันล้านพารามิเตอร์

Mixtral 8x7B ได้แสดงผลลัพธ์ที่น่าประทับใจ โดยสามารถเอาชนะโมเดล Llama ขนาด 70 พันล้านพารามิเตอร์ และมีเวลาอนุมานที่เร็วมาก รูปแบบที่ปรับให้เหมาะสมสำหรับคำสั่งของ Mixtral 8x7B ที่เรียกว่า Mixtral-8x7B-Instruct-v0.1 ยังได้รับการปล่อยตัว เพิ่มความสามารถในการปฏิบัติตามคำสั่งภาษาธรรมชาติ

ตัวอย่างอื่นที่น่าสังเกตคือ GLaM (Google (GOOGL ) Language Model) ซึ่งเป็นโมเดล MoE ขนาดใหญ่ที่พัฒนาโดย Google GLaM ใช้โครงสร้างทรานส์ฟอร์เมอร์แบบตัวถอดและถูกฝึกอบรมบนชุดข้อมูลขนาดใหญ่ 1.6 ล้านล้านโทเคน โมเดลนี้บรรลุผลลัพธ์ที่น่าประทับใจในการประเมินแบบ few-shot และ one-shot โดยสามารถเทียบเท่ากับคุณภาพของ GPT-3 ในขณะที่ใช้พลังงานเพียงหนึ่งในสามในการฝึกอบรม GPT-3

ความสำเร็จของ GLaM สามารถอธิบายได้จากโครงสร้าง MoE ที่มีประสิทธิภาพ ซึ่งช่วยให้สามารถฝึกอบรมโมเดลที่มีพารามิเตอร์จำนวนมากในขณะที่รักษาค่าใช้จ่ายการประมวลผลให้เหมาะสม โมเดลนี้ยังแสดงให้เห็นถึงศักยภาพของโมเดล MoE ในการเป็นรูปแบบที่ประหยัดพลังงานและเป็นมิตรกับสิ่งแวดล้อมมากกว่าโมเดลที่หนาแน่น

สถาปัตยกรรม Grok-1

GROK MIXTURE OF EXPERT

Grok-1 เป็นโมเดล MoE ที่ใช้ทรานส์ฟอร์เมอร์ โดยมีสถาปัตยกรรมที่ออกแบบมาเพื่อเพิ่มประสิทธิภาพและประสิทธิผล มาทำความรู้จักกับรายละเอียดสำคัญ:

1. พารามิเตอร์: ด้วยพารามิเตอร์ 314 พันล้านพารามิเตอร์ Grok-1 เป็นโมเดล LLM ที่เปิดกว้างที่ใหญ่ที่สุดจนถึงปัจจุบัน อย่างไรก็ตาม เนื่องจากสถาปัตยกรรม MoE เพียง 25% ของน้ำหนัก (ประมาณ 86 พันล้านพารามิเตอร์) ที่ใช้งานระหว่างการประมวลผล
2. สถาปัตยกรรม: Grok-1 ใช้สถาปัตยกรรม Mixture-of-8-Experts โดยแต่ละโทเคนจะถูกประมวลผลโดยผู้เชี่ยวชาญ 2 คนระหว่างการอนุมาน
3. เลเยอร์: โมเดลประกอบด้วยเลเยอร์ทรานส์ฟอร์เมอร์ 64 เลเยอร์ แต่ละเลเยอร์มีกลไกการดูแลตนเองและบล็อกนิวรัลแบบฟีดฟอร์เวิร์ด
4. การแบ่งคำ: Grok-1 ใช้ตัวแบ่งคำ SentencePiece โดยมีขนาดว็อคับูลารี่ 131,072 โทเคน
5. การฝังและการเข้ารหัสตำแหน่ง: โมเดลนี้มีการฝัง 6,144 มิติ และใช้การเข้ารหัสตำแหน่งแบบโรตารี่ ซึ่งช่วยให้สามารถตีความข้อมูลได้อย่างมีพลังมากขึ้นเมื่อเทียบกับการเข้ารหัสตำแหน่งแบบคงที่
6. การดูแลตนเอง: Grok-1 ใช้หัวการดูแลตนเอง 48 หัวสำหรับการถามและ 8 หัวสำหรับคีย์และค่า โดยแต่ละหัวมีขนาด 128
7. ความยาวบริบท: โมเดลสามารถประมวลผลลำดับได้ยาวถึง 8,192 โทเคน โดยใช้ความแม่นยำ bfloat16 สำหรับการคำนวณที่มีประสิทธิภาพ

รายละเอียดการแสดงผลและข้อมูลการนำไปใช้

Grok-1 ได้แสดงผลลัพธ์ที่น่าประทับใจ โดยสามารถเอาชนะ LLaMa 2 70B และ Mixtral 8x7B ด้วยคะแนน MMLU 73% ซึ่งแสดงให้เห็นถึงประสิทธิภาพและความแม่นยำของโมเดล

อย่างไรก็ตาม ควรทราบว่า Grok-1 ต้องการทรัพยากร GPU ที่สำคัญเนื่องจากขนาดที่ใหญ่ของโมเดล การนำไปใช้ในปัจจุบันในเวอร์ชันโอเพ่นซอร์สเน้นการตรวจสอบความถูกต้องของโมเดลและใช้การนำไปใช้เลเยอร์ MoE ที่ไม่มีประสิทธิภาพเพื่อหลีกเลี่ยงความจำเป็นในการสร้างเคอร์เนลแบบกำหนดเอง

โมเดลนี้รองรับการแบ่งส่วนการกระตุ้นและการปรับให้เหมาะสม 8 บิต ซึ่งสามารถปรับปรุงประสิทธิภาพและลดความต้องการหน่วยความจำได้

ในขั้นตอนสำคัญ xAI ได้ปล่อย Grok-1 ภายใต้ใบอนุญาต Apache 2.0 ทำให้น้ำหนักและสถาปัตยกรรมของโมเดลสามารถเข้าถึงได้สำหรับชุมชนโลกในการใช้และร่วมพัฒนา

การปล่อยตัวโอเพ่นซอร์สรวมถึงรีพอซิทอรี่ตัวอย่าง JAX ที่แสดงวิธีการโหลดและรันโมเดล Grok-1 ผู้ใช้สามารถดาวน์โหลดน้ำหนักเช็คพอยต์โดยใช้ไคลเอ็นต์ 토เรนต์หรือโดยตรงผ่าน HuggingFace Hub ทำให้สามารถเข้าถึงโมเดลที่ก้าวหน้านี้ได้อย่างง่ายดาย

อนาคตของ Mixture-of-Experts ในโมเดลภาษา

เมื่อความต้องการโมเดลภาษาที่ใหญ่และทรงพลังมากขึ้นยังคงเพิ่มขึ้น การนำ MoE ไปใช้ก็มีแนวโน้มที่จะเพิ่มขึ้นเช่นกัน การวิจัยที่กำลังดำเนินอยู่มุ่งเน้นไปที่การแก้ไขปัญหาที่เหลืออยู่ เช่น การปรับปรุงความเสถียรในการฝึกอบรม การบรรเทาการ过拟ระหว่างการปรับแต่ง และการปรับปรุงความต้องการหน่วยความจำและการสื่อสาร

หนึ่งในทิศทางที่มีแนวโน้มคือการสำรวจสถาปัตยกรรม MoE แบบลำดับ โดยที่ผู้เชี่ยวชาญแต่ละคนประกอบด้วยผู้เชี่ยวชาญย่อยหลายคน ซึ่งอาจทำให้สามารถขยายขนาดและเพิ่มประสิทธิภาพการประมวลผลได้มากขึ้นในขณะที่รักษาพลังการแสดงออกของโมเดลขนาดใหญ่

นอกจากนี้ การพัฒนาระบบฮาร์ดแวร์และซอฟต์แวร์ที่ได้รับการปรับให้เหมาะสมสำหรับโมเดล MoE เป็นเรื่องที่กำลังได้รับการวิจัยอย่างแข็งขัน อุปกรณ์เร่งความเร็วและเฟรมเวิร์กการฝึกอบรมแบบกระจายที่ออกแบบมาเพื่อจัดการรูปแบบการประมวลผลแบบกระจายและแบบมีเงื่อนไขของโมเดล MoE อาจเพิ่มประสิทธิภาพและความสามารถในการปรับขนาดของโมเดลเหล่านี้ได้อีก

นอกจากนี้ การรวม MoE กับแนวโน้มอื่นๆ ในการสร้างโมเดลภาษา เช่น กลไกการดูแลตนเองแบบกระจาย กลยุทธ์การแบ่งคำที่มีประสิทธิภาพ และการแสดงข้อมูลแบบหลายรูปแบบ อาจนำไปสู่โมเดลภาษาที่ทรงพลังและหลากหลายมากขึ้น ซึ่งสามารถจัดการกับงานที่หลากหลายได้

สรุป

เทคนิค Mixture-of-Experts ได้ปรากฏเป็นเครื่องมือที่ทรงพลังในการสร้างโมเดลภาษาขนาดใหญ่และทรงพลังมากขึ้น โดยการกระตุ้นผู้เชี่ยวชาญตามข้อมูลอินพุต MoE เสนอวิธีแก้ปัญหาที่มีแนวโน้มในการบรรเทาความต้องการการประมวลผลที่เพิ่มขึ้นของโมเดลขนาดใหญ่ ในขณะที่ยังคงรักษาความสามารถในการแสดงออกของโมเดลที่หนาแน่นขนาดใหญ่

แม้ว่าจะยังมีความท้าทายที่ต้องเผชิญ เช่น ความไม่มั่นคงในการฝึกอบรม การ过拟 และความต้องการหน่วยความจำ แต่ประโยชน์ที่เป็นไปได้ของโมเดล MoE ในด้านประสิทธิภาพการประมวลผล ความสามารถในการปรับขนาด และความยั่งยืนของสิ่งแวดล้อม ทำให้พวกมันเป็นเรื่องที่น่าสนใจสำหรับการวิจัยและพัฒนา

เมื่อภาคการประมวลผลภาษาธรรมชาติยังคงผลักดันขอบเขตของสิ่งที่เป็นไปได้ การนำ MoE ไปใช้ก็มีแนวโน้มที่จะเล่นบทบาทสำคัญในการเปิดใช้งานรุ่นต่อไปของโมเดลภาษา โดยการรวม MoE กับการพัฒนาอื่นๆ ในสถาปัตยกรรมโมเดล เทคนิคการฝึกอบรม และการปรับให้เหมาะสมของฮาร์ดแวร์ เราสามารถคาดหวังโมเดลภาษาที่ทรงพลังและหลากหลายมากขึ้น ซึ่งสามารถเข้าใจและสื่อสารกับมนุษย์ได้อย่างเป็นธรรมชาติและไม่มีข้อจำกัด