โมเดล Mixture of Experts (MoE) 8x7B ของ Mistral AI

Mistral AI

ซึ่งเป็นสตาร์ทอัพแบบเปิดของปารีส ได้ท้าทายบรรทัดฐานโดยการปล่อยโมเดลภาษาขนาดใหญ่ (LLM) โมเดล MoE 8x7B ของพวกเขาผ่านลิงก์ 토렌트แบบง่ายๆ ลิงก์ 토렌트 นี่เป็นการขัดแย้งกับแนวทางแบบดั้งเดิมของ Google ในการปล่อย Gemini ซึ่งทำให้เกิดการอภิปรายและความตื่นเต้นภายในชุมชน AI

แนวทางของ Mistral AI ในการปล่อยผลิตภัณฑ์ไม่เคยเป็นไปตามบรรทัดฐาน มักจะไม่มีการเขียนเอกสารหรือแถลงข่าว แต่กลับใช้กลยุทธ์ที่ไม่เหมือนใครซึ่งได้ผลในการดึงดูดความสนใจของชุมชน AI

เมื่อเร็วๆ นี้ บริษัทได้ทำการระดมทุนได้ถึง 2 พันล้านดอลลาร์หลังจากการระดมทุนรอบที่นำโดย Andreessen Horowitz ซึ่งเป็นรอบที่ใหญ่ที่สุดในประวัติศาสตร์ยุโรป นอกเหนือจากความสำเร็จในการระดมทุน Mistral AI ยังมีส่วนร่วมอย่างแข็งขันในการอภิปรายเกี่ยวกับ EU AI Act โดยสนับสนุนให้มีการลดการกำกับดูแลใน AI ที่เปิด

เหตุใด MoE 8x7B จึงดึงดูดความสนใจ

โมเดล MoE 8x7B ถูกอธิบายว่าเป็น “GPT-4 ที่ลดขนาดลง” โดยใช้โครงสร้าง Mixture of Experts (MoE) ที่มี 8 โมเดลผู้เชี่ยวชาญ แต่ละคนมี 111B พารามิเตอร์ และ 55B พารามิเตอร์ความสนใจที่ใช้ร่วมกัน ทำให้มีทั้งหมด 166B พารามิเตอร์ต่อโมเดล การออกแบบนี้มีความสำคัญเนื่องจากอนุญาตให้ใช้เพียง 2 โมเดลผู้เชี่ยวชาญในการอนุมานของแต่ละโทเค็น ซึ่งแสดงถึงการเปลี่ยนแปลงไปสู่การประมวลผล AI ที่มีประสิทธิภาพและเน้นไปที่การทำงานมากขึ้น

จุดเด่นสำคัญของ MoE 8x7B คือความสามารถในการจัดการบริบทที่กว้างขวางถึง 32,000 โทเค็น ทำให้มีความสามารถในการจัดการงานที่ซับซ้อนได้ดี โมเดลนี้มีความสามารถในการใช้ภาษาหลายภาษา รวมถึงภาษาอังกฤษ ฝรั่งเศส อิตาลี เยอรมัน และสเปน ซึ่งรองรับชุมชนนักพัฒนาทั่วโลก

การฝึกอบรม MoE 8x7B ใช้ข้อมูลจากเว็บที่เปิดกว้าง โดยใช้การฝึกอบรมแบบพร้อมกันสำหรับทั้งผู้เชี่ยวชาญและผู้กำกับวิธีการนี้รับประกันว่าโมเดลไม่เพียงแต่มีพารามิเตอร์ที่กว้างใหญ่เท่านั้น แต่ยังถูกปรับให้เหมาะสมกับข้อมูลที่หลากหลายที่ได้รับการเปิดเผย

MoE 8x7B ได้รับคะแนนน่าประทับใจ

MoE 8x7B มีประสิทธิภาพเหนือกว่า LLaMA 2 70B และ GPT-3.5 โดยเฉพาะอย่างยิ่งในงาน MBPP โดยมีอัตราความสำเร็จ 60.7% ซึ่งสูงกว่าโมเดลอื่นๆ อย่างมีนัยสำคัญ นอกจากนี้ MoE 8x7B ยังได้รับคะแนนน่าประทับใจในงาน MT-Bench ที่ออกแบบมาเพื่อโมเดลที่ติดตามคำสั่ง ซึ่งเกือบจะเท่ากับ GPT-3.5

การทำความเข้าใจโครงสร้าง Mixture of Experts (MoE)

โมเดล Mixture of Experts (MoE) ซึ่งได้รับความสนใจล่าสุดเนื่องจากการรวมเข้ากับโมเดลภาษาที่ทันสมัย เช่น MoE 8x7B ของ Mistral AI มีจุดเริ่มต้นมาจากแนวคิดพื้นฐานที่มีประวัติยาวนาน มาทำความเข้าใจกับแนวคิดนี้ผ่านการวิจัยที่สำคัญ

แนวคิดของ MoE

Mixture of Experts (MoE) เป็นการเปลี่ยนแปลงพาราได้ม์ใหม่ในโครงสร้างของเครือข่ายประสาทเทียม มันไม่เหมือนกับโมเดลแบบดั้งเดิมที่ใช้เครือข่ายที่เป็นเนื้อเดียวกันเพื่อประมวลผลข้อมูลทุกประเภท MoE ใช้แนวทางที่เชี่ยวชาญและแบบโมดูลาร์ มันประกอบด้วย ‘ผู้เชี่ยวชาญ’ หลายคน ซึ่งแต่ละคนออกแบบมาเพื่อจัดการกับข้อมูลหรืองานที่เฉพาะเจาะจง โดยมี ‘เครือข่ายกำกับ’ ที่กำกับข้อมูลเข้าไปสู่ผู้เชี่ยวชาญที่เหมาะสม

ชั้น Mixture of Experts (MoE) ที่ฝังอยู่ในโมเดลภาษาที่ซ้ำกัน (แหล่งที่มา)

รูปด้านบนแสดงภาพรวมของชั้น MoE ที่ฝังอยู่ในโมเดลภาษา ในส่วนสำคัญ ชั้น MoE ประกอบด้วยเครือข่ายย่อยไปข้างหน้าหลายตัวที่เรียกว่า ‘ผู้เชี่ยวชาญ’ แต่ละคนมีศักยภาพในการเชี่ยวชาญในการประมวลผลด้านต่างๆ ของข้อมูล เครือข่ายกำกับกำหนดว่าผู้เชี่ยวชาญคนใดจะถูกใช้สำหรับข้อมูลเข้า ซึ่งช่วยให้เครือข่ายสามารถเพิ่มความสามารถโดยไม่ต้องเพิ่มความต้องการการประมวลผล

การทำงานของชั้น MoE

ในทางปฏิบัติ เครือข่ายกำกับประเมินข้อมูลเข้า (แสดงเป็น G(x) ในแผนภาพ) และเลือกชุดผู้เชี่ยวชาญที่จะประมวลผลข้อมูลนั้น การเลือกนี้ถูกควบคุมโดยการผลิตของเครือข่ายกำกับ ซึ่งแทนที่จะกำหนด ‘การลงคะแนน’ หรือการมีส่วนร่วมของแต่ละผู้เชี่ยวชาญต่อผลลัพธ์สุดท้าย สำหรับตัวอย่างเช่น ในแผนภาพที่แสดง ผู้เชี่ยวชาญเพียง 2 คนอาจถูกเลือกสำหรับการคำนวณผลลัพธ์สำหรับโทเค็นแต่ละตัว ทำให้กระบวนการมีประสิทธิภาพโดยการมุ่งเน้นทรัพยากรการประมวลผลที่จำเป็น

Transformer Encoder ที่มีชั้น MoE (แหล่งที่มา)

ภาพที่สองแสดงถึงการเปรียบเทียบระหว่าง Transformer Encoder แบบดั้งเดิมและแบบที่มีชั้น MoE โมเดล Transformer มีชื่อเสียงในเรื่องของประสิทธิภาพในการประมวลผลภาษา โดยทั่วไปประกอบด้วยชั้นการดูแลตนเองและชั้นไปข้างหน้าที่ซ้อนกัน การเพิ่มชั้น MoE ทำให้สามารถปรับขนาดโมเดลได้ดีขึ้น

ในโมเดลที่เพิ่มแล้ว ชั้น MoE ถูกแบ่งออกไปทั่วหลายอุปกรณ์ ซึ่งแสดงถึงการเข้าใกล้แบบโมเดลแบบขนาน นี่เป็นสิ่งสำคัญเมื่อปรับขนาดโมเดลขนาดใหญ่มากๆ เนื่องจากช่วยให้สามารถกระจายภาระการประมวลผลและความต้องการหน่วยความจำไปทั่วคลัสเตอร์ของอุปกรณ์ เช่น GPU หรือ TPU การกระจายนี้จำเป็นต่อการฝึกและใช้งานโมเดลที่มีพารามิเตอร์หลายพันล้านหรือหลายล้านล้านได้อย่างมีประสิทธิภาพ

การนำ MoE มาใช้ในสถานการณ์จริง

ความสามารถหลากหลายของ MoE ทำให้เหมาะสำหรับการใช้งานหลายประเภท:

• การประมวลผลภาษาธรรมชาติ (NLP): โมเดล MoE สามารถจัดการกับภาษาของมนุษย์ที่ซับซ้อนได้ดีขึ้น ทำให้เหมาะสำหรับงาน NLP ที่ซับซ้อน
• การประมวลผลภาพและวิดีโอ: ในงานที่ต้องการการประมวลผลภาพหรือวิดีโอที่มีความละเอียดสูง MoE สามารถจัดการกับด้านต่างๆ ของภาพหรือเฟรมวิดีโอได้ ทำให้การประมวลผลมีประสิทธิภาพและคุณภาพดีขึ้น
• โซลูชัน AI ที่ปรับแต่งได้: ธุรกิจและนักวิจัยสามารถปรับโมเดล MoE ให้เหมาะกับงานเฉพาะ ทำให้ได้โซลูชัน AI ที่มีประสิทธิภาพและเหมาะสมมากขึ้น

ความท้าทายและข้อพิจารณา

แม้ว่าโมเดล MoE จะมีประโยชน์หลายอย่าง แต่ก็มีความท้าทายที่ไม่เหมือนใคร:

• ความซับซ้อนในการฝึกอบรมและปรับแต่ง: ลักษณะการกระจายของโมเดล MoE สามารถทำให้กระบวนการฝึกอบรมซับซ้อนขึ้น โดยต้องการการปรับสมดุลและปรับแต่งผู้เชี่ยวชาญและเครือข่ายกำกับอย่างรอบคอบ
• การบริหารจัดการทรัพยากร: การจัดการทรัพยากรการประมวลผลอย่างมีประสิทธิภาพทั่วผู้เชี่ยวชาญหลายคนเป็นสิ่งสำคัญเพื่อให้ได้ประโยชน์สูงสุดจากโมเดล MoE

การรวมชั้น MoE เข้ากับเครือข่ายประสาทเทียม โดยเฉพาะในโดเมนของโมเดลภาษา เป็นหนทางในการปรับขนาดโมเดลให้ใหญ่ขึ้นโดยไม่ถูกจำกัดด้วยข้อจำกัดการประมวลผล ชั้น MoE ที่อนุญาตให้ทำการประมวลผลแบบมีเงื่อนไขช่วยให้สามารถกระจายทรัพยากรการประมวลผลได้อย่างมีประสิทธิภาพ ทำให้สามารถฝึกโมเดลที่ใหญ่และสามารถทำงานได้ดีขึ้น เมื่อเราต้องการให้ระบบ AI ของเราทำงานได้ดีขึ้น โครงสร้างแบบ MoE ที่มี Transformer อาจกลายเป็นมาตรฐานสำหรับการจัดการงานที่ซับซ้อนและขนาดใหญ่ในหลายโดเมน