Zephyr-7B : โมเดลภาษาขนาดใหญ่ที่ได้รับการปรับให้เหมาะสมสูงจาก HuggingFace ที่สร้างขึ้นบน Mistral 7B

บทนำ

การพัฒนาของโมเดลภาษาขนาดใหญ่ที่เปิดกว้าง (LLMs) ได้ส่งผลกระทบอย่างมากต่อชุมชนการวิจัย AI โดยเฉพาะอย่างยิ่งในการพัฒนาแชทบอทและแอปพลิเคชันที่คล้ายคลึงกัน หลังจากการเปิดตัวโมเดลอย่าง LLaMA มีการวิจัยเกี่ยวกับการปรับให้เหมาะสมอย่างมีประสิทธิภาพ การจัดการพรอมต์ที่ขยายออกไป การสร้างเนื้อหาที่เพิ่มขึ้น (RAG) และการปรับขนาด

โมเดล LLaMA เป็นตัวอย่างที่ดีของการปรับให้เหมาะสมและบริบทของพรอมต์ ซึ่งเปิดทางให้โมเดลที่ตามมา เช่น MPT ของ MosaicML, RedPajama-INCITE ของ Together AI, Falcon ของ TII และ Llama 2 ของ Meta แต่ละโมเดลมีความสามารถที่เป็นเอกลักษณ์ ซึ่งเพิ่มฟังก์ชันโดยรวมและขอบเขตของ LLMs

Mistral AI ซึ่งเป็นสตาร์ทอัพจากปารีสและก่อตั้งโดยอดีตพนักงานของ Google DeepMind และ Meta ได้สร้างชื่อเสียงให้กับตัวเองด้วยผลิตภัณฑ์แรกของตน คือ Mistral 7B

จุดเด่นของ Mistral 7B คือความสามารถในการทำงานที่มีประสิทธิภาพ โดยให้ความสามารถที่คล้ายกันหรือดีกว่าเมื่อเทียบกับโมเดลที่คล้ายคลึงกัน แต่ต้องการทรัพยากรการคำนวณน้อยกว่า

โดยเฉพาะอย่างยิ่ง Mistral 7B Instruct ได้รับการปรับให้เหมาะสมสำหรับงานสอน และมีประสิทธิภาพสูงบนแพลตฟอร์ม Hugging Face โดยที่มันสามารถเอาชนะโมเดลอื่นๆ ในขนาดเดียวกันและแข่งขันกับโมเดลที่มีพารามิเตอร์เกือบสองเท่า

โดยสร้างบนพื้นฐานนี้ Hugging Face ได้เปิดตัว Zephyr 7B Alpha ซึ่งแสดงให้เห็นว่าโมเดล Mistral 7B ที่ได้รับการปรับให้เหมาะสมสามารถเอาชนะความสามารถของโมเดลแชทที่ใหญ่กว่าได้ และในบางกรณีสามารถแข่งขันกับ GPT-4 ได้ “Alpha” เป็นเพียงจุดเริ่มต้นเท่านั้น เนื่องจาก Zephyr 7B Beta ได้ตามมาไม่นาน

บทความนี้จะสำรวจวิธีที่ Zephyr-7B ใช้พลังของโมเดลที่ใหญ่กว่าเพื่อปรับปรุงความสามารถในการตอบสนองและจัดตำแหน่งตามคำสั่งของมนุษย์ ซึ่งเป็นกระบวนการที่ทำได้โดยใช้เทคนิคการกลั่นเนื้อความรู้ (knowledge distillation) วิธีนี้เกี่ยวข้องกับการฝึกโมเดลที่เล็กกวนบนรูปแบบที่ซับซ้อนซึ่งได้มาจากโมเดลที่ใหญ่กว่า โดยลดความต้องการในการฝึกโดยไม่สูญเสียความสามารถในการสร้างแบบจำลองภาษา

การกลั่นเนื้อความรู้

นวัตกรรมหลักในการพัฒนาโมเดลอย่าง Zephyr-7B คือการปรับให้เหมาะสมแบบดิสทิล (distilled supervised fine-tuning, dSFT) วิธีนี้เกี่ยวข้องกับการใช้เอาต์พุตจากโมเดล “ครู” ที่ใหญ่กว่าและสามารถทำได้ดีกว่าเพื่อฝึกโมเดล “นักเรียน” ที่เล็กกว่า โดยเพิ่มความแม่นยำ

การกลั่นเนื้อความรู้เป็นวิธีการหนึ่งในการเรียนรู้ของเครื่อง โดยที่โมเดลที่กะทัดรัดเรียกว่า “นักเรียน” จะถูกสอนให้ทำซ้ำการทำงานของโมเดลที่ใหญ่และซับซ้อนกว่าเรียกว่า “ครู” เทคนิคนี้ช่วยให้นักเรียนสามารถทำงานที่เคยอยู่นอกความสามารถของมันโดยการถ่ายทอดรูปแบบที่ซับซ้อนซึ่งครูได้เรียนรู้

การกลั่นเนื้อความรู้ | โมเดลครู-นักเรียน

โมเดลนักเรียนจะฝึกอบรมบนเอาต์พุตหรือคุณลักษณะที่สร้างโดยโมเดลครู โดยมุ่งเน้นไปที่การทำซ้ำเอาต์พุตเหล่านั้นมากกว่าการพยากรณ์ผลลัพธ์สุดท้ายเท่านั้น ซึ่งช่วยให้นักเรียนเรียนรู้กระบวนการตัดสินใจที่ซับซ้อนของครู ซึ่งมักจะนำไปสู่การปรับปรุงประสิทธิภาพเมื่อเทียบกับการฝึกอบรมด้วยข้อมูลจริงเท่านั้น

ในกรณีของ Zephyr-7B การกลั่นเนื้อความรู้ถูกใช้เพื่อเติมโมเดล 7B พารามิเตอร์ที่เล็กกว่าด้วยความสามารถของโมเดลที่ใหญ่กว่า โดยทำได้โดยการฝึกโมเดลให้เรียนรู้รูปแบบที่ซับซ้อนจากครู และลดความต้องการในการฝึกโดยไม่สูญเสียความสามารถในการสร้างแบบจำลองภาษา

การก่อสร้าง ZEPHYR-7B

เพื่อยืนยัน dDPO นักวิจัยได้สร้าง ZEPHYR-7B ซึ่งเป็นรุ่นที่จัดตำแหน่งของโมเดล Mistral-7B โดยกระบวนการนี้ประกอบด้วยสามขั้นตอน:

1. dSFT โดยใช้ UltraChat Dataset: การฝึกอบรมแบบดิสทิล (dSFT) เป็นวิธีการฝึกโมเดลภาษาขนาดใหญ่โดยใช้เอาต์พุตของโมเดล “ครู” ที่ใหญ่กว่าและสามารถทำได้ดีกว่า
2. การรวมข้อมูล AI จาก UltraFeedback: ข้อมูลนี้มีความสำคัญต่อการปรับปรุงการตอบสนองของโมเดล
3. การประยุกต์ใช้ dDPO: ขั้นตอนสุดท้ายเกี่ยวข้องกับการปรับปรุงโมเดล dSFT โดยการเพิ่มความน่าจะเป็นของการให้คะแนนการตอบสนองที่ต้องการสูงกว่า

วิธีการที่ใช้ใน Zephyr-7B สะท้อนถึงกระบวนการที่ใช้ใน InstructGPT

Zephyr-7B ประสบความสำเร็จในการทำงานที่คล้ายกับโมเดล 70B พารามิเตอร์ที่จัดตำแหน่งด้วยข้อมูลการตอบสนองของมนุษย์ และมีประสิทธิภาพสูงในทั้งการประเมินเชิงวิชาการและความสามารถในการสนทนา

การแก้ไขปัญหาการจัดตำแหน่งความตั้งใจ

ปัญหาหนึ่งที่สำคัญของ LLMs คือการจัดตำแหน่งความตั้งใจของมนุษย์ โมเดลก่อนหน้านี้มักไม่สามารถตอบสนองความต้องการของผู้ใช้ได้อย่างถูกต้อง ซึ่งนำไปสู่คำตอบที่ไม่ถูกต้องหรือไม่เกี่ยวข้อง

วิธีการประเมิน

การประเมิน Zephyr 7B เกี่ยวข้องกับการทดสอบอย่างเข้มงวดบนมาตรฐานที่ประเมินความสามารถในการสนทนาในบริบทเดียวและหลายบริบท:

• MT-Bench: มาตรฐานหลายรอบที่ต้องการให้โมเดลตอบคำถาม 160 คำข้าม 8 โดเมน
• AlpacaEval: มาตรฐานรอบเดียวที่นำเสนอคำถาม 805 คำข้ามหัวข้อต่างๆ

Zephyr 7B ยังถูกทดสอบบน Open LLM Leaderboard ซึ่งให้ข้อมูลเชิงลึกเกี่ยวกับการให้เหตุผลและความจริงหลังการปรับให้เหมาะสม

ชุดข้อมูลและผลลัพธ์

ชุดข้อมูลที่ใช้

ในการพัฒนา Zephyr-7B มีการใช้ชุดข้อมูลสองชุดเพื่อฝึกและปรับปรุงโมเดล

UltraChat Dataset

• แหล่งที่มา: พัฒนาจากการสนทนาที่สร้างโดย GPT-3.5-TURBO
• เนื้อหา: มี 1.47 ล้านการสนทนาหลายรอบที่ครอบคลุม 30 หัวข้อและ 20 ประเภทของเนื้อหาที่เกี่ยวข้อง
• การปรับปรุง: ชุดข้อมูลได้รับการปรับปรุงโดยใช้การปรับให้เหมาะสมของการสร้างประโยคและตัวกรองเพื่อเพิ่มความเป็นประโยชน์ของการตอบสนองและกำจัดคำนำที่ไม่จำเป็น

UltraFeedback Dataset

• แหล่งที่มา: ประกอบด้วยพรอมต์ที่ได้รับการประเมินโดย GPT-4 ซึ่งให้คะแนนการตอบสนองตามการปฏิบัติตามคำสั่ง ความซื่อสัตย์ และความเป็นประโยชน์
• เนื้อหา: มีพรอมต์ 64,000 รายการพร้อมการตอบสนอง 4 รายการสำหรับแต่ละพรอมต์ ซึ่งได้รับการให้คะแนนโดย GPT-4
• ความชอบทวินาม: สร้างขึ้นโดยการเลือกการตอบสนองที่มีคะแนนเฉลี่ยสูงสุดเป็น “ที่เลือก” และสุ่มเลือกอีกหนึ่งรายการจากที่เหลือเป็น “ที่ปฏิเสธ” เพื่อเพิ่มความหลากหลายและท้าทายกระบวนการ DPO

สรุป

สรุปแล้ว การพัฒนา Zephyr-7B แสดงให้เห็นว่าการจัดตำแหน่งและกลั่นเนื้อความรู้ของความสามารถในการสนทนาจากโมเดลภาษาขนาดใหญ่ไปยังโมเดลที่เล็กกว่าสามารถทำได้โดยไม่ต้องอาศัยวิธีการแบบสุ่ม โดยใช้การปรับให้เหมาะสมแบบตรง (DPO) พร้อมด้วยข้อมูลการตอบสนองของ AI