ความสามารถและประสิทธิภาพของโมเดลภาษาขนาดใหญ่ที่เปิดกว้างได้พัฒนาไปอย่างมากในช่วงหลายปีที่ผ่านมา และเราได้เห็นความก้าวหน้าจากโมเดล GPT-2 ในช่วงแรกไปจนถึงโมเดล LLM ที่กะทัดรัดและแม่นยำมากขึ้น ซึ่งใช้โทเค็นจำนวนมากกว่าที่แนะนำโดย Chinchilla scaling laws นอกจากนี้ นักพัฒนายังได้แสดงให้เห็นว่าโมเดล LLM ขนาดเล็กเหล่านี้สามารถฝึกอบรมเพิ่มเติมโดยใช้ dSFT หรือ Distilled Supervised Fine-Tuning ซึ่งเป็นแนวทางที่ใช้เอาต์พุตจากโมเดลครูที่มีประสิทธิภาพเป็นข้อมูลกำกับสำหรับโมเดลนักเรียนเพื่อเพิ่มความแม่นยำ

ในบทความนี้ เราจะพูดถึง Zephyr-7B ซึ่งเป็นเฟรมเวิร์กที่เป็นรัฐของศิลปะสำหรับโมเดลภาษาขนาด 7B ที่ไม่ต้องการการกำกับของมนุษย์ วัตถุประสงค์หลักของเฟรมเวิร์กคือช่วยให้นักพัฒนาสามารถสร้างโมเดลภาษาขนาดใหญ่ที่สอดคล้องกับเจตนารมณ์ของผู้ใช้ได้มากขึ้น Zephyr-7B ไม่เพียงแต่ตรวจสอบการประยุกต์ใช้แนวทางปัจจุบันสำหรับโมเดล LLM ขนาดใหญ่ เช่น dSFT แต่ยังสำรวจความเป็นไปได้ของการใช้แนวทางอื่น ๆ เพื่อเรียนรู้โมเดลการแชทที่มีการสอดคล้องกับเจตนารมณ์ของผู้ใช้มากขึ้น เราจะพิจารณาเฟรมเวิร์ก Zephyr-7B อย่างลึกซึ้ง และสำรวจสถาปัตยกรรม การทำงาน และผลลัพธ์ของมัน

Zephyr-7B : การแนะนำการกลั่นแยกความสอดคล้องโดยตรงในโมเดลภาษา

ตามที่กล่าวไว้ก่อนหน้านี้ โมเดลภาษาได้ก้าวหน้าไปอย่างมากในช่วงหลายปีที่ผ่านมา จากโมเดล GPT-2 ในช่วงแรกไปจนถึงโมเดล LLM ที่กะทัดรัดและแม่นยำมากขึ้น เช่น GPT-4 และ MiniGPT-5 ซึ่งแม้ว่าจะใช้โทเค็นจำนวนมาก แต่ก็แม่นยำและ効率มากขึ้น โมเดล LLM เหล่านี้รวมถึงโทเค็นจำนวนมากกว่าที่แนะนำโดย Chinchilla scaling laws นอกจากนี้ นักพัฒนายังได้แสดงให้เห็นว่าโมเดล LLM ขนาดเล็กเหล่านี้สามารถฝึกอบรมเพิ่มเติมโดยใช้ dSFT หรือ Distilled Supervised Fine-Tuning ซึ่งเป็นแนวทางที่ใช้เอาต์พุตจากโมเดลครูที่มีประสิทธิภาพเป็นข้อมูลกำกับสำหรับโมเดลนักเรียนเพื่อเพิ่มความแม่นยำ

การปรับให้เหมาะสมของเจตนารมณ์เป็นความท้าทายหลักสำหรับนักพัฒนาด้วยผลงานล่าสุดที่เน้นการพัฒนาเครื่องมือประเมินผล เช่น AlpacaEval และ MT-Bench ซึ่งพัฒนาเพื่อแก้ไขปัญหาการไม่สอดคล้องกันของโมเดล การพัฒนาเฟรมเวิร์ก Zephyr มาจากปัญหาในการใช้การกลั่นแยกเพื่อปรับให้โมเดล LLM ขนาดเล็กที่เปิดกว้างให้สอดคล้องกับเจตนารมณ์ของผู้ใช้โดยสมบูรณ์ โดยใช้ข้อมูลความชอบจากโมเดลครูเพื่อให้ได้ข้อมูลความชอบ และใช้ dDPO หรือ Denoising Diffusion Policy Optimization เป็นวัตถุประสงค์หลักในการเรียนรู้

นักพัฒนาสร้างเฟรมเวิร์ก Zephyr-7B เพื่อยืนยันแนวทางนี้ และในบางวิธีเป็นรุ่นที่สอดคล้องกับเฟรมเวิร์ก Mistral-7B ที่มีอยู่แล้ว เฟรมเวิร์กนี้ใช้ dSFT หรือ Distilled Supervised Fine-Tuning ตามข้อมูล UltraChat และใช้ dDPO หรือ Denoising Diffusion Policy Optimization บนข้อมูลความชอบ การทดลองแสดงให้เห็นว่า Zephyr-7B มี 7 พันล้านพารามิเตอร์สามารถให้ผลลัพธ์ที่เทียบเท่ากับโมเดลการแชทที่สอดคล้องกับการให้คำปรึกษาของมนุษย์โดยมีพารามิเตอร์มากกว่า 70 พันล้าน

รูปด้านบนแสดงถึงประสิทธิภาพของโมเดลภาษาต่าง ๆ บนเครื่องมือประเมิน MT-Bench เฟรมเวิร์ก Zephyr-7B ที่ฝึกอบรมโดยใช้ dDPO ถูกนำมาเปรียบเทียบกับโมเดลภาษาแบบปิดและแบบเปิดที่มีขนาดใหญ่กว่าซึ่งฝึกอบรมโดยใช้การเรียนรู้แบบเสริมและรวมถึงการให้คำปรึกษาของมนุษย์เป็นจำนวนมาก

Zephyr-7B : วิธีการทำงานและสถาปัตยกรรม

วัตถุประสงค์หลักของเฟรมเวิร์ก Zephyr-7B คือช่วยให้นักพัฒนาสามารถสร้างโมเดลภาษาขนาดใหญ่ที่สอดคล้องกับเจตนารมณ์ของผู้ใช้ได้มากขึ้น โดยทั่วไปแล้ว เฟรมเวิร์ก Zephyr-7B จะต้องเข้าถึงโมเดลครูที่มีขนาดใหญ่ซึ่งถูกใช้ในการสร้างคำถามและคำตอบ

รูปต่อไปนี้แสดงถึงขั้นตอนหลักสามขั้นในการทำงานของ Zephyr-7B

1. dSFT สำหรับการสร้างข้อมูลขนาดใหญ่โดยใช้แบบจำลองการสอนตนเอง
2. การรวบรวมข้อมูลความชอบโดยใช้โมเดลการแชทที่เสร็จสมบูรณ์ และการให้คะแนนโดย GPT-4
3. การปรับให้เหมาะสมของ dPO โดยใช้ข้อมูลความชอบ

dSFT หรือ Distilled Supervised Fine-Tuning

เฟรมเวิร์กเริ่มต้นด้วยโมเดลภาษาขนาดใหญ่ที่ต้องถูกฝึกอบรมให้ตอบสนองต่อคำถามของผู้ใช้ โดยทั่วไปแล้ว การฝึกอบรมโมเดลเหล่านี้ให้ตอบสนองต่อคำถามของผู้ใช้จะทำโดยใช้ SFT หรือ Supervised Fine Tuning บนข้อมูลที่มีคุณภาพสูงและคำตอบที่สอดคล้องกัน

การให้คำปรึกษาด้วย AI

การให้คำปรึกษาด้วย AI ใช้เพื่อจัดสรรโมเดลภาษาขนาดใหญ่ เนื่องจากสามารถให้สัญญาณเพิ่มเติมที่จำเป็นได้ และโดยทั่วไปแล้ว การให้คำปรึกษาด้วย AI จะทำโดยใช้ความชอบในคุณภาพของคำตอบที่สร้างโดยโมเดลภาษาขนาดใหญ่

แนวทางที่ Zephyr ใช้นั้นได้รับอิทธิพลจาก UltraFeedback ซึ่งใช้โมเดลครูเพื่อให้ความชอบในคำตอบของโมเดล

dDPO หรือ Distilled Direct Preference Optimization

dDPO เป็นขั้นตอนสุดท้ายของเฟรมเวิร์ก Zephyr-7B และมีวัตถุประสงค์หลักในการปรับให้เหมาะสมของโมเดลครูด้วยการเพิ่มโอกาสในการจัดอันดับคำตอบที่ชอบในโมเดลความชอบที่กำหนดโดยฟังก์ชันรางวัลโดยใช้โมเดลภาษาของนักเรียน

Zephyr-7B : การทดลอง ผลลัพธ์ และการประเมิน

เฟรมเวิร์ก Zephyr-7B ทำการทดลองการปรับให้เหมาะสมบนเฟรมเวิร์ก Mistral-7B ที่มีอยู่แล้วซึ่งมีประสิทธิภาพเทียบเท่ากับโมเดลภาษาขนาดใหญ่กว่าในงานประมวลผลภาษาธรรมชาติ

ข้อมูล

เฟรมเวิร์ก Zephyr-7B ใช้ข้อมูลสนทนาสองชุดซึ่งถูกกลั่นแยกจากโมเดลที่เป็นกรรมสิทธิ์และแบบเปิดซึ่งเคยพิสูจน์แล้วว่ามีประสิทธิภาพในการสร้างโมเดลการแชทที่มีประสิทธิภาพ

UltraChat

UltraChat คือชุดข้อมูลการปรับปรุงตนเองที่มีการสนทนาหลายรอบกว่า 1.5 ล้านรายการใน 30 หัวข้อและ 20 เนื้อหาที่สร้างโดย GPT-3.5-Turbo เพื่อแก้ไขปัญหาการใช้ตัวอักษรที่ไม่ถูกต้องใน UltraChat เฟรมเวิร์กใช้การปรับให้เหมาะสมของตัวอักษรที่แท้จริง

UltraFeedback

UltraFeedback คือชุดข้อมูลคำถามที่มีคำถามมากกว่า 64,000 คำถาม โดยแต่ละคำถามมีคำตอบของโมเดลภาษาขนาดใหญ่สี่แบบ Zephyr-7B ใช้คะแนนเฉลี่ยสูงสุดจาก UltraFeedback เพื่อสร้างความชอบแบบทวินาม และหนึ่งในสามคำตอบที่เหลือจะถูกปฏิเสธแบบสุ่ม

การประเมิน

เพื่อประเมินประสิทธิภาพของ Zephyr-7B นักพัฒนาจึงเลือกใช้เครื่องมือประเมินการแชทสองแบบ คือ แบบเดี่ยวและแบบหลายรอบ เพื่อประเมินความสามารถของโมเดลในการปฏิบัติตามคำแนะนำของผู้ใช้และตอบสนองตามนั้น

MT-Bench

MT-Bench คือเครื่องมือประเมินที่ประกอบด้วยคำถาม 160 คำใน 8 หัวข้อที่แตกต่างกัน และภายใต้ MT-Bench โมเดลจะต้องตอบคำถามแรกและให้คำตอบสำหรับคำถามติดตาม

AlpacaEval

AlpacaEval คือเครื่องมือประเมินแบบเดี่ยวที่โมเดลสร้างคำตอบของผู้ใช้สำหรับคำถามมากกว่า 800 คำในหัวข้อต่าง ๆ โดยเน้นไปที่ความมีประโยชน์

นอกเหนือจากเครื่องมือประเมินหลักสองแบบแล้ว Zephyr-7B ยังถูกประเมินบน Open LLM Leaderboard สำหรับงานจำแนกประเภทหลายประเภท ARC, HellaSwag, MMLU และอื่น ๆ นอกจากนี้ ไม่ว่า Zephyr-7B จะถูกประเมินบนเครื่องมือใด ก็จะถูกเปรียบเทียบกับโมเดลที่เป็นกรรมสิทธิ์และแบบเปิดที่มีกระบวนการปรับให้เหมาะสมที่แตกต่างกัน

ผลลัพธ์

มาดูผลลัพธ์ของ Zephyr-7B กัน

การนำ dDPO มาใช้เพิ่มความสามารถในการแชท

ตารางต่อไปนี้เปรียบเทียบประสิทธิภาพของ Zephyr-7B กับโมเดลภาษาที่มีอยู่แล้วบน AlpacaEval และ MT-Bench

เมื่อเปรียบเทียบกับโมเดล 7B ที่เปิด Zephyr-7B ไม่เพียงแต่เอาชนะ dSFT ทั่วทั้งสองเครื่องมือประเมินเท่านั้น แต่ยังสร้างมาตรฐานใหม่สำหรับสถานะของศิลปะอีกด้วย นอกจากนี้ Zephyr-7B ยังสามารถเอาชนะ XWIN-LM-7B ซึ่งเป็นหนึ่งในโมเดลที่หายากที่ถูกฝึกอบรมโดยใช้ dPPO หรือ distilled PPO และผลลัพธ์ที่ได้จาก Zephyr-7B ยังเทียบเท่ากับโมเดลภาษาขนาดใหญ่กว่า เช่น Llama2-Chat ที่มีพารามิเตอร์มากกว่า 70 พันล้าน

dDPO เพิ่มประสิทธิภาพงานวิชาการ

รูปต่อไปนี้เปรียบเทียบประสิทธิภาพของ Zephyr-7B กับโมเดลภาษาที่มีอยู่แล้ว

เมื่อเปรียบเทียบกับโมเดล LLM ที่มีพารามิเตอร์ 7 พันล้าน Zephyr-7B เอาชนะโมเดลเหล่านั้นได้อย่างมีนัยสำคัญ และช่องว่างระหว่างประสิทธิภาพของ Zephyr-7B และ dSFT ที่ดีที่สุดก็เห็นได้ชัดเจน เมื่อจำนวนพารามิเตอร์เพิ่มขึ้น Zephyr-7B ก็ยังคงตามไม่ทัน แต่ก็สามารถเทียบเท่ากับโมเดลที่มีพารามิเตอร์ 40 พันล้านได้

การปรับให้เหมาะสมของความชอบ

ในรูปต่อไปนี้ เราประเมินว่าขั้นตอนต่าง ๆ ในกระบวนการปรับให้เหมาะสมส่งผลต่อประสิทธิภาพอย่างไร

สุดท้าย ในรูปต่อไปนี้ เราจะเห็นความแม่นยำในการทดสอบและการฝึกอบรมระหว่างการนำ DPO มาใช้

สรุป

ในบทความนี้ เราได้พูดถึง Zephyr-7B ซึ่งเป็นเฟรมเวิร์กที่สร้างขึ้นจาก Mistral-7B ที่มีอยู่แล้วซึ่งมีจุดมุ่งหมายเพื่อแก้ไขปัญหาการกลั่นแยกความสอดคล้องจากโมเดลภาษาขนาดใหญ่ไปยังเฟรมเวิร์กที่เล็กกว่า

อย่างไรก็ตาม แม้ว่า Zephyr-7B จะให้ผลลัพธ์ที่น่าหวัง แต่ก็ยังไม่สมบูรณ์แบบและยังต้องการการปรับปรุงอยู่ หนึ่งในข้อจำกัดที่ชัดเจนคือการใช้ GPT-4 ในการประเมิน MT-Bench และ AlpacaEval ซึ่งมักจะเอนเอียงไปทางโมเดลที่กลั่นแยกออกมาเอง แต่ Zephyr-7B หวังที่จะสร้างทางเลือกสำหรับการสำรวจความสามารถของโมเดลที่เปิดกว้างที่สามารถสอดคล้องกับเจตนารมณ์และการโต้ตอบของผู้ใช้ได้