ความสามารถและประสิทธิภาพของโมเดลภาษาขนาดใหญ่ที่เปิดกว้างได้พัฒนาไปอย่างมากในช่วงหลายปีที่ผ่านมา และเราได้เห็นความก้าวหน้าจากโมเดล GPT-2 ในช่วงแรกไปจนถึงโมเดล LLM ที่กะทัดรัดและแม่นยำมากขึ้น ซึ่งใช้โทเค็นจำนวนมากกว่าปริมาณที่เหมาะสมทางการคำนวณตามกฎการขยายขนาดของ Chinchilla นอกจากนี้ นักพัฒนายังได้แสดงให้เห็นว่าโมเดล LLM ขนาดเล็กเหล่านี้สามารถฝึกอบรมเพิ่มเติมโดยใช้ dSFT หรือ Distilled Supervised Fine-Tuning ซึ่งเป็นแนวทางที่ใช้เอาต์พุตจากโมเดลครูที่มีประสิทธิภาพเป็นข้อมูลกำกับสำหรับโมเดลนักเรียนเพื่อเพิ่มความแม่นยำ

ในบทความนี้ เราจะพูดถึง Zephyr-7B ซึ่งเป็นเฟรมเวิร์กที่เป็นเกณฑ์มาตรฐานการแชทระดับแนวหน้าสำหรับโมเดลที่มีพารามิเตอร์ 7 พันล้าน ที่ไม่ต้องการการกำกับของมนุษย์ วัตถุประสงค์หลักของเฟรมเวิร์กคือช่วยให้นักพัฒนาสามารถสร้างโมเดลภาษาขนาดใหญ่ที่สอดคล้องกับเจตนารมณ์ของผู้ใช้ได้มากขึ้น Zephyr-7B ไม่เพียงแต่ตรวจสอบการประยุกต์ใช้แนวทางปัจจุบันสำหรับโมเดล LLM ขนาดใหญ่ เช่น dSFT แต่ยังสำรวจความเป็นไปได้ของการใช้แนวทางอื่น ๆ เพื่อเรียนรู้โมเดลการแชทที่มีการสอดคล้องกับเจตนารมณ์ของผู้ใช้มากขึ้น เราจะพิจารณาเฟรมเวิร์ก Zephyr-7B อย่างลึกซึ้ง และสำรวจสถาปัตยกรรม การทำงาน และผลลัพธ์ของมัน

Zephyr-7B : การแนะนำการกลั่นแยกความสอดคล้องโดยตรงในโมเดลภาษา

ตามที่กล่าวไว้ก่อนหน้านี้ โมเดลภาษาได้ก้าวหน้าไปอย่างมากในช่วงหลายปีที่ผ่านมา จากโมเดล GPT-2 ในช่วงแรกไปจนถึงโมเดล LLM ที่กะทัดรัดและแม่นยำมากขึ้น เช่น GPT-4 และ MiniGPT-5 ซึ่งแม้ว่าจะใช้โทเค็นจำนวนมาก แต่ก็แม่นยำและมีประสิทธิภาพมากขึ้น โมเดล LLM เหล่านี้รวมถึงโทเค็นจำนวนมากกว่าปริมาณที่เหมาะสมทางการคำนวณตามกฎการขยายขนาดของ Chinchilla นอกจากนี้ นักพัฒนายังได้แสดงให้เห็นว่าโมเดล LLM ขนาดเล็กเหล่านี้สามารถฝึกอบรมเพิ่มเติมโดยใช้ dSFT หรือ Distilled Supervised Fine-Tuning ซึ่งเป็นแนวทางที่ใช้เอาต์พุตจากโมเดลครูที่มีประสิทธิภาพเป็นข้อมูลกำกับสำหรับโมเดลนักเรียนเพื่อเพิ่มความแม่นยำ วิธีการกลั่นช่วยเพิ่มศักยภาพของโมเดลเปิดในงานหลากหลาย แต่ยังไม่อาจให้ผลเทียบเท่าครู ผู้ใช้มักรายงานปัญหา “ความไม่สอดคล้องกับเจตนา” เมื่อโมเดลไม่ตอบสนองตามความต้องการและให้คำตอบที่ไม่เหมาะกับอินพุตหรือคำถาม

การปรับให้เหมาะสมของเจตนารมณ์เป็นความท้าทายหลักสำหรับนักพัฒนาด้วยผลงานล่าสุดที่เน้นการพัฒนาเครื่องมือประเมินผล เช่น AlpacaEval และ MT-Bench ซึ่งพัฒนาเพื่อแก้ไขปัญหาการไม่สอดคล้องกันของโมเดล การพัฒนาเฟรมเวิร์ก Zephyr มาจากปัญหาในการใช้การกลั่นแยกเพื่อปรับให้โมเดล LLM ขนาดเล็กที่เปิดกว้างให้สอดคล้องกับเจตนารมณ์ของผู้ใช้โดยสมบูรณ์ โดยใช้ข้อมูลความชอบจากโมเดลครูเพื่อให้ได้ข้อมูลความชอบ และใช้ dDPO หรือ Denoising Diffusion Policy Optimization เป็นวัตถุประสงค์หลักในการเรียนรู้ โดยใช้ AIF หรือข้อมูลป้อนกลับจาก AI จากกลุ่มโมเดลครู ต่างจาก PPO แนวทางนี้ไม่ต้องพึ่งมนุษย์สุ่มตัวอย่างหรือใส่คำอธิบายกำกับ จึงลดเวลาฝึกและมุ่งเพิ่มรางวัลของเอาต์พุตตลอดกระบวนการ

นักพัฒนาสร้างเฟรมเวิร์ก Zephyr-7B เพื่อยืนยันแนวทางนี้ และในบางวิธีเป็นรุ่นที่สอดคล้องกับเฟรมเวิร์ก Mistral-7B ที่มีอยู่แล้ว เฟรมเวิร์กนี้ใช้ dSFT หรือ Distilled Supervised Fine-Tuning ตามข้อมูล UltraChat และใช้ dDPO หรือ Denoising Diffusion Policy Optimization บนข้อมูลความชอบ การทดลองแสดงให้เห็นว่า Zephyr-7B มี 7 พันล้านพารามิเตอร์สามารถให้ผลลัพธ์ที่เทียบเท่ากับโมเดลการแชทที่สอดคล้องกับข้อมูลป้อนกลับจากมนุษย์โดยมีพารามิเตอร์มากกว่า 70 พันล้าน ผลลัพธ์อาจดีขึ้นทั้งในการประเมินการสนทนาและเกณฑ์วิชาการมาตรฐาน และการเรียนรู้ความชอบมีบทบาทสำคัญต่อผลลัพธ์เหล่านี้

รูปด้านบนแสดงถึงประสิทธิภาพของโมเดลภาษาต่าง ๆ บนเครื่องมือประเมิน MT-Bench เฟรมเวิร์ก Zephyr-7B ที่ฝึกอบรมโดยใช้ dDPO ถูกนำมาเปรียบเทียบกับโมเดลภาษาแบบปิดและแบบเปิดที่มีขนาดใหญ่กว่าซึ่งฝึกอบรมโดยใช้การเรียนรู้แบบเสริมและรวมถึงข้อมูลป้อนกลับจากมนุษย์เป็นจำนวนมาก เช่น GPT-3.5 turbo และ Llama-2-70B แม้จำนวนพารามิเตอร์ต่างกันมาก Zephyr-7B ก็ให้ผลใกล้เคียงโมเดลส่วนใหญ่และเหนือกว่าหลายโมเดลในบางด้าน

Zephyr-7B : วิธีการทำงานและสถาปัตยกรรม

วัตถุประสงค์หลักของเฟรมเวิร์ก Zephyr-7B คือช่วยให้นักพัฒนาสามารถสร้างโมเดลภาษาขนาดใหญ่ที่สอดคล้องกับเจตนารมณ์ของผู้ใช้ได้มากขึ้น ตลอดกระบวนการ เฟรมเวิร์กสมมติว่าสามารถเข้าถึงโมเดลครูขนาดใหญ่ที่รับคำถามผ่านพรอมป์ต์ที่สร้างขึ้น โดยใช้แนวทางคล้าย InstructGPT เพื่อสร้างโมเดลนักเรียนที่มีประสิทธิภาพและแม่นยำ

รูปต่อไปนี้แสดงถึงขั้นตอนหลักสามขั้นในการทำงานของ Zephyr-7B

1. dSFT สำหรับการสร้างข้อมูลขนาดใหญ่โดยใช้แบบจำลองการสอนตนเอง
2. การรวบรวม AIF จากกลุ่มโมเดลที่สร้างคำตอบแชท แล้วแปลงความชอบเป็นคู่แบบทวิภาคและให้ GPT-4 ประเมินคะแนน
3. การปรับให้เหมาะสมของ dPO โดยใช้ข้อมูลความชอบ

dSFT หรือ Distilled Supervised Fine-Tuning

เฟรมเวิร์กเริ่มต้นด้วยโมเดลภาษาขนาดใหญ่ที่ต้องถูกฝึกอบรมให้ตอบสนองต่อคำถามของผู้ใช้ โดยทั่วไปแล้ว การฝึกอบรมโมเดลเหล่านี้ให้ตอบสนองต่อคำถามของผู้ใช้จะทำโดยใช้ SFT หรือ Supervised Fine Tuning บนชุดข้อมูลคำสั่งคุณภาพสูงและคำตอบที่สอดคล้องกัน เนื่องจาก Zephyr-7B เข้าถึงโมเดลครูได้ จึงสร้างคำสั่งและคำตอบเพื่อฝึกโมเดลโดยตรงได้ เรียกแนวทางนี้ว่า dSFT หรือ distilled SFT ในภาพถัดไป x คือกลุ่มพรอมป์ต์ตั้งต้นที่ครอบคลุมหัวข้อหลากหลาย y คือคำตอบตัวอย่างซึ่งปรับปรุงด้วยคำสั่งใหม่ x1 และ C คือชุดข้อมูลสุดท้าย

ข้อมูลป้อนกลับจาก AI

โดยทั่วไปข้อมูลป้อนกลับจากมนุษย์ช่วยจัดแนวโมเดลภาษาขนาดใหญ่ด้วยสัญญาณเพิ่มเติมผ่านการระบุความชอบต่อคุณภาพของคำตอบ แต่ Zephyr ใช้ข้อมูลป้อนกลับจาก AI โดยให้โมเดลครูประเมินเอาต์พุตของโมเดลอื่นแทนข้อมูลจากมนุษย์เพื่อการกลั่นความรู้

แนวทางนี้ได้รับอิทธิพลจาก UltraFeedback ซึ่งให้โมเดลครูระบุความชอบต่อเอาต์พุตของโมเดล เริ่มจากพรอมป์ต์แต่ละรายการ x ส่งให้กลุ่มสี่โมเดล เช่น Llama, Falcon และ Claude สร้างคำตอบของตน จากนั้นส่งคำตอบเหล่านี้ให้ครูอย่าง GPT-3 หรือ GPT-4 ประเมินคะแนน และเก็บคำตอบที่ได้คะแนนสูงสุด

dDPO หรือ Distilled Direct Preference Optimization

dDPO เป็นขั้นตอนสุดท้ายของเฟรมเวิร์ก Zephyr-7B และมีวัตถุประสงค์หลักในการปรับให้เหมาะสมของโมเดลครูด้วยการเพิ่มโอกาสในการจัดอันดับคำตอบที่ชอบในโมเดลความชอบที่กำหนดโดยฟังก์ชันรางวัลโดยใช้โมเดลภาษาของนักเรียน แนวทางก่อนหน้านี้อาศัยการเรียนรู้แบบเสริมแรง เช่น PPO เพื่อเพิ่มรางวัล โดยฝึกโมเดลรางวัลแล้วสุ่มตัวอย่างจากนโยบายปัจจุบันเพื่อคำนวณการปรับปรุง ส่วน DPO ใช้ข้อมูลคงที่เพื่อปรับโมเดลความชอบโดยตรง เมื่อนำฟังก์ชันรางวัลแทนลงในโมเดลความชอบ จะได้วัตถุประสงค์ดังสมการต่อไปนี้

Zephyr-7B : การทดลอง ผลลัพธ์ และการประเมิน

เฟรมเวิร์ก Zephyr-7B ทำการทดลองการปรับให้เหมาะสมบนเฟรมเวิร์ก Mistral-7B ที่มีอยู่แล้วซึ่งมีประสิทธิภาพเทียบเท่ากับโมเดลภาษาขนาดใหญ่กว่าในงานประมวลผลภาษาธรรมชาติ

ข้อมูล

เฟรมเวิร์ก Zephyr-7B ใช้ข้อมูลสนทนาสองชุดซึ่งถูกกลั่นแยกจากโมเดลที่เป็นกรรมสิทธิ์และแบบเปิดซึ่งเคยพิสูจน์แล้วว่ามีประสิทธิภาพในการสร้างโมเดลการแชทที่มีประสิทธิภาพ

UltraChat

UltraChat คือชุดข้อมูลการปรับปรุงตนเองที่มีการสนทนาหลายรอบกว่า 1.5 ล้านรายการใน 30 หัวข้อและ 20 เนื้อหาที่สร้างโดย GPT-3.5-Turbo เพื่อแก้ไขปัญหาการใช้ตัวอักษรที่ไม่ถูกต้องใน UltraChat เฟรมเวิร์กใช้ฮิวริสติก truecasing เพื่อแก้การใช้ตัวพิมพ์ใหญ่และเล็กให้ถูกต้อง

UltraFeedback

UltraFeedback คือชุดข้อมูลคำถามที่มีคำถามมากกว่า 64,000 คำถาม โดยแต่ละคำถามมีคำตอบของโมเดลภาษาขนาดใหญ่สี่แบบ Zephyr-7B ใช้คะแนนเฉลี่ยสูงสุดจาก UltraFeedback เพื่อสร้างความชอบแบบทวิภาค และหนึ่งในสามคำตอบที่เหลือจะถูกปฏิเสธแบบสุ่ม

การประเมิน

เพื่อประเมินประสิทธิภาพของ Zephyr-7B นักพัฒนาจึงเลือกใช้เครื่องมือประเมินการแชทสองแบบ คือ แบบเดี่ยวและแบบหลายรอบ เพื่อประเมินความสามารถของโมเดลในการปฏิบัติตามคำแนะนำของผู้ใช้และตอบสนองตามนั้น

MT-Bench

MT-Bench คือเครื่องมือประเมินที่ประกอบด้วยคำถาม 160 คำใน 8 หัวข้อที่แตกต่างกัน และภายใต้ MT-Bench โมเดลจะต้องตอบคำถามแรกและให้คำตอบสำหรับคำถามติดตาม

AlpacaEval

AlpacaEval คือเครื่องมือประเมินแบบเดี่ยวที่โมเดลสร้างคำตอบของผู้ใช้สำหรับคำถามมากกว่า 800 คำในหัวข้อต่าง ๆ โดยเน้นไปที่ความมีประโยชน์

นอกเหนือจากเครื่องมือประเมินหลักสองแบบแล้ว Zephyr-7B ยังถูกประเมินบน Open LLM Leaderboard สำหรับงานจำแนกประเภทหลายประเภท ARC, HellaSwag, MMLU และอื่น ๆ นอกจากนี้ ไม่ว่า Zephyr-7B จะถูกประเมินบนเครื่องมือใด ก็จะถูกเปรียบเทียบกับโมเดลที่เป็นกรรมสิทธิ์และแบบเปิดที่มีกระบวนการปรับให้เหมาะสมที่แตกต่างกัน

ผลลัพธ์

มาดูผลลัพธ์ของ Zephyr-7B กัน

การนำ dDPO มาใช้เพิ่มความสามารถในการแชท

ตารางต่อไปนี้เปรียบเทียบประสิทธิภาพของ Zephyr-7B กับโมเดลภาษาที่มีอยู่แล้วบน AlpacaEval และ MT-Bench

เมื่อเปรียบเทียบกับโมเดล 7B ที่เปิด Zephyr-7B ไม่เพียงแต่เอาชนะ dSFT ทั่วทั้งสองเครื่องมือประเมินเท่านั้น แต่ยังสร้างมาตรฐานใหม่ในระดับแนวหน้าอีกด้วย นอกจากนี้ Zephyr-7B ยังสามารถเอาชนะ XWIN-LM-7B ซึ่งเป็นหนึ่งในโมเดลที่หายากที่ถูกฝึกอบรมโดยใช้ dPPO หรือ distilled PPO และผลลัพธ์ที่ได้จาก Zephyr-7B ยังเทียบเท่ากับโมเดลภาษาขนาดใหญ่กว่า เช่น Llama2-Chat ที่มีพารามิเตอร์มากกว่า 70 พันล้าน ผลลัพธ์อาจดีขึ้นทั้งในการประเมินการสนทนาและเกณฑ์วิชาการมาตรฐาน และการเรียนรู้ความชอบมีบทบาทสำคัญต่อผลลัพธ์เหล่านี้

dDPO เพิ่มประสิทธิภาพงานวิชาการ

รูปต่อไปนี้เปรียบเทียบประสิทธิภาพของ Zephyr-7B กับโมเดลภาษาที่มีอยู่แล้ว

เมื่อเปรียบเทียบกับโมเดล LLM ที่มีพารามิเตอร์ 7 พันล้าน Zephyr-7B เอาชนะโมเดลเหล่านั้นได้อย่างมีนัยสำคัญ และช่องว่างระหว่างประสิทธิภาพของ Zephyr-7B และ dSFT ที่ดีที่สุดก็เห็นได้ชัดเจน เมื่อจำนวนพารามิเตอร์เพิ่มขึ้น Zephyr-7B ก็ยังคงตามไม่ทัน แต่ก็สามารถเทียบเท่ากับโมเดลที่มีพารามิเตอร์ 40 พันล้านได้

การปรับให้เหมาะสมของความชอบ

ในรูปต่อไปนี้ เราประเมินว่าขั้นตอนต่าง ๆ ในกระบวนการจัดแนวส่งผลต่อประสิทธิภาพอย่างไร จะเห็นว่า dDPO เมื่อใช้ร่วมกับ dSFT เพิ่มประสิทธิภาพทั้งบน MT-Bench และ AlpacaEval อย่างมีนัยสำคัญ

สุดท้าย รูปต่อไปนี้แสดงความแม่นยำในการทดสอบและฝึกระหว่างการใช้ DPO ซึ่งไม่กระทบประสิทธิภาพของโมเดลในงานปลายทาง

สรุป

ในบทความนี้ เราได้พูดถึง Zephyr-7B ซึ่งเป็นเฟรมเวิร์กที่สร้างขึ้นจาก Mistral-7B ที่มีอยู่แล้วซึ่งมีจุดมุ่งหมายเพื่อแก้ไขปัญหาการกลั่นแยกความสอดคล้องจากโมเดลภาษาขนาดใหญ่ไปยังเฟรมเวิร์กที่เล็กกว่าและผ่านการฝึกไว้แล้ว เป้าหมายคือช่วยให้นักพัฒนาสร้างโมเดลเล็กที่จัดแนวกับเจตนาผู้ใช้ได้ดียิ่งขึ้น โดยศึกษาทั้ง dSFT และแนวทางอื่นเพื่อฝึกโมเดลแชทที่สอดคล้องกับผู้ใช้มากขึ้น

อย่างไรก็ตาม แม้ว่า Zephyr-7B จะให้ผลลัพธ์ที่น่าหวัง แต่ก็ยังไม่สมบูรณ์แบบและยังต้องการการปรับปรุงอยู่ หนึ่งในข้อจำกัดที่ชัดเจนคือการใช้ GPT-4 ในการประเมิน MT-Bench และ AlpacaEval ซึ่งมักจะเอนเอียงไปทางโมเดลที่กลั่นแยกออกมาเอง แต่ Zephyr-7B หวังที่จะสร้างทางเลือกสำหรับการสำรวจความสามารถของโมเดลที่เปิดกว้างที่สามารถสอดคล้องกับเจตนารมณ์และการโต้ตอบของผู้ใช้ได้