Zephyr: זיקוק ישיר של LLM Alignment

היכולת והביצועים של מודלי שפה גדולים פתוחים קטנים יותר התקדמו במידה ניכרת בשנים האחרונות, והתקדנו ממודלים מוקדמים של GPT-2 למסגרות LLM קומפקטיות, מדויקות ויעילות יותר, המשתמשות בכמות גדולה בהרבה של טוקנים מאשר הכמות “אופטימלית מבחינת חישוב” שהומלצה על ידי חוקי הסקאלינג של Chinchilla. כמו כן, מפתחים הוכיחו כי ניתן לאמן מסגרות LLM קטנות יותר אלו באמצעות גישת dSFT או Distilled Supervised Fine-Tuning, המשתמשת בפלט של מודל מורה יעיל כנתונים מונחים עבור המודל הסטודנט, בניסיון לשפר את הדיוק.