Kemampuan dan kinerja model bahasa besar yang lebih kecil telah berkembang secara signifikan dalam beberapa tahun terakhir, dan kita telah menyaksikan kemajuan dari model GPT-2 awal ke kerangka kerja LLM yang lebih kompak, akurat, dan efektif yang menggunakan sejumlah besar token yang jauh lebih besar daripada jumlah token yang dianggap optimal secara komputasi menurut hukum penskalaan Chinchilla. Selain itu, pengembang telah menunjukkan bahwa kerangka kerja LLM yang lebih kecil ini dapat dilatih lebih lanjut menggunakan pendekatan dSFT atau Distilled Supervised Fine-Tuning yang berbasis model milik, yang menggunakan output dari model guru yang efektif sebagai data pengawasan untuk model siswa dalam upaya untuk meningkatkan akurasi.

Dalam artikel ini, kita akan membahas tentang kerangka kerja Zephyr-7B, sebuah benchmark obrolan untuk model 7B parameter yang tidak memerlukan anotasi manusia. Tujuan utama kerangka kerja ini adalah untuk memungkinkan pengembang menghasilkan model bahasa besar yang lebih kecil yang sesuai dengan niat pengguna lebih dekat daripada sebelumnya. Kerangka kerja Zephyr-7B tidak hanya memeriksa penerapan pendekatan saat ini untuk kerangka kerja LLM yang lebih besar seperti dSFT, tetapi juga mengeksplorasi kemungkinan menggunakan pendekatan lain untuk mempelajari model obrolan dengan pemilahan yang lebih baik dengan niat pengguna.

Zephyr-7B: Pengenalan Distilasi Langsung dari Pemilahan dalam Model Bahasa

Seperti yang disebutkan sebelumnya, model bahasa telah berkembang pesat dalam beberapa tahun terakhir, dari kerangka kerja GPT-2 awal ke kerangka kerja GPT-4 dan MiniGPT-5 LLM saat ini yang meskipun sangat boros token, sekarang lebih akurat dan lebih efisien. Salah satu sorotan utama dari kerangka kerja LLM yang lebih maju ini adalah bahwa mereka menggabungkan sejumlah besar token yang jauh lebih besar daripada jumlah token yang sebelumnya dianggap optimal secara komputasi menurut hukum penskalaan Chinchilla. Selain itu, pengembang dan peneliti yang bekerja pada kerangka kerja LLM telah menemukan bahwa kerangka kerja LLM yang lebih kecil ini dapat dilatih lebih lanjut menggunakan pendekatan dSFT atau Distilled Supervised Fine-Tuning yang berbasis model milik, yang menggunakan output dari model guru yang efektif sebagai data pengawasan untuk model siswa dalam upaya untuk meningkatkan akurasi.

Pemilahan niat telah selalu menjadi tantangan besar bagi pengembang dengan karya terbaru yang berfokus pada pengembangan benchmark seperti AlpacaEval dan MT-Bench yang dikembangkan untuk menargetkan kesalahan pemilahan. Motivasi untuk mengembangkan kerangka kerja Zephyr dapat dikreditkan kepada masalah menggunakan destilasi untuk memilahkan model LLM yang lebih kecil secara menyeluruh di mana langkah utama adalah menggunakan umpan balik AI atau Artificial Intelligence Feedback untuk mendapatkan data preferensi dari ensemble model guru, dan kemudian menerapkan optimasi preferensi yang didestilasi secara langsung sebagai tujuan pembelajaran utama, sebuah pendekatan yang disebut sebagai dDPO atau Denoising Diffusion Policy Optimization. Sorotan utama dari pendekatan dDPO adalah bahwa tidak seperti pendahulunya seperti PPO atau Proximal Preference Optimization, itu tidak memerlukan sampling atau anotasi manusia, dan juga mengurangi waktu yang dibutuhkan untuk melatih model bahasa.

Pengembang telah mengembangkan kerangka kerja Zephyr-7B untuk memvalidasi pendekatan ini, dan dalam beberapa cara, ini adalah versi yang sesuai dari kerangka kerja Mistral-7B yang mutakhir. Kerangka kerja ini pertama-tama menggunakan dSFT atau Distilled Supervised Fine-Tuning berdasarkan dataset UltraChat, dan menerapkan pendekatan dDPO atau Denoising Diffusion Policy Optimization pada data umpan balik. Eksperimen menunjukkan bahwa kerangka kerja Zephyr-7B dengan 7 miliar parameter menghasilkan hasil yang setara dengan model obrolan yang disesuaikan dengan umpan balik manusia dengan lebih dari 70 miliar parameter.

Gambar di atas menunjukkan kinerja berbagai model bahasa pada benchmark MT-Bench. Kerangka kerja Zephyr-7B yang dilatih menggunakan pendekatan dDPO ditempatkan melawan model bahasa yang lebih besar dan lebih kecil, yang dilatih menggunakan pembelajaran penguatan tambahan dan juga termasuk sejumlah besar umpan balik manusia. Seperti yang dapat dilihat, meskipun perbedaan besar dalam jumlah parameter yang digunakan oleh kerangka kerja ini, kerangka kerja Zephyr-7B menghasilkan hasil yang setara dengan sebagian besar dari mereka, dan mengungguli beberapa kerangka kerja dalam berbagai domain.

Zephyr-7B: Metode, Cara Kerja, dan Arsitektur

Tujuan utama kerangka kerja Zephyr-7B adalah untuk membantu model bahasa besar yang terbuka untuk sesuai dengan niat pengguna sebanyak mungkin, dan sepanjang kerangka kerja Zephyr-7B, dianggap memiliki akses ke model guru yang besar yang diquery menggunakan generasi prompt. Kerangka kerja Zephyr-7B mengikuti pendekatan yang mirip dengan yang digunakan dalam kerangka kerja InstructGPT, dan bertujuan untuk menghasilkan model siswa yang efektif dan akurat.

Gambar berikut secara singkat menunjukkan tiga langkah utama yang terlibat dalam cara kerja kerangka kerja Zephyr-7B.

1. dSFT untuk konstruksi dataset skala besar menggunakan gaya instruksi mandiri.
2. Pengumpulan umpan balik AI menggunakan ensemble model obrolan yang lengkap diikuti oleh binarisasi preferensi dan skoring oleh GPT-4.
3. Optimasi langsung dari model dSFT dengan menggunakan data umpan balik.

dSFT atau Distilled Supervised Fine-Tuning

Kerangka kerja ini dimulai dengan model bahasa besar yang mentah yang pertama-tama perlu dilatih untuk merespons prompt pengguna. Secara tradisional, melatih kerangka kerja LLM ini untuk merespons prompt pengguna dilakukan menggunakan SFT atau Supervised Fine Tuning pada dataset yang terdiri dari instruksi berkualitas tinggi dan respon yang sesuai. Karena kerangka kerja Zephyr-7B memiliki akses ke model guru bahasa, kerangka kerja ini dapat menghasilkan instruksi dan respon, dan melatih model langsung pada instruksi dan respon ini, dan pendekatan ini dikenal sebagai dSFT atau distilled SFT.

Umpan Balik AI melalui Preferensi

Umpan balik manusia digunakan untuk menugaskan model bahasa besar karena mereka dapat memberikan sinyal tambahan yang diperlukan, dan umpan balik manusia ini secara tradisional diberikan melalui preferensi pada kualitas respon yang dihasilkan oleh kerangka kerja LLM. Namun, kerangka kerja Zephyr menggunakan umpan balik AI dari model guru pada output model lain untuk tujuan destilasi, bukan umpan balik manusia. Pendekatan yang diikuti oleh kerangka kerja Zephyr dipengaruhi oleh yang digunakan oleh kerangka kerja UltraFeedback yang menggunakan model guru untuk memberikan preferensi pada output model.

Mirip dengan pendekatan SFT atau Supervised Fine Tuning, ini dimulai dengan satu set prompt, di mana x mewakili setiap prompt individu yang kemudian diberikan sebagai input ke koleksi empat model seperti Llama, Falcon, Claude, dan lain-lain, masing-masing menghasilkan respon mereka sendiri. Respon ini kemudian diberikan sebagai input ke model guru seperti GPT-3 atau GPT-4, dan model mengeluarkan skor untuk respon input. Setelah mengumpulkan skor output, model menyimpan respon dengan skor tertinggi.

dDPO atau Distilled Direct Preference Optimization

dDPO adalah langkah terakhir dari kerangka kerja Zephyr, dan tujuan utamanya adalah untuk memperbaiki model dSFT guru dengan memaksimalkan kemungkinan peringkat respon yang dipilih dalam model preferensi yang ditentukan oleh fungsi hadiah dengan menggunakan model bahasa siswa. Langkah sebelumnya yang melibatkan penggunaan umpan balik AI terfokus pada penggunaan metode Pembelajaran Penguatan seperti PPO atau Proximal Policy Optimization untuk optimasi maksimum dengan respect kepada hadiah yang dihasilkan. Dalam langkah ini, hadiah pertama-tama dilatih, dan kemudian diambil sampel dari kebijakan saat ini untuk menghitung pembaruan, dan dengan demikian memaksimalkan optimasi. DPO atau Direct Preference Optimization mengikuti pendekatan yang sama untuk mengoptimalkan model preferensi secara langsung dengan menggunakan data statis.

Zephyr-7B: Eksperimen, Benchmark, dan Hasil

Kerangka kerja Zephyr melakukan eksperimen fine-tuning pada kerangka kerja Mistral-7B yang mutakhir yang menghasilkan kinerja yang setara dengan model bahasa yang jauh lebih besar pada berbagai tugas pemrosesan bahasa alami atau NLP.

Dataset

Kerangka kerja Zephyr menggunakan dua dataset dialog yang telah didestilasi dari campuran model milik dan model terbuka yang sebelumnya terbukti efektif dalam menghasilkan model obrolan yang efektif.

UltraChat

UltraChat adalah dataset perbaikan diri yang terdiri dari sekitar 1,5 juta dialog multi-giliran yang tersebar di 30 topik, dan 20 bahan teks yang dihasilkan oleh kerangka kerja GPT-3.5-Turbo. Untuk mengatasi masalah kapitalisasi yang tidak tepat yang dihadapi oleh dataset UltraChat, kerangka kerja ini menerapkan pendekatan heuristik truecasing untuk menghilangkan kesalahan tata bahasa.

UltraFeedback

UltraFeedback adalah dataset prompt dengan lebih dari 64k prompt, dengan masing-masing prompt memiliki empat respon LLM yang berbeda. Kerangka kerja Zephyr menggunakan skor rata-rata tertinggi yang diperoleh dari dataset UltraFeedback untuk membangun preferensi biner, dan salah satu dari tiga respon LLM yang tersisa ditolak sebagai acak.

Evaluasi

Untuk mengevaluasi kinerja kerangka kerja Zephyr, pengembang telah memilih dua benchmark obrolan, satu putaran tunggal dan satu putaran banyak, dalam upaya untuk mengevaluasi kemampuan model untuk mengikuti instruksi pengguna dan merespons secara tepat.

MT-Bench

Benchmark evaluasi MT-Bench terdiri dari 160 pertanyaan yang tersebar di 8 area pengetahuan unik, dan di bawah benchmark MT-Bench, model harus menjawab pertanyaan awal dan memberikan respon pada pertanyaan lanjutan.

AlpacaEval

AlpacaEval adalah benchmark putaran tunggal di mana model atau kerangka kerja menghasilkan respon pengguna untuk lebih dari 800 pertanyaan yang tersebar di berbagai topik dengan fokus utama pada kegunaan.

Selain dua benchmark utama ini, kerangka kerja Zephyr-7B juga dievaluasi pada Open LLM Leaderboard untuk tugas klasifikasi multikelas, ARC, HellaSwag, MMLU, dan lain-lain. Selain itu, terlepas dari benchmark apa yang digunakan kerangka kerja Zephyr-7B, ini dibandingkan dengan berbagai model milik dan model terbuka, dengan prosedur pemilahan sebagai satu-satunya faktor pembeda.

Hasil

Mari kita lihat bagaimana kerangka kerja Zephyr-7B berperforma dan membandingkannya dengan model bahasa mutakhir.

Implementasi Pendekatan dDPO Meningkatkan Kemampuan Obrolan

Tabel berikut membandingkan kinerja kerangka kerja Zephyr-7B dengan model bahasa mutakhir pada benchmark AlpacaEval dan MT-Bench.

Seperti yang dapat dilihat, ketika dibandingkan dengan model terbuka 7B, kerangka kerja Zephyr-7B tidak hanya secara signifikan mengungguli model dSFT di kedua benchmark, tetapi juga menetapkan standar mutakhir yang baru. Selain itu, kerangka kerja Zephyr-7B juga berhasil mengungguli kerangka kerja XWIN-LM-7B, yang merupakan salah satu model yang jarang dilatih dengan pendekatan dPPO atau distilled PPO. Selain itu, kinerja yang dihasilkan oleh kerangka kerja Zephyr-7B setara dengan hasil yang dihasilkan oleh model bahasa yang jauh lebih besar seperti Llama2-Chat dengan lebih dari 70 miliar parameter.

dDPO Meningkatkan Kinerja Tugas Akademis

Gambar berikut membandingkan kinerja kerangka kerja Zephyr-7B dengan berbagai kerangka kerja LLM terbuka dan milik.

Seperti yang dapat dilihat, kerangka kerja Zephyr-7B secara signifikan mengungguli kerangka kerja LLM dengan 7 miliar parameter, dan celah antara kinerjanya dan yang dihasilkan oleh model dSFT terbaik juga terlihat. Ketika jumlah parameter meningkat, kerangka kerja Zephyr-7B memang sedikit kalah, meskipun kinerjanya sesuai dengan yang dihasilkan oleh kerangka kerja dengan 40 miliar parameter.

Optimasi Preferensi

Pada gambar berikut, kita mengevaluasi bagaimana langkah-langkah yang diikuti dalam proses pemilahan mempengaruhi kinerja. Seperti yang dapat dilihat, pendekatan dDPO ketika digabungkan dengan dSFT secara signifikan meningkatkan kinerja pada kedua dataset MT-Bench dan AlpacaEval.

Akhirnya, pada gambar berikut kita dapat melihat akurasi pelatihan dan pengujian selama implementasi DPO. Seperti yang dapat dilihat, pendekatan DPO tidak mempengaruhi kinerja model pada tugas downstream.

Kesimpulan

Dalam artikel ini, kita telah membahas tentang kerangka kerja Zephyr-7B yang berbasis pada kerangka kerja Mistral-7B yang mutakhir yang bertujuan untuk memecahkan tantangan pemilahan destilasi dari model bahasa besar ke kerangka kerja yang lebih kecil. Tujuan utama kerangka kerja ini adalah untuk memungkinkan pengembang menghasilkan model bahasa besar yang lebih kecil yang sesuai dengan niat pengguna lebih dekat daripada sebelumnya. Kerangka kerja Zephyr-7B tidak hanya memeriksa penerapan pendekatan saat ini untuk kerangka kerja LLM yang lebih besar seperti dSFT, tetapi juga mengeksplorasi kemungkinan menggunakan pendekatan lain untuk mempelajari model obrolan dengan pemilahan yang lebih baik dengan niat pengguna.

Namun, meskipun hasil yang menjanjikan, kerangka kerja Zephyr-7B tidak sempurna, dan masih ada beberapa pekerjaan yang perlu dilakukan. Salah satu keterbatasan yang jelas adalah menggunakan kerangka kerja GPT-4 untuk mengevaluasi benchmark MT-Bench dan AlpacaEval, yang sering memiliki bias terhadap model yang didestilasi sendiri. Namun, kerangka kerja Zephyr-7B berharap untuk membuka jalan bagi menjelajahi kemampuan model terbuka yang lebih kecil yang dapat sesuai dengan niat pengguna dan interaksi.