Yapay zeka modelleri ve platformları
Zephyr-7B: Hugging Face’in Hiper-Optimize Edilmiş LLM’si Mistral 7B Üzerine Kurulmuştur
Öne çıkan noktalarZephyr, küçük ve açık bir modelin damıtma yoluyla çok daha büyük sohbet sistemlerine…
Daha fazla göster
- Zephyr, küçük ve açık bir modelin damıtma yoluyla çok daha büyük sohbet sistemlerine rakip olabileceğini kanıtlıyor.
- Damıtılmış doğrudan tercih optimizasyonu, modelleri maliyetli insan etiketlemesi yerine yapay zekâ geri bildirimi kullanarak hizalar.
- Yargıç olarak GPT-4'e dayanmak, kıyaslama testlerini ondan damıtılmış modeller lehine yanlı hale getirir.
Giriş
Açık büyük dil modellerinin (LLM’ler) evrimi, özellikle sohbet botları ve benzeri uygulamalar geliştirirken, AI araştırma topluluğunu önemli ölçüde etkiledi. LLaMA gibi modellerin yayınlanmasının ardından, verimli fine-tuning, uzatılmış istemlerin işlenmesi, retrieval augmented generation (RAG) ve kuantizasyon üzerine araştırmalar sürat kazandı.
Örneğin, LLaMA modeli, fine-tuning ve prompt bağlamlaştırması açısından yeni bir dönem başlattı ve MosaicML’nin MPT’si, Together AI’nin RedPajama-INCITE’i, TII’nin Falcon’u ve Meta’nın Llama 2’si gibi sonraki modellerin yolunu açtı. Her bir model, LLM’lerin genel işlevselliği ve kapsamını artıran benzersiz yetenekler kazandırdı.
Paris’te kurulan ve eski Google DeepMind ve Meta çalışanları tarafından kurulan Mistral AI, ilk teklifi olan Mistral 7B ile adını duyurdu.
Mistral 7B’nin avantajı, Llama 2 gibi benzerlerine kıyasla benzer veya geliştirilmiş yetenekleri sunarken daha az hesaplama talebiyle verimliliğinde yatmaktadır.
Özellikle talimat görevleri için uyarlanan Mistral 7B Instruct, Hugging Face gibi platformlarda aynı büyüklükteki diğer modelleri geride bırakmakta ve neredeyse iki katı parametreye sahip modellerle yakın bir yarış vermektedir.
Hugging Face, Zephyr 7B Alpha yı yayınladı ve bir fine-tuned Mistral 7B’nin aslında daha büyük sohbet modellerinin yeteneklerini aşabileceğini ve bazı görevlerde GPT-4 ile yarışabileceğini gösterdi. “Alpha” sadece başlangıçtı, çünkü Zephyr 7B Beta kısa süre sonra takip etti.
Bu makale, Zephyr 7B’nin insan talimatlarına yanıt verme ve uyumlu olma yeteneğini geliştirmek için daha büyük modellerin gücünden nasıl faydalandığını keşfedecek. Bu, daha büyük modeller tarafından öğrenilen karmaşık kalıpları daha küçük modellere aktaran bilgi damıtma tekniği sayesinde mümkün olmaktadır. Hugging Face’in bilgi damıtma yaklaşımının ayrıntılarına gireceğiz.
Bilgi Damıtma
Zephyr-7B gibi modellerin geliştirilmesinde önemli bir yenilik, damıtılmış gözetimli fine-tuning (dSFT) yöntemidir. Bu yöntem, daha büyük ve yetenekli bir “öğretmen” modelinin çıktısını kullanarak daha küçük bir “öğrenci” modelini eğitmeyi içerir, böylece öğrenci modelinin doğruluğunu artırır. Damıtma, açık modelleri çeşitli görevlerde geliştirir, ancak öğretmen modellerine kıyasla performans açığı hâlâ devam eder.
Bilgi damıtma, bir makine öğrenimi tekniğidir ve burada daha küçük bir model, yani “öğrenci“, daha büyük ve karmaşık bir “öğretmen” modelinin performansını taklit etmeyi öğrenir. Bu teknik, öğrenci modelinin daha önce kapasitesinin ötesinde görevleri gerçekleştirmesini sağlar ve öğretmen modeli tarafından öğrenilen karmaşık kalıpları aktarır.
Öğrenci modeli, öğretmen modelinin olasılık çıktıları veya özelliklerine odaklanarak eğitim görür, yalnızca son tahminlerle değil, öğretmen modelinin çıktılarını taklit etmeye çalışır. Bu, öğrenci modelinin öğretmen modelinin nüanslı karar alma süreçlerini öğrenmesini sağlar ve genellikle sadece gerçek referans verisi ile eğitim görenlere kıyasla daha iyi performans sonuçları verir.
Tarihsel olarak, bilgi damıtma, Hinton’ın orijinal damıtma ağlarında ve daha yakın zamanda NLP’de DistilBERT gibi modellerde kullanılmıştır. DistilBERT, BERT modelini daha küçük ve daha hızlı bir versiyona dönüştürür ve orijinalinin dil anlama yeteneklerinin çoğunu korur. TinyBERT, boyutu ve hızı mobil veya kenar cihazlar için optimize eder.
Zephyr-7B’nin durumunda, bilgi damıtma, 7B parametreli bir modeli daha büyük karşılıklarının yetenekleriyle donatmak için kullanılır. Bunu yaparak, Zephyr-7B, performans ve verimlilik arasında bir denge sağlar, bu da hesaplama kaynaklarının sınırlı olduğu ortamlarda kaliteli etkileşim ve anlama kalitesinden ödün vermeden uygun hale getirir.
Zephyr-7B’yi geliştirirken araştırmacılar, bir küçük açık LLM’yi tamamen damıtma yoluyla hizalamakla ilgili zorluğu ele aldılar. Damıtılmış doğrudan tercih optimizasyonu (dDPO) olarak adlandırılan bir yaklaşım sundular, bu da AI geri bildirimi olarak öğretmen modellerinin topluluğundan tercih verilerini kullanır. Bu yöntem, insan annotasyonuna gerek kalmadan, model eğitimi için gereken zamanı ve kaynakları önemli ölçüde azaltır.
ZEPHYR-7B’nin Oluşturulması
dDPO’yu doğrulamak için araştırmacılar, Mistral-7B modeline dayanan ZEPHYR-7B’yi oluşturdular. Süreç üç adımdan oluşuyordu:
- UltraChat veri kümesiyle dSFT: Damıtılmış Gözetimli Fine-Tuning (dSFT), büyük dil modellerini (LLM’ler) daha büyük ve yetenekli “öğretmen” modellerinin çıktısını kullanarak eğitmek için gelişmiş bir yöntemdir. Bu, önceden uyarlanmamış bir LLM ile başlar ve kullanıcı istemlerine yanıt vermesi için eğitilir. Sabit veri kümesi kullanan geleneksel gözetimli ince ayarın (SFT) aksine, dSFT dinamik bir yaklaşım kullanır, burada model kendisi talimatları ve yanıtları oluşturur. Bu, self-instruct olarak bilinen bir yöntemdir ve öğretmen modelinin talimatları yanıtlamasını ve bu yanıtlara göre talimatları geliştirmesini içerir. Süreç, farklı konuları temsil eden başlangıç istemleri (x₀₁, x₀₂, …, x₀_J) ile başlar. Her istem yinelemeli olarak iyileştirilir: x₀ için öğretmen model y₀ yanıtını üretir, ardından x₀ ve y₀ temelinde yeni x₁ talimatı örneklenir. Son veri kümesi C = {(x₁, y₁), …, (x_J, y_J)} modelin ince ayarında kullanılır.
- UltraFeedback veri kümesinden AI geri bildirimi verilerini dahil etme: Bu veri, modelin yanıtlarını iyileştirmek için çok önemliydi. Bu adımda, model çeşitli istemlere, örneğin çikolatalı brownie yapımını açıklama isteğine yanıtlar üretir ve GPT-4 gibi daha gelişmiş bir model tarafından derecelendirilir. En yüksek puan alan yanıt (yw) ve rastgele seçilen daha düşük puanlı bir yanıt (yl) bir geri bildirim veri kümesini oluşturur.
- dDPO’yu uygulama: Son aşama, dSFT modelini, tercih edilen yanıtları daha yüksek sıralamaya sahip olacak şekilde iyileştirmeyi içerir. Bu, bir ödül fonksiyonu rθ(x, y) kullanarak yapılır ve optimal LLM politikası π* ve orijinal πdSFT politikasına dayanır. Optimizasyon hedefi, πθ = max π E (x, yw, yl) ∼ D log σ (β log π(yw|x)/πdSFT(yw|x) − β log π(yl|x)/πdSFT(yl|x)) olarak formüle edilir, bu da eğitim sürecini basitleştirir ve dSFT modelinin her bir AIF üçlüsünü iterasyonla çalıştırmasını sağlar.
Şaşırtıcı bir şekilde, Zephyr-7B, insan geri bildirimiyle hizalanmış çok daha büyük 70B parametreli modellerle benzer performans gösterir ve bazı görevlerde GPT-4 ile yarışır. Hem akademik benchmark’lerde hem de sohbet yeteneklerinde üstün performans gösterir, tercih öğreniminin model geliştirmedeki etkinliğini vurgular. Daha fazla keşif için modeller, kodlar ve talimatlar Hugging Face’in GitHub Deposunda mevcuttur.
Niyet Hizalamasının Zorluğunu Giderme
LLM’lerle ilgili önemli bir endişe, insan niyetiyle hizalanmalarıydı. Önceki modeller genellikle kullanıcı tercihlerine uymayan yanıtlar üretti, bu da yanlış veya alakasız yanıtlara yol açtı. Ancak, MT-Bench ve AlpacaEval gibi son benchmark’ler, bu yönü ölçmek ve geliştirmek için araçlar sağladı, insan geri bildirimiyle eğitilen özel modellerin damıtma yoluyla eğitilenlere göre üstün performansını vurguladı.
Değerlendirme Yöntemleri
Zephyr 7B’nin değerlendirilmesi, sohbet yeteneklerini hem tek hem de çoklu dönüşlü bağlamlarda değerlendiren benchmark’ler üzerinde kapsamlı testleri içeriyordu:
- MT-Bench: Bu çoklu dönüşlü benchmark, modelin 160 soruyu sekiz farklı alanda ele almasını gerektirir. Her yanıt, GPT-4 tarafından derecelendirilir ve modelin final puanı, iki soru turunun ortalaması olarak hesaplanır.
- AlpacaEval: Bu tek dönüşlü benchmark, modelin çeşitli konularda 805 soruya yanıt vermesini içerir. Burada odak, modelin faydalılığı üzerinedir ve GPT-4, yanıtları derecelendirerek karşılaştırmalı bir kazanma oranını belirler.
Ek olarak, Zephyr 7B, sohbet yeteneklerini doğrudan değerlendirmeyen ancak modelin akıl yürütme ve doğruluk yeteneklerine ilişkin içgörüler sağlayan Açık LLM Liderlik Tablosu’nda test edildi.
Zephyr 7B, farklı boyutlarda ve hizalama yöntemlerine sahip açık ve özel modellerle karşılaştırıldı. MT-Bench ve AlpacaEval’de 7B modelleri için yeni benchmark’ler oluşturdu ve daha büyük modellerle rekabetçi performans göstererek dDPO’nun eğitimindeki etkinliğini doğruladı.
SFT ve DPO eğitim aşamaları, optimal performans için çoklu epoch ve fine-tuning öğrenme oranları ve toplu boyutları dahil olmak üzere özenle yapılandırıldı. Son Zephyr modeli, yalnızca overfittinge karşı dirençli olmakla kalmadı, aynı zamanda pratik görevlerde ve akademik benchmark’lerde geliştirildi.
Veri Kümeleri ve Sonuçlar
Kullanılan Veri Kümeleri
Performans ve Sonuçlar
Aşağıdaki grafik, Zephyr 7B’nin çeşitli görev kategorilerinde GPT-3.5-turbo, Claude 1, GPT-4 ve Llama-2-70b-chat gibi diğer modellerle karşılaştırılmış performansını gösterir. Kategoriler, Yazma, Beşeri Bilimler, Rol Oynama, Mantık, STEM, Çıkarma, Kodlama ve Matematik gibi alanları içerebilir.
Grafikten, Zephyr 7B’nin hangi alanlarda üstün olduğunu ve hangi alanlarda daha fazla geliştirme gerektirebileceğini çıkarabiliriz. Örneğin, Zephyr’in çizgisi Yazma ekseninde diğerlerine göre daha uzundaysa, bu Zephyr’in yazılı içerik oluşturmada özellikle güçlü olduğunu gösterir. Buna karşılık, Matematik ekseninde çizginin daha merkezi bir konumda olması, matematik problemlerini çözme açısından göreceli bir zayıflık olduğunu gösterebilir.
Radar grafiği, Zephyr 7B’nin güçlü ve zayıf yönlerini belirlemeye yardımcı olur ve GPT-4 ve Llama-2-70b-chat gibi daha büyük modellere kıyasla nerede durduğunu görselleştirir.
Çeşitli dil modellerini MT-Bench ve AlpacaEval’de karşılaştırma. Modeller, boyutuna, hizalama yöntemine (dSFT veya dDPO gibi) ve performans puanlarına göre değerlendirilir. Zephyr, her iki benchmark’te yüksek puanlarla öne çıkarak dDPO’nun eğitimindeki etkinliğini gösterir.
Sonuç
Sonuç olarak, Zephyr-7B’nin geliştirilmesi, büyük bir dil modelinin (LLM) sohbet yeteneklerini daha küçük bir modele örneklemeye dayalı yöntemlere bağımlı olmadan damıtma yoluyla aktarılıp hizalanabileceğini gösterir. Doğrudan tercih optimizasyonu (DPO) kullanarak AI geri bildirimiyle, Zephyr-7B, Mistral-7B’nin güçlü temelini kullanarak 7B parametreli sohbet modelleri için yeni bir benchmark oluşturur ve küçük, açık kaynaklı modellerin insan niyetini etkili bir şekilde anlaması ve yanıtlamasının yeteneğini gösterir.
Ancak, bu çalışmanın da sınırlamaları vardır. GPT-4’ün benchmark’ler için bir değerlendirici olarak kullanılması, GPT-4’ten damıtılan modeller lehine bir önyargı oluşturur ve bu da doğru yanıtlara karşı bir önyargı oluşturabilir. Ayrıca, bu yöntemin daha büyük modellere (örneğin LLAMA2-70B) ölçeklendirilmesi ve performans kazançları üzerindeki etkisi daha fazla araştırmaya ihtiyaç duyar. Bu sınırlamalar, AI topluluğunda sürekli inovasyon ve önyargısız değerlendirme yöntemlerinin geliştirilme ihtiyacını vurgular.
Çalışmanın ötesine bakıldığında, küçük modellerin daha büyük karşılıklarının seviyesinde performans gösterme potansiyelinin, AI’nin çeşitli uygulamalarda daha erişilebilir ve verimli kullanılmasını sağlayarak AI’yi demokratikleştirebileceği açıktır. Zephyr-7B’nin başarısı, açık kaynaklı modellerin daha fazla araştırılmasını teşvik eder; bu da ortak araştırma ve geliştirmeyi destekleyerek AI alanındaki ilerlemeleri hızlandırabilir.
















